Actualiza y borra entornos

En esta página, se explica cómo actualizar, borrar y ver los detalles de un entorno de Cloud Composer. También se explica cómo actualizar y ver las configuraciones de Apache Airflow de un entorno.

Antes de comenzar

  • Los siguientes permisos son necesarios para actualizar o borrar entornos:

    • composer.environments.update para actualizar los entornos
    • composer.environments.delete para borrar los entornos

      Para obtener más información, consulta Control de acceso de Cloud Composer.

  • La mayoría de los comandos gcloud composer requiere una ubicación. Puedes especificar la ubicación con la marca --location o mediante la configuración de la ubicación predeterminada.

  • Algunos parámetros de Airflow están preconfigurados para Cloud Composer y no puedes cambiarlos. Puedes actualizar las siguientes configuraciones del entorno de Cloud Composer: recuento de nodos, anulaciones de configuración de Airflow, variables de entorno, etiquetas y paquetes de PyPI.

  • Algunas actualizaciones del entorno vuelven a compilar las imágenes de Cloud Composer, como las instalaciones de paquetes y las actualizaciones de versión. La recolección de elementos no utilizados de Cloud Composer puede quitar imágenes antiguas.

  • Las actualizaciones de las configuraciones de Airflow se aplican en todas las instancias de Airflow (trabajador, servidor o programador) aproximadamente 5 minutos después de enviar la solicitud de actualización.

  • (Beta) Ahora puedes actualizar el tipo de máquina de la VM de Google App Engine que ejecuta el servidor web de Airflow y la instancia de Cloud SQL que ejecuta la base de datos de Airflow. Puedes hacerlo con gcloud beta composer, Cloud Console o la API de Composer Beta.

Limitaciones

Cloud Composer no acepta solicitudes de actualización ni eliminación de entornos simultáneos. Debes esperar a que se complete una actualización del entorno o una solicitud de eliminación antes de emitir otra actualización del entorno o solicitud de eliminación.

Actualiza entornos

Para actualizar los entornos de Cloud Composer, incluidas las configuraciones de Airflow, sigue estos pasos:

Console

  1. Abre la página Entornos en Google Cloud.

    Abrir la página Entornos

  2. Haz clic en el Nombre del entorno para modificarlo.

  3. Selecciona la pestaña correspondiente a la propiedad que deseas actualizar.

  4. Haz clic en Editar.

  5. Después de realizar las actualizaciones, haz clic en Enviar.

gcloud

Para actualizar las configuraciones de Airflow, ejecuta el comando gcloud composer environments update con la marca --update-airflow-configs:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --update-airflow-configs=KEY=VALUE,KEY=VALUE,... 

Donde:

  • ENVIRONMENT_NAME es el nombre del entorno.
  • LOCATION es la región de Compute Engine donde se encuentra el entorno.
  • KEY=VALUE es la sección de configuración y el nombre de la propiedad separados por un guion, como core-print_stats_interval, y su valor correspondiente.

Por ejemplo:

gcloud composer environments update test-environment \
    --location us-central1 \
    --update-airflow-configs=core-load_example=True,webserver-dag_orientation=TB 

Consulta la página de referencia de “gcloud composer environments update” para obtener más ejemplos.

API

Para actualizar un entorno de Cloud Composer, incluidas las configuraciones de Airflow, mediante la API de REST de Cloud Composer, envía una solicitud a la API environments.patch.

Restablece la configuración predeterminada de Airflow

Para restablecer todos los valores predeterminados de la configuración de Airflow, ejecuta el siguiente comando:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --clear-airflow-configs

Para restablecer uno o más valores predeterminados de la configuración de Airflow, ejecuta el siguiente comando:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --remove-airflow-configs=core-load_example,webserver-dag_orientation 

donde:

  • ENVIRONMENT_NAME es el nombre del entorno.
  • LOCATION es la región de Compute Engine en la que se encuentra el entorno.

Por ejemplo:

gcloud composer environments update test-environment \
    --location us-central1 \
    --update-airflow-configs=core-load_example=True,webserver-dag_orientation=TB 

El comando termina cuando finaliza la operación. Para evitar esperar, usa la marca --async.

Visualiza detalles del entorno

Para ver los detalles del entorno de Cloud Composer, incluidas las configuraciones de Airflow, sigue estos pasos:

Console

  1. Abre la página Entornos en Google Cloud Console.

    Abrir la página Entornos

  2. Haz clic en el Nombre del entorno.
  3. Selecciona la pestaña de propiedad correspondiente.

gcloud

gcloud composer environments describe ENVIRONMENT_NAME \
    --location LOCATION
    --format="get(PROPERTY)"

Donde:

  • ENVIRONMENT_NAME es el nombre del entorno.
  • LOCATION es la región de Compute Engine donde se encuentra el entorno.
  • --format es una opción con el fin de especificar una propiedad del entorno, como config.airflowUri para la URL del servidor web de Airflow.

Por ejemplo:

gcloud composer environments describe test-environment 
--location us-central1 --format="get(config.airflowUri)"

# Returns https://a6b3z6e3nnZZZnnd3a-tp.appspot.com

API

Para ver las configuraciones de Airflow con la API de REST de Cloud Composer, realiza una solicitud a la API environments.get y completa el ID del entorno.

Actualiza el tipo de máquina para nodos de GKE

Para actualizar de forma manual el tipo de máquina del clúster de GKE de tu entorno, borra el default-pool existente y crea un default-pool nuevo con el tipo de máquina deseado.

Para actualizar el tipo de máquina, sigue estos pasos:

  1. En Cloud Console, haz clic en el nombre del entorno que deseas actualizar.
  2. Para ver el grupo de nodos predeterminado, haz lo siguiente:
    1. En la página de detalles del entorno, haz clic en el vínculo Ver detalles del clúster.
    2. En la página Clústeres de la sección Grupos de nodos, haz clic en default-pool.
    3. Observa toda la información de default-pool en la página de detalles del grupo de nodos. Usarás esta información con el fin de crear un grupo de nodos predeterminado nuevo para tu entorno.
  3. Para borrar default-pool, sigue estos pasos:
    1. En la página de detalles del grupo de nodos, haz clic en la flecha hacia atrás para volver a la página Clústeres de tu entorno.
    2. En la sección Grupos de nodos, haz clic en la papelera que se encuentra a la derecha de default-pool.
    3. Para confirmar la acción, haz clic en Borrar.
  4. Para crear el default-pool nuevo, sigue estos pasos:

    1. En la parte superior de la página Clústeres, haz clic en Agregar grupo de nodos.
    2. En Nombre, ingresa default-pool. Debes asignar el nombre default-pool al grupo de nodos o los flujos de trabajo fallarán.
    3. Ingresa la configuración para Tamaño y Nodos.
    4. En el caso de Permisos de acceso, selecciona Permitir el acceso total a todas las API de Cloud.
    5. Haz clic en Guardar.
  5. Si observas que las cargas de trabajo se distribuyen de manera desigual, reduce la implementación de airflow-worker a cero y vuelve a escalar.

Borra un entorno

Para borrar un entorno de Cloud Composer, sigue estos pasos:

Console

  1. Abre la página Entornos en Google Cloud Console.

    Abrir la página Entornos

  2. Marca la casilla junto al entorno que deseas borrar.
  3. Haz clic en Borrar.

gcloud

Ejecuta el siguiente comando para borrar un entorno de Cloud Composer:

gcloud composer environments delete ENVIRONMENT_NAME \
    --location LOCATION   

Donde:

  • ENVIRONMENT_NAME es el nombre del entorno.
  • LOCATION es la región de Compute Engine donde se encuentra el entorno.

Ejecuta gcloud composer environments describe --help para obtener información sobre el parámetro del comando.

API

Para borrar un entorno con la API de REST de Cloud Composer, realiza una solicitud a la API environments.delete y completa el ID del entorno.

Qué sigue