Actualiza y borra entornos

En esta página, se explica cómo actualizar, borrar y ver los detalles de un entorno de Cloud Composer. También se explica cómo actualizar y ver las configuraciones de Apache Airflow de un entorno.

Antes de comenzar

  • Debes tener una función que pueda activar operaciones de actualización del entorno. Además, la cuenta de servicio del entorno debe tener una función que tenga permisos suficientes para realizar operaciones de actualización. Para obtener más información, consulta Control de acceso.

  • La mayoría de los comandos gcloud composer requiere una ubicación. Puedes especificar la ubicación con la marca --location o mediante la configuración de la ubicación predeterminada.

  • Algunos parámetros de Airflow están preconfigurados para Cloud Composer y no puedes cambiarlos. Puedes actualizar las siguientes configuraciones del entorno de Cloud Composer: recuento de nodos, anulaciones de configuración de Airflow, variables de entorno, etiquetas y paquetes de PyPI.

  • Algunas actualizaciones del entorno vuelven a compilar las imágenes de Cloud Composer, como las instalaciones de paquetes y las actualizaciones de versión. La recolección de elementos no utilizados de Cloud Composer puede quitar imágenes antiguas.

  • Las actualizaciones de las configuraciones de Airflow se aplican en todas las instancias de Airflow (trabajador, servidor o programador) aproximadamente 5 minutos después de enviar la solicitud de actualización.

  • Puedes actualizar el tipo de máquina para la VM de App Engine que ejecuta el servidor web de Airflow y la instancia de Cloud SQL que ejecuta la base de datos de Airflow. Para hacerlo, usa gcloud composer, Cloud Console o la API de Composer.

Limitaciones

Cloud Composer no acepta solicitudes de actualización ni eliminación de entornos simultáneos. Debes esperar a que se complete una actualización del entorno o una solicitud de eliminación antes de emitir otra actualización del entorno o solicitud de eliminación.

Actualiza entornos

Para actualizar los entornos de Cloud Composer, incluidas las configuraciones de Airflow, sigue estos pasos:

Console

  1. Abre la página Entornos en Google Cloud.

    Abrir la página Entornos

  2. Haz clic en el Nombre del entorno para modificarlo.

  3. Selecciona la pestaña correspondiente a la propiedad que deseas actualizar.

  4. Haz clic en Editar.

  5. Después de realizar las actualizaciones, haz clic en Enviar.

gcloud

Para actualizar las configuraciones de Airflow, ejecuta el comando gcloud composer environments update con la marca --update-airflow-configs:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --update-airflow-configs=KEY=VALUE,KEY=VALUE,... 

Donde:

  • ENVIRONMENT_NAME es el nombre del entorno.
  • LOCATION es la región de Compute Engine donde se encuentra el entorno.
  • KEY=VALUE es la sección de configuración y el nombre de la propiedad separados por un guion, como core-print_stats_interval, y su valor correspondiente.

Por ejemplo:

gcloud composer environments update test-environment \
    --location us-central1 \
    --update-airflow-configs=core-load_example=True,webserver-dag_orientation=TB 

Consulta la página de referencia de “gcloud composer environments update” para obtener más ejemplos.

API

Para actualizar un entorno de Cloud Composer, incluidas las configuraciones de Airflow, mediante la API de REST de Cloud Composer, envía una solicitud a la API environments.patch.

Restablece la configuración predeterminada de Airflow

Para restablecer todos los valores predeterminados de la configuración de Airflow, ejecuta el siguiente comando:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --clear-airflow-configs

Para restablecer uno o más valores predeterminados de la configuración de Airflow, ejecuta el siguiente comando:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --remove-airflow-configs=core-load_example,webserver-dag_orientation

donde:

  • ENVIRONMENT_NAME es el nombre del entorno.
  • LOCATION es la región de Compute Engine en la que se encuentra el entorno.

Por ejemplo:

gcloud composer environments update test-environment \
    --location us-central1 \
    --update-airflow-configs=core-load_example=True,webserver-dag_orientation=TB

El comando termina cuando finaliza la operación. Para evitar esperar, usa la marca --async.

Visualiza detalles del entorno

Para ver los detalles del entorno de Cloud Composer, incluidas las configuraciones de Airflow, sigue estos pasos:

Console

  1. Abre la página Entornos en Google Cloud Console.

    Abrir la página Entornos

  2. Haz clic en el Nombre del entorno.
  3. Selecciona la pestaña de propiedad correspondiente.

gcloud

gcloud composer environments describe ENVIRONMENT_NAME \
    --location LOCATION
    --format="get(PROPERTY)"

Donde:

  • ENVIRONMENT_NAME es el nombre del entorno.
  • LOCATION es la región de Compute Engine donde se encuentra el entorno.
  • --format es una opción con el fin de especificar una propiedad del entorno, como config.airflowUri para la URL del servidor web de Airflow.

Por ejemplo:

gcloud composer environments describe test-environment 
--location us-central1 --format="get(config.airflowUri)"

# Returns https://a6b3z6e3nnZZZnnd3a-tp.appspot.com

API

Para ver las configuraciones de Airflow con la API de REST de Cloud Composer, realiza una solicitud a la API environments.get y completa el ID del entorno.

Actualiza el tipo de máquina para nodos de GKE

Para actualizar de forma manual el tipo de máquina del clúster de GKE de tu entorno, borra el default-pool existente y crea un nuevo default-pool con el tipo de máquina deseado.

Para actualizar el tipo de máquina, sigue estos pasos:

  1. En Cloud Console, haz clic en el nombre del entorno que deseas actualizar.
  2. Para ver el grupo de nodos predeterminado, haz lo siguiente:
    1. En la página de detalles del entorno, haz clic en el vínculo Ver detalles del clúster.
    2. En la página Clústeres de la sección Grupos de nodos, haz clic en default-pool.
    3. Observa toda la información de default-pool en la página de detalles del grupo de nodos. Usarás esta información con el fin de crear un grupo de nodos predeterminado nuevo para tu entorno.
  3. Para borrar default-pool, sigue estos pasos:
    1. En la página de detalles del grupo de nodos, haz clic en la flecha hacia atrás para volver a la página Clústeres de tu entorno.
    2. En la sección Grupos de nodos, haz clic en la papelera que se encuentra a la derecha de default-pool.
    3. Para confirmar la acción, haz clic en Borrar.
  4. Para crear el default-pool nuevo, sigue estos pasos:

    1. En la parte superior de la página Clústeres, haz clic en Agregar grupo de nodos.
    2. En Nombre, ingresa default-pool. Debes asignar el nombre default-pool al grupo de nodos o los flujos de trabajo fallarán.
    3. Ingresa la configuración para Tamaño y Nodos.
    4. (Solo para cuentas de servicio de Compute Engine predeterminadas). Para niveles de acceso, selecciona Permitir acceso completo a todas las API de Cloud.
    5. Haz clic en Guardar.
  5. Si observas que las cargas de trabajo se distribuyen de manera desigual, reduce la implementación de airflow-worker a cero y vuelve a escalar.

Borra un entorno

Para borrar un entorno de Cloud Composer, sigue estos pasos:

Console

  1. Abre la página Entornos en Google Cloud Console.

    Abrir la página Entornos

  2. Marca la casilla junto al entorno que deseas borrar.
  3. Haz clic en Borrar.

gcloud

Ejecuta el siguiente comando para borrar un entorno de Cloud Composer:

gcloud composer environments delete ENVIRONMENT_NAME \
    --location LOCATION   

Donde:

  • ENVIRONMENT_NAME es el nombre del entorno.
  • LOCATION es la región de Compute Engine donde se encuentra el entorno.

Ejecuta gcloud composer environments describe --help para obtener información sobre el parámetro del comando.

API

Para borrar un entorno con la API de REST de Cloud Composer, realiza una solicitud a la API environments.delete y completa el ID del entorno.

Si borras el entorno, no se borrarán los siguientes datos del proyecto del cliente:

  • Depósito de Cloud Storage para tu entorno
  • Registros de Google Cloud's operations suite
  • Disco persistente de 2 GB que usa la cola de Redis

Para evitar que se apliquen cargos a tu cuenta de Google Cloud, exporta tus datos y borra el depósito de Cloud Storage, según sea necesario.

¿Qué sigue?