Actualiza los entornos de Cloud Composer

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

En esta página, se explica cómo se puede actualizar un entorno.

Acerca de las operaciones de actualización

Cuando cambias los parámetros de tu entorno, como especificar nuevos parámetros de escalamiento y rendimiento, o instalar paquetes PyPI personalizados, tu entorno se actualiza.

Una vez que se complete esta operación, los cambios estarán disponibles en tu entorno.

En un solo entorno de Cloud Composer, solo puedes iniciar una operación de actualización a la vez. Debes esperar a que se complete una operación de actualización antes de comenzar otra operación del entorno.

Importante: No actualices los clústeres de GKE de tus entornos de Cloud Composer a versiones más recientes de GKE. Usa la versión de GKE preconfigurada durante la creación del entorno y confía en las actualizaciones automáticas que realiza el servicio de GKE.

Límites de CPU del activador

Cloud Composer 2.4.4 introduce un enfoque diferente de ajuste de rendimiento para el componente activador de Airflow que se aplica a todas las versiones de Cloud Composer 2.

Antes de la versión 2.4.4, los entornos de Cloud Composer podían usar un máximo de 1 o 2 activadores. Después del cambio, puedes tener hasta 10 activadores por entorno, pero cada activador está limitado a un máximo de 1 CPU virtual.

Las operaciones de actualización del entorno fallan si tu entorno está configurado con más de 1 CPU virtual por activador. Debes ajustar la configuración para cumplir con el límite de 1 CPU virtual y, así, poder realizar actualizaciones en otros componentes.

Para obtener más información, consulte:

• Configura la asignación de recursos del activador
• Ajusta el recuento de activadores
• Soluciona problemas de actualización del entorno: Se excedió la CPU del activador

Cómo afectan las actualizaciones a las tareas de Airflow en ejecución

Precaución: Algunas operaciones de actualización finalizan todas las tareas en ejecución.

Cuando ejecutas una operación de actualización, es posible que los programadores y trabajadores de Airflow en tu entorno requieran un reinicio. En este caso, se finalizan todas las tareas en ejecución. Una vez que se completa la operación de actualización, Airflow programa estas tareas para que se reintenten, según la forma en que configures los reintentos para tus DAGs.

Nota: Los trabajadores de Airflow se pueden reiniciar como parte del mantenimiento del entorno durante los períodos de mantenimiento.

Los siguientes cambios provocan la finalización de las tareas de Airflow:

• Actualizar tu entorno a una versión nueva
• Agregar, cambiar o borrar paquetes personalizados de PyPI
• Cambiar las variables de entorno de Cloud Composer
• Agregar o quitar anulaciones de opciones de configuración de Airflow, o cambiar sus valores
• Cambiar la CPU, la memoria o el almacenamiento de los trabajadores de Airflow

• Reducir la cantidad máxima de trabajadores de Airflow si el valor nuevo es inferior a la cantidad de trabajadores que se están ejecutando actualmente Por ejemplo, si un entorno ejecuta actualmente tres trabajadores y el máximo se reduce a dos.

• Se está cambiando el modo de resiliencia del entorno.

Los siguientes cambios no provocan la finalización de la tarea de Airflow:

• Crear, actualizar o borrar un DAG (no es una operación de actualización)
• Pausar o reanudar DAGs (no es una operación de actualización)
• Cambiar las variables de Airflow (no es una operación de actualización)
• Cambiar las conexiones de Airflow (no es una operación de actualización)
• Habilita o inhabilita la integración del linaje de datos de Dataplex Universal Catalog.
• Cambia el tamaño del entorno.
• Se está cambiando la cantidad de programadores.
• Cambiar la CPU, la memoria o el almacenamiento de los programadores de Airflow
• Cambiar la cantidad de activadores
• Cambiar la CPU, la memoria o el almacenamiento de los activadores de Airflow
• Cambiar la CPU, la memoria o el almacenamiento del servidor web de Airflow
• Aumentar o disminuir la cantidad mínima de trabajadores
• Reducir la cantidad máxima de trabajadores de Airflow Por ejemplo, si un entorno actualmente ejecuta dos trabajadores y el máximo se reduce a tres.
• Cambios en los períodos de mantenimiento
• Cambiar la configuración de las instantáneas programadas
• Se cambiaron las etiquetas de entorno.

Actualización con Terraform

Advertencia: Si intentas cambiar un parámetro de configuración que no se puede actualizar, Terraform borrará tu entorno y creará uno nuevo con el nuevo valor del parámetro.

Ejecuta terraform plan antes de terraform apply para ver si Terraform crea un entorno nuevo en lugar de actualizarlo.

Antes de comenzar

• Verifica que tu cuenta, la cuenta de servicio de tu entorno y la cuenta del agente de servicio de Cloud Composer en tu proyecto tengan los permisos necesarios:

  • Tu cuenta debe tener un rol que pueda activar las operaciones de actualización del entorno.

  • La cuenta de servicio de tu entorno debe tener un rol que tenga suficientes permisos para realizar operaciones de actualización.

  • La cuenta del agente de servicio de Cloud Composer debe tener permisos para crear vinculaciones entre la cuenta de servicio de tu entorno y la cuenta de servicio de Kubernetes del clúster de tu entorno.

• El comando gcloud composer environments update finaliza cuando termina la operación. Puedes usar la marca --async para evitar esperar a que se complete la operación.

Actualiza entornos

Para obtener más información sobre cómo actualizar tu entorno, consulta otras páginas de documentación sobre operaciones de actualización específicas. Por ejemplo:

• Anula las opciones de configuración de Airflow
• Configure las variables de entorno
• Instala las dependencias de Python

• Escalar entornos

• Actualiza los entornos para que tengan alta resiliencia

Consulta los detalles del entorno

Console

1. En la consola de Google Cloud , ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.

gcloud

Ejecuta el siguiente comando gcloud:

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

Reemplaza lo siguiente:

• ENVIRONMENT_NAME por el nombre del entorno.
• LOCATION por la región en la que se encuentra el entorno.

API

Realiza una solicitud a la API de environments.get.

Ejemplo:

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

Terraform

Ejecuta el comando terraform state show para el recurso de tu entorno.

El nombre del recurso de Terraform de tu entorno puede ser diferente del nombre de tu entorno.

terraform state show google_composer_environment.RESOURCE_NAME

Reemplaza lo siguiente:

• RESOURCE_NAME por el nombre del recurso de tu entorno.

Cómo revertir los cambios de actualización

En algunas situaciones excepcionales, es posible que se interrumpa una operación de actualización (por ejemplo, debido a un tiempo de espera agotado) y que los cambios solicitados no se reviertan en todos los componentes del entorno (como el servidor web de Airflow).

Por ejemplo, una operación de actualización podría instalar o quitar módulos de PyPI adicionales, volver a definir o definir una nueva variable de entorno de Airflow o Cloud Composer, o cambiar algunos parámetros relacionados con Airflow.

Esta situación puede ocurrir si se activa una operación de actualización cuando hay otras operaciones en curso, por ejemplo, el ajuste de escala automático del clúster de Cloud Composer o una operación de mantenimiento.

En ese caso, se recomienda repetir la operación.

Duración de las operaciones de actualización

Los siguientes factores afectan la duración de las operaciones de actualización:

• La mayoría de las operaciones de actualización requieren reiniciar los componentes de Airflow, como los programadores, los trabajadores y los servidores web de Airflow. Después de reiniciar un componente, se debe inicializar. Durante la inicialización, los programadores y trabajadores de Airflow descargan el contenido de las carpetas /dags y /plugins del bucket del entorno. El proceso de sincronización de archivos con los programadores y trabajadores de Airflow no es instantáneo y depende del tamaño total y la cantidad de todos los objetos de estas carpetas.

  Te recomendamos que solo conserves los archivos de DAG y complementos en las carpetas /dags y /plugins (respectivamente) y que quites todos los demás archivos. Demasiados datos en las carpetas /dags y /plugins pueden ralentizar la inicialización de los componentes de Airflow y, en algunos casos, imposibilitarla.

  Te recomendamos que mantengas menos de 30 MB de datos en las carpetas /dags y /plugins, y que no superes los 100 MB de tamaño de datos. Para obtener más información, consulta Cómo controlar una gran cantidad de DAGs y complementos.

• El tamaño de la base de datos de Airflow puede aumentar significativamente el tiempo de las operaciones de actualización. Te recomendamos que mantengas el tamaño de la base de datos de Airflow manteniendo la base de datos de Airflow de tu entorno.

¿Qué sigue?

• Actualiza entornos
• Anula las opciones de configuración de Airflow