Actualizar entornos

Cloud Composer 1 | Cloud Composer 2

En esta página, se explica cómo se puede actualizar un entorno.

Información acerca de las operaciones de actualización

Cuando cambias los parámetros de tu entorno, como especificar nuevos parámetros de escalamiento y rendimiento, o instalar paquetes de PyPI personalizados, este se actualiza.

Una vez completada esta operación, los cambios estarán disponibles en tu entorno.

Para un solo entorno de Cloud Composer, solo puedes iniciar una operación de actualización a la vez. Debes esperar a que se complete una operación de actualización antes de iniciar otra operación de entorno.

Límites de CPU del activador

Cloud Composer en la versión 2.4.4 presenta un enfoque de escalamiento de rendimiento diferente para el componente activador de Airflow que se aplica a todas las versiones de Cloud Composer 2.

Antes de la versión 2.4.4, los entornos de Cloud Composer podían usar un máximo de 1 o 2 activadores. Después del cambio, puedes tener hasta 10 activadores por entorno, pero cada activador está limitado a un máximo de 1 CPU virtual.

Las operaciones de actualización del entorno fallan si tu entorno está configurado con más de 1 CPU virtual por activador. Debes ajustar la configuración para alcanzar el límite de 1 CPU virtual y poder realizar actualizaciones en otros componentes.

Para obtener más información, consulta:

Cómo afectan las actualizaciones a las tareas de Airflow en ejecución

Cuando ejecutas una operación de actualización, como instalar paquetes de PyPI personalizados, se reinician todos los programadores y trabajadores de Airflow de tu entorno y se finalizan todas las tareas en ejecución. Una vez que se completa la operación de actualización, Airflow programa estas tareas para un reintento, según la forma en que configures los reintentos para tus DAG.

Actualiza con Terraform

Ejecuta terraform plan antes de terraform apply para ver si Terraform crea un entorno nuevo en lugar de actualizarlo.

Antes de comenzar

Actualizar entornos

Si quieres obtener más información para actualizar tu entorno, consulta otras páginas de documentación sobre operaciones de actualización específicas. Por ejemplo:

Consulta los detalles del entorno

Console

  1. En la consola de Google Cloud, ve a la página Entornos.

    Ir a Entornos

  2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.

gcloud

Ejecuta el siguiente comando gcloud:

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

Reemplaza lo siguiente:

  • ENVIRONMENT_NAME por el nombre del entorno.
  • LOCATION por la región en la que se encuentra el entorno

API

Realiza una solicitud a la API de environments.get.

Ejemplo:

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

Terraform

Ejecuta el comando terraform state show del recurso de tu entorno.

El nombre del recurso de Terraform de tu entorno puede ser diferente del nombre de tu entorno.

terraform state show google_composer_environment.RESOURCE_NAME

Reemplaza lo siguiente:

  • RESOURCE_NAME por el nombre del recurso de tu entorno

Revierte los cambios de la actualización

En algunas situaciones poco comunes, es posible que se interrumpa una operación de actualización (por ejemplo, debido a un tiempo de espera) y que los cambios solicitados no se reviertan en todos los componentes del entorno (como el servidor web de Airflow).

Por ejemplo, una operación de actualización puede ser instalar o quitar módulos de PyPI adicionales, volver a definir o definir una nueva variable de entorno de Airflow o Cloud Composer, o cambiar algunos parámetros relacionados con Airflow.

Esto puede ocurrir si se activa una operación de actualización cuando otras operaciones están en curso, por ejemplo, el ajuste de escala automático del clúster de Cloud Composer o una operación de mantenimiento.

En ese caso, se recomienda repetir la operación.

Duración de las operaciones de actualización

La mayoría de las operaciones de actualización o actualización requieren reiniciar los componentes de Airflow, como los programadores, los trabajadores y los servidores web de Airflow.

Una vez que se reinicia un componente, debe inicializarse. Durante la inicialización, los programadores y trabajadores de Airflow descargan el contenido de las carpetas /dags y /plugins del bucket del entorno. El proceso de sincronización de archivos con los programadores y trabajadores de Airflow no es instantáneo y depende del tamaño total y la cantidad de todos los objetos en estas carpetas.

Recomendamos mantener solo los archivos DAG y de complementos en las carpetas /dags y /plugins (respectivamente) y quitar todos los demás archivos. Si hay demasiados datos en las carpetas /dags y /plugins, es posible que la inicialización de los componentes de Airflow sea más lenta y, en ciertos casos, no sea posible.

Te recomendamos que conserves menos de 30 MB de datos en las carpetas /dags y /plugins, y que no superes los 100 MB de tamaño de datos.

Para obtener más información, consulta lo siguiente:

¿Qué sigue?