Actualizar entornos

Cloud Composer 1 | Cloud Composer 2

En esta página, se explica cómo se puede actualizar un entorno.

Información acerca de las operaciones de actualización

Cuando cambias los parámetros de tu entorno, como la especificación de parámetros de escalamiento y rendimiento nuevos, o la instalación de paquetes de PyPI personalizados, el entorno se actualiza.

Una vez completada esta operación, los cambios estarán disponibles en tu entorno.

Para un solo entorno de Cloud Composer, solo puedes iniciar una operación de actualización a la vez. Debes esperar a que se complete una operación de actualización antes de iniciar otra operación de entorno.

Importante: No actualices los clústeres de GKE de tus entornos de Cloud Composer a versiones más recientes de GKE. Usa la versión de GKE preconfigurada durante la creación del entorno y confía en las actualizaciones automáticas que realiza el servicio de GKE.

Cómo afectan las actualizaciones a la ejecución de tareas de Airflow

Precaución: Durante una operación de actualización, se finalizan todas las tareas en ejecución.

Cuando ejecutas una operación de actualización, como la instalación de paquetes personalizados de PyPI, todos los programadores y trabajadores de Airflow en tu entorno se reinician y se finalizan todas las tareas en ejecución. Una vez que se completa la operación de actualización, Airflow programa estas tareas para un reintento, según la forma en que configuras los reintentos para los DAG.

Actualiza con Terraform

Advertencia: Si intentas cambiar un parámetro de configuración que no se puede actualizar, Terraform borra el entorno y crea uno nuevo con el valor nuevo del parámetro.

Ejecuta terraform plan antes de terraform apply para ver si Terraform crea un entorno nuevo en lugar de actualizarlo.

Antes de comenzar

• Verifica que tu cuenta, la cuenta de servicio de tu entorno y la cuenta del agente de servicio de Cloud Composer en tu proyecto tengan los permisos necesarios:

  • Tu cuenta debe tener un rol que pueda activar operaciones de actualización del entorno.

  • La cuenta de servicio de tu entorno debe tener una función que tenga suficientes permisos para realizar operaciones de actualización.

• El comando gcloud composer environments update finaliza cuando termina la operación. Puedes usar la marca --async para no esperar a que se complete la operación.

Actualizar entornos

Para obtener más información sobre la actualización de tu entorno, consulta otras páginas de documentación sobre operaciones de actualización específicas. Por ejemplo:

• Anula las opciones de configuración de Airflow
• Configure las variables de entorno
• Instala dependencias de Python
• Escalar entornos
• Configura redes autorizadas

Consulta los detalles del entorno

Consola

1. En la consola de Google Cloud, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.

gcloud

Ejecuta el siguiente comando gcloud:

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

Reemplaza lo siguiente:

• ENVIRONMENT_NAME por el nombre del entorno.
• LOCATION por la región en la que se encuentra el entorno

API

Realiza una solicitud a la API de environments.get.

Ejemplo:

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

Terraform

Ejecuta el comando terraform state show para el recurso de tu entorno.

El nombre del recurso de Terraform de tu entorno puede ser diferente del nombre de tu entorno.

terraform state show google_composer_environment.RESOURCE_NAME

Reemplaza lo siguiente:

• RESOURCE_NAME por el nombre del recurso de tu entorno

Cómo revertir cambios de actualizaciones

En algunas situaciones poco frecuentes, una operación de actualización puede interrumpirse (por ejemplo, debido a un tiempo de espera) y los cambios solicitados podrían no revertirse en todos los componentes del entorno (como el servidor web de Airflow).

Por ejemplo, una operación de actualización podría ser instalar o quitar módulos de PyPI adicionales, volver a definir o definir una nueva variable de entorno de Airflow o Cloud Composer, o cambiar algunos parámetros relacionados con Airflow.

Esta situación puede ocurrir si se activa una operación de actualización cuando otras operaciones están en curso, como el ajuste de escala automático del clúster de Cloud Composer o una operación de mantenimiento.

En este caso, te recomendamos que repitas la operación.

Duración de las operaciones de actualización o actualización

La mayoría de las operaciones de actualización o actualización requieren reiniciar los componentes de Airflow, como los programadores, trabajadores y servidores web de Airflow.

Una vez que se reinicia un componente, se debe inicializar. Durante la inicialización, los programadores y trabajadores de Airflow descargan el contenido de las carpetas /dags y /plugins del bucket del entorno. El proceso de sincronización de archivos con los programadores y trabajadores de Airflow no es instantáneo y depende del tamaño total y la cantidad de todos los objetos en estas carpetas.

Recomendamos mantener solo los archivos DAG y de complementos en las carpetas /dags y /plugins (respectivamente) y quitar todos los demás archivos. Si hay demasiados datos en las carpetas /dags y /plugins, es posible que la inicialización de los componentes de Airflow sea más lenta y, en algunos casos, que no sea posible.

Recomendamos guardar menos de 30 MB de datos en las carpetas /dags y /plugins, y nunca superar el tamaño de 100 MB.

Para obtener más información, consulta también lo siguiente:

• Datos almacenados en Cloud Storage

• Controla una gran cantidad de DAG y complementos

Actualiza el tipo de máquina para nodos de GKE

Puedes actualizar de forma manual el tipo de máquina para el clúster de GKE de tu entorno si borras el default-pool existente y creas una default-pool nueva con el tipo de máquina deseado.

Te recomendamos que especifiques un tipo de máquina adecuado para el tipo de procesamiento que se produce en tu entorno de Cloud Composer cuando creas un entorno.

Si ejecutas trabajos que realizan procesamientos que consumen muchos recursos, te recomendamos usar operadores de GKE.

Precaución: Es posible que la ejecución de tus DAG se interrumpa durante la actualización. Antes de realizar la actualización, considera pausar todos los DAG y espera a que finalicen las tareas en curso.

Después de una actualización, el tipo de máquina anterior aún aparece en los detalles del entorno. Por ejemplo, la página de detalles del entorno no refleja el nuevo tipo de máquina.

Consola

Para actualizar el tipo de máquina, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.

3. Obtén información sobre el grupo de nodos predeterminado:

   1. Ve a la pestaña Configuración del entorno.

   2. Haz clic en el vínculo ver detalles del clúster.

   3. En la página de clústeres en la sección Nodos, haz clic en default-pool.

   4. Ten en cuenta toda la información de default-pool en la página de detalles del grupo de nodos. Usarás esta información a fin de crear un nuevo grupo de nodos predeterminado para tu entorno.

4. Para borrar default-pool, sigue estos pasos:

   1. En la página Detalles del grupo de nodos, haz clic en la flecha hacia atrás para volver a la página Clústeres de tu entorno.

   2. En la sección Grupos de nodos, haz clic en el ícono de papelera de default-pool. Luego, haz clic en Borrar para confirmar la operación.

5. Para crear el default-pool nuevo, sigue estos pasos:

   Precaución: Usa la misma cuenta de servicio que ejecuta el entorno de Cloud Composer. Si usas una cuenta de servicio personalizada y dependes de los permisos de acceso, debes usar gcloud CLI para crear un grupo nuevo con los permisos adecuados. Para hacerlo, sigue las instrucciones de la página Agrega y administra grupos de nodos. Especifica los permisos de acceso con el parámetro --scopes.

   1. En la página Clústeres, haz clic en Agregar grupo de nodos.

   2. En Nombre, ingresa default-pool. Debes usar el nombre default-pool para que los flujos de trabajo de tu entorno puedan ejecutarse en este grupo.

   3. Ingresa la configuración para Tamaño y Nodos.

   4. Para los permisos de acceso, selecciona Permitir acceso completo a todas las API de Cloud (solo para las cuentas de servicio predeterminadas de Compute Engine).

   5. Haz clic en Guardar.

6. Si observas que las cargas de trabajo se distribuyen de manera desigual, reduce la implementación de airflow-worker a cero y vuelve a escalar.

¿Qué sigue?

• Actualiza entornos
• Anula las opciones de configuración de Airflow