Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
En esta página, se explica cómo se puede actualizar un entorno.
Información acerca de las operaciones de actualización
Cuando cambias los parámetros de tu entorno, como especificar un escalamiento nuevo y de rendimiento, o instalar paquetes PyPI personalizados, actualizaciones del entorno.
Una vez finalizada esta operación, los cambios estarán disponibles en tu en un entorno de nube.
Para un único entorno de Cloud Composer, puedes iniciar solo uno de actualización a la vez. Debes esperar a que se complete una operación de actualización antes de iniciar otra operación de entorno.
Cómo afectan las actualizaciones a las tareas de Airflow en ejecución
Cuando ejecutas una operación de actualización, como instalar paquetes de PyPI personalizados, todos los programadores y trabajadores de Airflow en tu entorno reiniciar y finalizar todas las tareas que estén en ejecución. Después de la actualización una operación, Airflow programa estas tareas para un reintento, según la forma de configurar reintentos para tus DAG.
Actualiza con Terraform
Ejecuta terraform plan
antes del terraform apply
para ver si Terraform crea una
en lugar de actualizarlo.
Antes de comenzar
Verifica que tu cuenta, la cuenta de servicio de tu entorno y que la cuenta del agente de servicio de Cloud Composer en tu proyecto permisos requeridos:
Tu cuenta debe tener un rol que pueden activar operaciones de actualización del entorno.
La cuenta de servicio de tu entorno debe tener un rol que tener permisos suficientes para realizar operaciones de actualización
El comando
gcloud composer environments update
finaliza cuando el finalice la operación. Puedes usar la marca--async
para no esperar que se complete la operación.
Actualizar entornos
Si necesitas más información para actualizar tu entorno, consulta otra documentación páginas sobre operaciones de actualización específicas. Por ejemplo:
- Anula las opciones de configuración de Airflow
- Configure las variables de entorno
- Instala dependencias de Python
- Escalar entornos
- Configurar redes autorizadas
Consulta los detalles del entorno
Console
En la consola de Google Cloud, ve a la página Entornos.
En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.
gcloud
Ejecuta el siguiente comando gcloud
:
gcloud composer environments describe ENVIRONMENT_NAME \
--location LOCATION
Reemplaza lo siguiente:
ENVIRONMENT_NAME
por el nombre del entorno.LOCATION
por la región en la que se encuentra el entorno
API
Realiza una solicitud a la API de environments.get
.
Ejemplo:
GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment
Terraform
Ejecuta el comando terraform state show
del recurso de tu entorno.
El nombre del recurso Terraform de tu entorno puede ser diferente del de tu entorno.
terraform state show google_composer_environment.RESOURCE_NAME
Reemplaza lo siguiente:
RESOURCE_NAME
por el nombre del recurso de tu entorno
Revierte los cambios de la actualización
En situaciones excepcionales, es posible que se interrumpa la operación de actualización (por ejemplo, debido al tiempo de espera) y es posible que los cambios solicitados en todos los componentes del entorno (como el servidor web de Airflow).
Por ejemplo, una operación de actualización podría ser instalar o quitar Módulos de PyPI, redefinir o definir un nuevo Airflow o Cloud Composer variable de entorno o cambiar algunos parámetros relacionados con Airflow.
Esto puede ocurrir si se activa una operación de actualización cuando otros operaciones están en curso, por ejemplo, la del clúster de Cloud Composer ajuste de escala automático o una operación de mantenimiento.
En ese caso, se recomienda repetir la operación.
Duración de las operaciones de actualización
La mayoría de las operaciones de actualización o actualización requieren reiniciar los componentes de Airflow como programadores, trabajadores y servidores web de Airflow.
Una vez que se reinicia un componente, debe inicializarse. Durante el
los programadores y trabajadores de Airflow descargan el contenido de /dags
y /plugins
del bucket del entorno. El proceso de sincronización
archivos a los programadores y trabajadores de Airflow no es instantáneo y depende
el tamaño y la cantidad totales de todos los objetos en estas carpetas.
Recomendamos mantener solo los archivos de DAG y de complementos en /dags
y /plugins
de forma respectiva) y quita todos los demás archivos. Demasiados datos
en las carpetas /dags
y /plugins
podría ralentizar la inicialización de Airflow
y, en ciertos casos, puede hacer
que la inicialización no sea posible.
Te recomendamos que conserves menos de 30 MB de datos en las carpetas /dags
y /plugins
, y que no superes los 100 MB de tamaño de datos.
Para obtener más información, consulta lo siguiente:
Actualiza el tipo de máquina para nodos de GKE
Puedes actualizar manualmente el tipo de máquina según la configuración
clúster de GKE borrando los default-pool
y
Crea un default-pool
nuevo con el tipo de máquina deseado.
Se recomienda especificar un tipo de máquina adecuado para el tipo el procesamiento que se produce en tu entorno de Cloud Composer cuando crear un entorno.
Si ejecutas trabajos que realizan cálculos que hacen un uso intensivo de los recursos, deseas usar operadores de GKE.
Después de una actualización, el tipo de máquina anterior sigue apareciendo en tu los detalles del entorno. Por ejemplo, la página de detalles Entorno no refleja el nuevo tipo de máquina.
Console
Para actualizar el tipo de máquina, sigue estos pasos:
En la consola de Google Cloud, ve a la página Entornos.
En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.
Obtén información sobre el grupo de nodos predeterminado:
Ve a la pestaña Configuración del entorno.
Haz clic en el vínculo Ver detalles del clúster.
En la página Clústeres, en la sección Nodos, haz clic en default-pool.
Observa toda la información de default-pool en los detalles del grupo de nodos. . Usarás esta información a fin de crear un nuevo grupo de nodos predeterminado para tu entorno.
Para borrar default-pool, sigue estos pasos:
En la página Detalles del grupo de nodos, haz clic en la flecha hacia atrás para volver a la página Clústeres de tu entorno.
En la sección Grupos de nodos, haz clic en el ícono de papelera para default-pool. Luego, haz clic en Borrar para confirmar la operación.
Para crear el default-pool nuevo, sigue estos pasos:
En la página Clústeres, haz clic en Agregar grupo de nodos.
En Nombre, ingresa
default-pool
. Debes usar el nombredefault-pool
para que los flujos de trabajo de tu entorno puedan ejecutarse en este grupo.Ingresa la configuración para Tamaño y Nodos.
(Solo para cuentas de servicio predeterminadas de Compute Engine) Para acceder selecciona Permitir el acceso total a todas las APIs de Cloud.
Haz clic en Guardar.
Si observas que las cargas de trabajo se distribuyen de manera desigual disminuir la escala la implementación de Airflow a cero y escalar verticalmente de nuevo.