Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
En esta página se describe la arquitectura de los entornos de Cloud Composer.
Configuraciones de la arquitectura del entorno
Los entornos de Cloud Composer 3 tienen una sola configuración que no depende del tipo de red:
Proyectos de clientes y de clientes
Cuando creas un entorno, Cloud Composer distribuye los recursos del entorno entre un proyecto de cliente y un proyecto de propietario:
Proyecto de cliente es un Google Cloud proyecto en el que creas tus entornos. Puedes crear más de un entorno en un mismo proyecto de cliente.
Un proyecto de cliente es un proyecto de cliente gestionado por Google y pertenece a la organización Google.com. El proyecto de inquilino proporciona un control de acceso unificado y una capa adicional de seguridad de los datos a tu entorno. Cada entorno de Cloud Composer tiene su propio proyecto de arrendatario.
Componentes del entorno
Un entorno de Cloud Composer consta de componentes de entorno.
Un componente de entorno es un elemento de una infraestructura de Airflow gestionada que se ejecuta en Google Cloudcomo parte de tu entorno. Los componentes del entorno se ejecutan en el cliente o en el proyecto del cliente de tu entorno.
Segmento del entorno
El segmento del entorno es un segmento de Cloud Storage que almacena DAGs, complementos, dependencias de datos y registros de Airflow. El cubo del entorno se encuentra en el proyecto del cliente.
Cuando subes tus archivos DAG a la carpeta /dags del bucket de tu entorno, Cloud Composer sincroniza los DAGs con los componentes de Airflow de tu entorno.
Servidor web de Airflow
El servidor web de Airflow ejecuta la interfaz de usuario de Airflow de tu entorno.
Cloud Composer proporciona acceso a la interfaz en función de las identidades de los usuarios y los enlaces de políticas de gestión de identidades y accesos definidos para los usuarios.
Base de datos de Airflow
La base de datos de Airflow es una instancia de Cloud SQL que se ejecuta en el proyecto de inquilino de tu entorno. Aloja la base de datos de metadatos de Airflow.
Para proteger la información sensible de las conexiones y los flujos de trabajo, Cloud Composer solo permite el acceso a la base de datos a la cuenta de servicio de tu entorno.
Otros componentes de flujo de aire
Otros componentes de Airflow que se ejecutan en tu entorno:
Los programadores de Airflow analizan los archivos de definición de DAG, programan las ejecuciones de DAG en función del intervalo de programación y ponen en cola las tareas para que las ejecuten los trabajadores de Airflow.
Los activadores de Airflow monitorizan de forma asíncrona todas las tareas aplazadas de tu entorno. Si defines el número de activadores de tu entorno por encima de cero, puedes usar operadores aplazables en tus DAGs.
Los procesadores de DAG de Airflow procesan los archivos de DAG y los convierten en objetos de DAG. En Cloud Composer 3, los procesadores de DAG se ejecutan como componentes de entorno independientes.
Los trabajadores de Airflow ejecutan las tareas programadas por los programadores de Airflow. El número mínimo y máximo de trabajadores de tu entorno cambia dinámicamente en función del número de tareas de la cola.
Arquitectura del entorno de Cloud Composer 3
En los entornos de Cloud Composer 3:
- El proyecto de inquilino aloja una instancia de Cloud SQL con la base de datos de Airflow.
- Todos los recursos de Airflow se ejecutan en el proyecto de arrendatario.
- El proyecto del cliente aloja el segmento del entorno.
- Se puede usar un adjunto de red de VPC personalizada en el proyecto del cliente para adjuntar el entorno a una red de VPC personalizada. Puedes usar un archivo adjunto que ya tengas o Cloud Composer puede crearlo automáticamente bajo demanda. También se puede separar un entorno de una red de VPC.
- Google Cloud Monitoring y Logging en el proyecto del cliente ofrecen formas de gestionar el entorno, los DAGs y las ejecuciones de DAGs, así como de acceder a las métricas y los registros del entorno. También puedes usar la interfaz de usuario de Airflow, la CLI de Google Cloud, la API de Cloud Composer y Terraform para los mismos fines.
En entornos de Cloud Composer 3 de alta resiliencia:
La instancia de Cloud SQL de tu entorno está configurada para ofrecer alta disponibilidad (es una instancia regional). En una instancia regional, la configuración se compone de una instancia principal y una de reserva.
Tu entorno ejecuta los siguientes componentes de Airflow en zonas independientes:
- Dos programadores de Airflow
- Dos servidores web
- Al menos dos procesadores de DAG (hasta un total de 10)
Si se usan activadores, al menos dos (hasta un máximo de 10)
El número mínimo de trabajadores es dos y el clúster de tu entorno distribuye las instancias de trabajador entre las zonas. En caso de interrupción zonal, las instancias de trabajador afectadas se reprograman en otra zona.
Integración con Cloud Logging y Cloud Monitoring
Cloud Composer se integra con Cloud Logging y Cloud Monitoring de tu Google Cloud proyecto para que tengas un lugar centralizado donde ver los registros de Airflow y DAG.
Cloud Monitoring recoge e ingiere métricas, eventos y metadatos de Cloud Composer para generar estadísticas mediante paneles de control y gráficos.
Gracias a la naturaleza de streaming de Cloud Logging, puedes ver los registros emitidos por los componentes de Airflow inmediatamente en lugar de esperar a que aparezcan en el segmento de Cloud Storage de tu entorno.
Para limitar el número de registros de tu Google Cloud proyecto, puedes detener la ingestión de todos los registros. No inhabilites el registro.