Cloud Composer 1 | Cloud Composer 2
En esta página, se describe qué datos almacena Cloud Composer para tu entorno en Cloud Storage.
Cuando creas un entorno, Cloud Composer crea un bucket de Cloud Storage y lo asocia a tu entorno. El nombre del bucket se basa en la región, el nombre y un ID aleatorio del entorno, como us-central1-b1-6efannnn-bucket.
Cloud Composer espera el código fuente para tus flujos de trabajo (DAG) y sus dependencias en carpetas específicas de Cloud Storage y usa Cloud Storage FUSE para asignar las carpetas a los componentes de Airflow en tu entorno de Cloud Composer.
Carpetas en el bucket de Cloud Storage
| Carpeta | Ruta de almacenamiento | Directorio asignado | Descripción |
|---|---|---|---|
| DAG | gs://bucket-name/dags |
/home/airflow/gcs/dags |
Almacena DAG para tu entorno. Solo los DAG de esta carpeta están programados para tu entorno. |
| Complementos | gs://bucket-name/plugins |
/home/airflow/gcs/plugins |
Almacena tus complementos personalizados, como operadores, hooks, interfaces o sensores personalizados internos de Airflow. |
| Datos | gs://bucket-name/data |
/home/airflow/gcs/data |
Almacena los datos que las tareas producen y usan. Esta carpeta se activa en todos los nodos trabajadores. |
| Registros | gs://bucket-name/logs |
Almacena los registros de Airflow para las tareas. Los registros también están disponibles en la interfaz web de Airflow y en la pestaña Registros de la IU de Cloud Composer. |
Consideraciones de capacidad
Los datos de las carpetas dags/, plugins/ y data/ se sincronizan con los programadores y trabajadores de Airflow.
En Airflow 2, el contenido de la carpeta
plugins/también se sincroniza con el servidor web de Airflow.En Airflow 1, las carpetas de contenido
dags/yplugins/se sincronizan con el servidor web de Airflow solo si la serialización de DAG está desactivada. De lo contrario, no se realizará la sincronización.
Cuantos más datos se coloquen en estas carpetas, más espacio se ocupará en el almacenamiento local de los componentes de Airflow.
Guardar demasiados datos en dags/ y plugins/ puede interrumpir tus operaciones y generar problemas como los siguientes:
Un trabajador o programador se queda sin almacenamiento local y se expulsa debido a la falta de espacio en el disco local del componente.
La sincronización de archivos de las carpetas
dags/yplugins/con trabajadores y programadores lleva mucho tiempo.Sincronizar archivos de las carpetas
dags/yplugins/con trabajadores y programadores resulta imposible. Por ejemplo, almacenas un archivo de 2 GB en la carpetadags/, pero el disco local de tu componente solo puede alojar 1 GB. Durante la sincronización, tu componente se queda sin almacenamiento local y la sincronización no se puede completar.
DAG y complementos
Para evitar fallas en el flujo de trabajo, almacena tus DAG, complementos y módulos de Python en las carpetas dags/ o plugins/, incluso si los módulos de Python no contienen DAG ni complementos.
Por ejemplo, usa un DataFlowPythonOperator que hace referencia a una canalización py_file de Dataflow. Ese py_file no contiene DAG ni complementos, pero debes almacenarlo en la carpeta dags/ o plugins/.
Datos
Hay situaciones en las que ciertos archivos de la carpeta data/ se sincronizan con un componente específico de Airflow.
Por ejemplo, cuando Cloud Composer intenta leer un archivo determinado por primera vez durante lo siguiente:
Análisis de DAG Cuando se lee un archivo por primera vez durante el análisis del DAG, Cloud Composer lo sincroniza con el programador que analiza el DAG.
Ejecución de DAG Cuando se lee un archivo por primera vez durante la ejecución del DAG, Cloud Composer lo sincroniza con el trabajador que ejecuta la ejecución.
Los componentes de Airflow tienen un almacenamiento local limitado, por lo que debes considerar borrar los archivos descargados para liberar espacio en el disco de tus componentes. Ten en cuenta que el uso del almacenamiento local también puede aumentar de forma temporal si tienes tareas simultáneas que descargan el mismo archivo en un solo trabajador de Airflow.
Registros
La carpeta logs/ se sincroniza desde los trabajadores de Airflow al bucket mediante la API de Cloud Storage.
La cuota de la API de Cloud Storage se calcula según la cantidad de datos transferidos, por lo que la cantidad de tareas de Airflow que ejecuta el sistema puede aumentar el uso de la API de Cloud Storage: cuantas más tareas ejecutes, más grandes serán tus archivos de registro.
Carpetas dags/, plugins/ y data/ del servidor web
Airflow 2 usa la serialización de DAG de inmediato. La carpeta
plugins/se sincroniza automáticamente con el servidor web para que la IU de Airflow pueda cargar los complementos. No puedes desactivar la serialización de DAG en Airflow 2.En Airflow 1, la serialización de DAG es compatible y está activada de forma predeterminada en Cloud Composer.
- Cuando la serialización de DAG está activada, los archivos de las carpetas
dags/yplugins/no se sincronizan con el servidor web. - Cuando la serialización de DAG está desactivada, los archivos de
dags/yplugins/se sincronizan con el servidor web.
- Cuando la serialización de DAG está activada, los archivos de las carpetas
Sincronización de datos
Cuando modificas los DAG o los complementos en el bucket de Cloud Storage, se sincronizan los datos en todos los nodos del clúster.
Cloud Composer sincroniza las carpetas dags/ y plugins/ de forma unidireccional mediante la copia local. La sincronización unidireccional indica que los cambios locales en estas carpetas se reemplazan.
Las carpetas data/ y logs/ se sincronizan de forma bidireccional con Cloud Storage FUSE.
Diferencias entre Cloud Composer 1 y Cloud Composer 2
Cloud Composer 1 y Cloud Composer 2 asignan diferentes cantidades de CPU y memoria a los componentes que realizan la sincronización de datos.
Según tu configuración, la velocidad de la sincronización de contenido para las carpetas dags/, plugins/ y data/ entre los componentes del bucket de Cloud Storage y de Airflow puede variar si comparas Cloud Composer 1 y Cloud Composer 2.