Cloud Composer 1 | Cloud Composer 2
本页面介绍了 Cloud Composer 会在 Cloud Storage 中为您的环境存储哪些数据。
当您创建环境时,Cloud Composer 会创建一个 Cloud Storage 存储桶,并将该存储桶关联至您的环境。存储桶的名称取决于环境区域、名称和随机 ID,例如 us-central1-b1-6efabcde-bucket
。
Cloud Composer 会将环境存储桶中的特定文件夹同步到您的环境中运行的 Airflow 组件。例如,当您使用环境存储桶中的 Airflow DAG 代码更新文件时,Airflow 组件也会收到更新后的版本。Cloud Composer 使用 Cloud Storage FUSE 进行同步。
Cloud Storage 存储桶中的文件夹
文件夹 | 存储路径 | 映射目录 | 说明 |
---|---|---|---|
DAG | gs://bucket-name/dags |
/home/airflow/gcs/dags |
存储您的环境的 DAG。 |
插件 | gs://bucket-name/plugins |
/home/airflow/gcs/plugins |
存储您的自定义插件,例如自定义内部 Airflow 操作器、钩子、传感器或接口。 |
数据 | gs://bucket-name/data |
/home/airflow/gcs/data |
存储任务生成和使用的数据。 |
日志 | gs://bucket-name/logs |
/home/airflow/gcs/logs |
存储任务的 Airflow 日志。Airflow 网页界面和 Google Cloud 控制台的日志标签页也会提供日志。 |
Cloud Composer 会单向同步 dags/
和 plugins/
文件夹。单向同步意味着 Airflow 组件上这些文件夹中的本地更改会被覆盖。data/
和 logs/
文件夹可实现双向同步。
数据同步最终将保持一致。如需从一个运算符向另一个运算符发送消息,请使用 XComs。
容量注意事项
dags/
、plugins/
和 data/
文件夹中的数据会同步到 Airflow 调度器和工作器。
plugins/
文件夹的内容会同步到 Airflow Web 服务器。
放入这些文件夹的数据越多,Airflow 组件的本地存储空间占用的空间就越大。在 dags/
和 plugins/
中保存过多数据可能会中断您的操作,并导致出现以下问题:
工作器或调度器的本地存储空间不足,并因组件本地磁盘上的空间不足而被逐出。
将文件从
dags/
和plugins/
文件夹同步到工作器和调度器需要很长时间。无法将
dags/
和plugins/
文件夹中的文件同步到工作器和调度器。例如,您将一个 2 GB 的文件存储在dags/
文件夹中,但 Airflow 工作器的本地磁盘只能存储 1 GB。在同步期间,工作器将耗尽本地存储空间,同步无法完成。
DAG 和插件文件夹
为避免 DAG 运行失败,请将您的 DAG、插件和 Python 模块存储在 dags/
或 plugins/
文件夹中,即使您的 Python 模块不包含 DAG 或插件也是如此。
例如,您使用引用 py_file
Dataflow 流水线的 DataFlowPythonOperator
。该 py_file
不包含 DAG 或插件,但您仍必须将其存储在 dags/
或 plugins/
文件夹中。
数据文件夹
有时,data/
文件夹中的某些文件会同步到特定 Airflow 组件。例如,当 Cloud Composer 在以下情况下首次尝试读取给定文件时:
DAG 解析:在 DAG 解析期间首次读取文件时,Cloud Composer 会将该文件同步到解析 DAG 的调度器。
DAG 执行:在 DAG 执行期间首次读取文件时,Cloud Composer 会将该文件同步到运行执行的工作器。
Airflow 组件的本地存储空间有限,因此请考虑删除已下载的文件以释放组件中的磁盘空间。请注意,如果您有将同一文件下载到单个 Airflow 工作器的并发任务,则本地存储空间用量也可能会暂时增加。
日志文件夹
logs/
文件夹使用 Cloud Storage API 从 Airflow 工作器同步到环境的存储桶。
Cloud Storage API 配额是根据移动的数据量计算的,因此系统运行的 Airflow 任务数量可能会增加 Cloud Storage API 的使用量:运行的任务越多,日志文件越大。
与 Web 服务器同步
plugins/
文件夹会自动同步到 Web 服务器,以便 Airflow 界面可以加载插件。