Cloud Composer 1 |Cloud Composer 2 |Cloud Composer 3
本页面介绍 Cloud Composer 会为您的环境存储哪些数据 Cloud Storage 中的资源。
当您创建环境时，Cloud Composer 会创建一个 Cloud Storage 存储分区，并将该存储分区关联至您的环境。存储桶的名称取决于环境
区域、名称和随机 ID，例如 us-central1-b1-6efabcde-bucket。
Cloud Composer 会在 与您的环境中运行的 Airflow 组件相关联。 例如，当您在 Airflow 组件也会收到更新后的版本。 Cloud Composer 使用 Cloud Storage FUSE 以进行同步。
Cloud Storage 存储分区中的文件夹
| 文件夹 | 存储路径 | 映射目录 | 说明 |
|---|---|---|---|
| DAG | gs://bucket-name/dags |
/home/airflow/gcs/dags |
存储您的环境的 DAG。 |
| 插件 | gs://bucket-name/plugins |
/home/airflow/gcs/plugins |
存储您的自定义插件，例如自定义内部 Airflow 操作器、钩子、传感器或接口。 |
| 数据 | gs://bucket-name/data |
/home/airflow/gcs/data |
存储任务生成和使用的数据。 |
| 日志 | gs://bucket-name/logs |
/home/airflow/gcs/logs |
存储任务的 Airflow 日志。Airflow 网页界面和 Google Cloud 控制台的日志标签页中也提供日志。 |
Cloud Composer 会同步 dags/ 和 plugins/ 文件夹
单向。单向同步意味着
Airflow 组件上的文件夹被覆盖。data/和logs/
文件夹的双向同步。
数据同步最终将保持一致。发送消息 从一个运算符到另一个运算符， 使用 XComs。
容量注意事项
dags/、plugins/ 和 data/ 文件夹中的数据会同步到 Airflow
调度器和工作器。
plugins/ 文件夹的内容会同步到 Airflow Web 服务器。
放入这些文件夹中的数据越多，占用的空间就越多
Airflow 组件的本地存储空间中在以下服务中保存过多数据：
dags/和plugins/可能会中断您的运营并导致如下问题：
工作器或调度器耗尽本地存储空间并因以下原因被逐出 组件本地磁盘上空间不足的问题。
将
dags/和plugins/文件夹中的文件同步到 worker， 调度程序需要很长时间将
dags/和plugins/文件夹中的文件同步到 worker， 调度器就会变为不可能例如，您将一个 2 GB 的文件存储在dags/文件夹，但 Airflow 工作器的本地磁盘只能 可容纳 1 GB。在同步期间，工作器中的本地资源耗尽 无法完成存储和同步。
DAG 和插件文件夹
为避免 DAG 运行失败，请将 DAG、插件和 Python 模块存储在
dags/ 或 plugins/ 文件夹，即使您的 Python 模块不包含 DAG
或插件。
例如，您使用的 DataFlowPythonOperator 引用了 py_file
Dataflow 流水线。py_file 不包含 DAG，或者
但您仍须将其存储在 dags/ 或 plugins/ 文件夹中。
数据文件夹
在某些情况下，data/ 文件夹中的某些文件
与特定的 Airflow 组件同步。例如，当
在执行以下操作期间，Cloud Composer 会首次尝试读取给定文件：
DAG 解析：在 DAG 解析期间首次读取文件时， Cloud Composer 会将其同步到解析 DAG 的调度器。
DAG 执行：在 DAG 执行期间首次读取文件时， Cloud Composer 会将其同步到运行执行的工作器。
Airflow 组件的本地存储空间有限，因此请考虑将其删除 来释放组件中的磁盘空间。请注意，本地 如果您有并发任务 将同一个文件下载到单个 Airflow 工作器。
日志文件夹
logs/ 文件夹会从 Airflow 工作器同步到环境的
使用 Cloud Storage API 存储存储桶。
Cloud Storage API 配额按移动的数据量计算， 系统运行的 Airflow 任务数量可能会增加， Cloud Storage API 用量：运行的任务越多，日志越大 文件。
与 Web 服务器同步
plugins/ 文件夹会自动同步到 Web 服务器，
可以通过 Airflow 界面加载插件。