Cloud Composer 特性

本页面简要介绍了 Cloud Composer 的特性和功能。

Cloud Composer 是一项托管式 Apache Airflow 服务,可帮助您创建、调度、监控和管理工作流。

Airflow 环境

Cloud Composer 环境是 Apache Airflow 的封装容器。Cloud Composer 会为每个环境创建以下组件:

  • Web 服务器:Web 服务器用于运行 Apache Airflow 网页界面,该界面受 Cloud Identity-Aware Proxy 保护。如需了解详情,请参阅 Airflow 网页界面
  • 数据库:数据库用于存储 Apache Airflow 元数据。
  • Cloud Storage 存储分区:Cloud Composer 会将 Cloud Storage 存储分区与环境相关联。关联的存储分区会存储相应环境的 DAG日志、自定义插件和数据。如需详细了解 Cloud Composer 的存储分区,请参阅 Cloud Storage

Airflow 管理

您可以使用以下 Airflow 原生工具来访问和管理 Airflow 环境:

  • 网页界面:您可以通过 Google Cloud Platform Console 访问 Airflow 网页界面,也可以通过具有适当权限的直接网址访问该界面。如需了解相关信息,请参阅 Airflow 网页界面
  • 命令行工具:安装 Cloud SDK 后,您可以运行 gcloud composer environments 命令来向 Cloud Composer 环境发出 Airflow CLI 命令。如需了解相关信息,请参阅 Airflow 命令行界面

除了使用原生工具以外,Cloud Composer REST 或 RPC API 还支持通过编程方式访问 Airflow 环境。如需了解详情,请参阅 API 与参考

Airflow 配置

通常,Cloud Composer 为 Apache Airflow 提供的配置与本地托管的 Airflow 部署相同。部分 Airflow 配置已在 Cloud Composer 中预配置,您不能更改这些配置属性。对于其他配置,您可以在创建或更新环境时加以指定。如需了解详情,请参阅 Airflow 配置

Airflow DAG(工作流)

Apache Airflow DAG 是一种工作流,它包含一系列任务以及其他任务依赖项。Cloud Composer 使用 Cloud Storage 来存储 DAG。要在您的 Cloud Composer 环境中添加或移除 DAG,请在与该环境关联的 Cloud Storage 存储分区中添加或移除 DAG。将 DAG 移入该存储分区后,您的环境便会自动添加并调度它们。

除了调度 DAG 以外,您还可以手动或通过事件(例如关联 Cloud Storage 存储分区中发生的更改)触发 DAG。如需了解详情,请参阅触发 DAG

插件

您可以在 Cloud Composer 环境中安装自定义插件,例如自定义的内部 Apache Airflow 操作器、钩子、传感器或接口。如需了解详情,请参阅 Cloud Composer 插件

Python 依赖项

您可以在环境中通过 Python 软件包索引安装 Python 依赖项;如果依赖项未包含在软件包索引中,则可以使用插件功能。如需了解详情,请参阅安装 Python 依赖项

访问权限控制

您可以在 GCP 项目级层管理安全性,还可以通过分配 Cloud Identity and Access Management (IAM) 角色来防止个别用户修改或创建环境。如果某人无权访问您的项目,或者不具备适当的 Cloud Composer IAM 角色,那么他无法访问您的任何环境。如需了解详情,请参阅 Cloud Composer 访问权限控制

日志记录和监控

您可通过 Airflow 网页界面查看与个别 DAG 任务关联的 Airflow 日志,也可在关联 Cloud Storage 存储分区中的 logs 文件夹下找到这些日志。

Cloud Composer 可提供流式日志。要访问流式日志,您可以使用 Google Cloud Platform Console 的日志查看器或 Stackdriver。如需了解如何使用 Stackdriver,请参阅监控 Cloud Composer 环境

Cloud Composer 还可为您的 GCP 项目提供审核日志,例如管理员活动审核日志。如需了解相关信息,请参阅查看审核日志

此页内容是否有用?请给出您的反馈和评价:

发送以下问题的反馈:

此网页
Cloud Composer