Cloud Composer 1 | Cloud Composer 2
Cloud Composer 是一项全代管式工作流编排服务，您可以利用它创建、安排、监控和管理跨越多个云平台和本地数据中心的工作流流水线。
Cloud Composer 在常用的 Apache Airflow 开源项目的基础上构建而成，支持使用 Python 编程语言进行操作。
通过使用 Cloud Composer（而不是 Apache Airflow 的本地实例），您可以从 Airflow 的强大功能中获益，而不会产生安装或管理开销。Cloud Composer 可帮助您快速创建代管式 Airflow 环境，并使用 Airflow 原生工具（例如强大的 Airflow 网页界面和命令行工具），而您可以专注于工作流，而不是基础架构。
Apache Airflow 和 Cloud Composer
工作流、DAG 和任务
在数据分析中，工作流表示用于提取、转换、分析或利用数据的一系列任务。在 Airflow 中，工作流是使用 DAG（即“有向无环图”）创建的。
DAG 是要安排和运行的任务的集合，任务的组织方式反映了它们的关系和依赖项。DAG 是使用 Python 脚本中创建的，脚本使用代码定义 DAG 结构（任务及其依赖项）。
DAG 中的每个任务可以表示几乎任何事物，例如，一个任务可以执行以下任何功能：
- 准备数据以进行提取
- 监控 API
- 发送电子邮件
- 运行流水线
DAG 不应该关注每个组成任务的功能，其用途是确保每项任务在正确的时间、以正确的顺序执行，或处理的是正确的问题。
Airflow 工作流、DAG 和任务
如需详细了解 DAG 和任务，请参阅 Apache Airflow 文档。
Cloud Composer 环境
如需运行工作流，首先需要创建一个环境。Airflow 依赖于许多微服务来运行，因此 Cloud Composer 会预配 Google Cloud 组件来运行工作流。这些组件统称为 Cloud Composer 环境。
环境是以 Google Kubernetes Engine 为基础的独立 Airflow 部署。它们使用 Airflow 内置的连接器与其他 Google Cloud 服务协同工作。您可以在单个 Google Cloud 项目中创建一个或多个环境。您可以在任何受支持的区域中创建 Cloud Composer 环境。
如需深入了解环境的组件，请参阅 Cloud Composer 环境架构。
Cloud Composer 特性
使用 Cloud Composer 时，您可以管理和使用如下功能：
- Airflow 环境
- Airflow 管理
- Airflow 配置
- Airflow DAG（工作流）
- 自定义 Apache 插件
如需了解如何将 Cloud Composer 与 Airflow 功能（例如 Airflow DAG、Airflow 配置参数、自定义插件和 Python 依赖项）搭配使用，请参阅 Cloud Composer 功能。
常见问题解答
Cloud Composer 使用哪个版本的 Apache Airflow？
Cloud Composer 支持 Airflow 1 和 Airflow 2。
Cloud Composer 环境基于 Cloud Composer 映像。创建环境时，您可以选择具有特定 Airflow 版本的映像。
您可以控制环境的 Apache Airflow 版本。您可以决定将您的环境升级到较新版本的 Cloud Composer 映像。每个 Cloud Composer 版本都支持多个 Apache Airflow 版本。
我可以使用 Airflow 原生界面和 CLI 吗？
您可以访问环境的 Apache Airflow 网页界面。您的每种环境都有自己的 Airflow 界面。如需详细了解如何访问 Airflow 界面，请参阅 Airflow 网页界面。
如需在您的环境中运行 Airflow CLI 命令，请使用 gcloud 命令。如需详细了解如何在 Cloud Composer 环境中运行 Airflow CLI 命令，请参阅 Airflow 命令行界面。
我可以使用自己的数据库作为 Airflow 元数据数据库吗？
Cloud Composer 使用代管式数据库服务作为 Airflow 元数据数据库。无法将用户提供的数据库用作 Airflow 元数据数据库。
我可以将自己的集群用作 Cloud Composer 集群吗？
Cloud Composer 使用 Google Kubernetes Engine 服务来创建、管理和删除运行 Airflow 组件的环境集群。这些集群由 Cloud Composer 全代管式。
您无法基于自行管理的 Google Kubernetes Engine 集群构建 Cloud Composer 环境。
我可以使用自己的 Container Registry 吗？
Cloud Composer 使用 Artifact Registry 服务来管理 Cloud Composer 环境使用的容器映像代码库。 无法将其替换为用户提供的 Container Registry。
Cloud Composer 环境是可用区级环境还是区域级环境？
Cloud Composer 1 环境是可用区级环境。
Cloud Composer 2 环境具有可用区级 Airflow 元数据数据库，以及区域级 Airflow 调度和执行层。Airflow 调度器、工作器和 Web 服务器在 Airflow 执行层中运行。