方法指南

创建环境

• 启用和停用 Cloud Composer 服务

  在项目中启用和停用 Cloud Composer 服务。

• 创建环境

  使用 Google Cloud Console、gcloud、Cloud Composer API 和 Terraform 创建 Cloud Composer 环境。

配置网络

• 配置专用 IP 网络

  为专用 IP Cloud Composer 环境配置项目网络。

• 配置共享 VPC 网络

  为 Cloud Composer 环境配置宿主项目和服务项目网络。

• 配置 VPC Service Controls

  在 VPC Service Controls 边界中创建环境。

• 为 Cloud Composer 环境配置大规模网络

  为 Cloud Composer 环境组织大规模网络

• 配置以非公开方式使用的公共 IP 范围

  在您的环境中使用以非公开方式使用的公共 IP 范围。

• 启用 IP 伪装代理

  在您的环境中使用 IP 伪装。

配置环境

• 设置环境变量

  设置可用于 Apache Airflow 调度器、工作器和 Web 服务器进程的环境变量。

• 替换 Airflow 配置选项

  替换 Airflow 配置选项，以根据您的需求和要求调整 Airflow 实例。

• 扩缩环境

  更改环境的规模和性能参数。

• 管理 Airflow 连接

  存储 Airflow 用于与其他 API（如 Google Cloud 项目、其他云提供商或第三方服务）进行通信的连接信息。

• 启用和停用 DAG 序列化

  配置 Airflow 调度器，以便在将 DAG 文件发送到 Web 服务器之前处理它们。

• 指定维护窗口

  配置 Cloud Composer 可对您的环境执行维护的时间范围。

• 配置电子邮件通知

  为您的环境配置 SMTP 服务。

• 管理环境标签并细分环境费用

  您可以为环境分配标签，然后根据标签细分结算费用。

配置安全性和访问权限控制

• 使用 IAM 控制访问权限

  为使用 Cloud Composer 的用户和服务帐号分配角色和权限。

• Airflow 界面访问权限控制

  使用 Airflow 界面访问权限控制（Airflow 基于角色的访问权限控制，或 Airflow RBAC）为 Airflow 界面中可用的操作分配权限。

• 使用客户管理的加密密钥

  使用客户管理的加密密钥 (CMEK) 来加密您的环境中的数据。

• 配置资源位置限制

  配置资源位置限制，以便 Cloud Composer 将数据存储在您指定的位置。

• 配置 Secret Manager

  将敏感数据存储在 Secret Manager 中并从环境中访问。

更新、升级和删除环境

• 更新环境

  更改环境配置。

• 升级环境

  将环境升级到更高版本的 Cloud Composer 和 Airflow

• 删除环境

  删除您的环境。

• 保存并加载环境快照

  使用环境快照保存和加载环境的状态。

• 清理 Airflow 数据库

  从 Airflow 数据库中移除旧条目以减小其大小。

• 将环境迁移到 Airflow 2

  从现有的 Airflow 1.10 转移 DAG、数据和配置。* 环境迁移到 Airflow 2 环境。

• 将环境迁移到 Cloud Composer 2（来自 Airflow 2）

  使用 Airflow 2 将 DAG、数据和配置从您现有的 Cloud Composer 1 环境传输到 Cloud Composer 2 环境。

• 使用快照将环境迁移到 Cloud Composer 2（从 Airflow 2 中）

  使用环境快照将 DAG、数据和配置从使用 Airflow 2 的现有 Cloud Composer 1 环境转移到 Cloud Composer 2 环境中。

• 将环境迁移到 Cloud Composer 2（来自 Airflow 1）

  使用 Airflow 1 将 DAG、数据和配置从您现有的 Cloud Composer 1 环境传输到 Cloud Composer 2 环境。

• 使用快照将环境迁移到 Cloud Composer 2（从 Airflow 1 迁移）

  使用环境快照将 DAG、数据和配置从使用 Airflow 1 的现有 Cloud Composer 1 环境转移到 Cloud Composer 2 环境中。

访问环境

• Airflow 命令行界面

  在您的环境中运行 Airflow CLI 命令。

• Airflow 网页界面

  访问您的环境的 Airflow 界面。

• Airflow REST API

  向 Airflow REST API 发出请求。

• Airflow 数据库

  访问 Airflow 数据库并运行查询。

管理 DAG

• 编写 DAG

  编写 DAG 定义文件。

• 添加和更新 DAG

  将 DAG 上传到您的环境的存储桶。

• 触发 DAG

  按计划、手动和使用其他方法触发 DAG。

• 从向后移植提供程序软件包导入运算符

  通过从向后移植 Operator 软件包中导入 Operator，在 Airflow 1.10.* 环境中使用较新版本的 Operator。

• 使用 KubernetesPodOperator

  使用 KubernetesPodOperator 在环境集群中运行 Pod

• 使用 GKE Operator

  使用 GKE Operator 管理集群并在其中运行 pod。

• 将 DAG 中的任务分组

  使用 Airflow 提供的不同方法将 DAG 中的任务组合在一起。

• 使用 Cloud Functions 触发 DAG

  使用 Cloud Functions 在环境中触发 DAG

• 安装自定义插件

  在 Cloud Composer 环境中安装自定义插件。

• 安装 Python 依赖项

  在您的环境中安装 Python 软件包。

• 测试 DAG

  检查 DAG 是否存在错误、更新以及测试已部署的 DAG。

监控环境

• 查看 Airflow 日志

  访问和查看您的环境的 Airflow 日志。

• 查看审核日志

  启用和查看 Cloud Composer 的审核日志

• 监控环境

  访问和使用环境的监控信息中心。

• 使用 Monitoring 监控环境

  在 Monitoring 中查看环境的指标，并在 Cloud Logging 中访问环境日志。