Cloud Composer 1 |Cloud Composer 2 |Cloud Composer 3
在 Cloud Composer 上运行关键业务应用需要 需要多方承担不同的责任。本文档列出了 Google 和客户的责任(并未详尽列出所有主题)。
Google 责任
强化和修补 Cloud Composer 环境的组件和底层基础架构,包括 Google Kubernetes Engine 集群、Cloud SQL 数据库(托管 Airflow 数据库)、Pub/Sub、Artifact Registry 和其他环境元素。具体而言,这包括自动升级底层 包括 GKE 集群 环境的 Cloud SQL 实例。
通过纳入 IAM 提供的访问控制功能、默认加密静态数据、提供额外的客户管理式存储加密、加密传输中的数据,保护对 Cloud Composer 环境的访问。
为 Identity and Access Management、Cloud Audit Logs 提供 Google Cloud 集成 和 Cloud Key Management Service
限制并记录对客户的 Google 管理员权限集群 出于合同支持目的 Access Transparency 和 Access Approval。
发布以下两者之间向后不兼容的更改的相关信息: Cloud Composer 和 Airflow 版本, Cloud Composer 版本说明。
确保 Cloud Composer 文档保持最新状态:
提供对以下服务提供的所有功能的说明: Cloud Composer
提供问题排查说明,帮助保持环境 运行状况良好。
发布已知问题及解决方法(如果 存在)。
解决与 Cloud Composer 相关的关键安全突发事件 Cloud Composer 提供的 Airflow 映像 (不包括客户安装的 Python 软件包)提供新的 环境版本来应对突发事件
根据客户的支持方案, Cloud Composer 环境健康状况问题。
与 Apache Airflow 社区合作,维护和开发 Google Airflow 运算符。
排查 Airflow 核心功能中的问题,并在可能的情况下进行修复。
客户责任
升级到新的 Cloud Composer 和 Airflow 版本以保留 为产品提供支持,并解决安全问题 Cloud Composer 服务将 Cloud Composer 解决了这些问题
维护 DAG 代码,使其与所使用的 Airflow 版本兼容。
保持环境的 GKE 集群配置保持不变, 特别是其自动升级功能。
在 IAM 中为环境的服务账号维护适当的权限。尤其需要注意的是,将 Cloud Composer Agent 和 环境的服务账号。维持 用于 Cloud Composer 的 CMEK 密钥所需的权限 环境加密,并根据需要轮替。
在 IAM 中为环境的 以及用于存储 Composer 组件映像的 Artifact Registry 代码库。
在 IAM 和 Airflow 中维护适当的最终用户权限 界面访问权限控制配置。
通过使用 维护 DAG
在向 Cloud 客户服务团队提交支持请求之前,请先解决所有 DAG 解析问题。
使用 Cloud Composer 优化指南和环境扩缩指南调整 Cloud Composer 环境参数(例如 Airflow 组件的 CPU 和内存)和 Airflow 配置,以满足 Cloud Composer 环境的预期性能和负载。
避免移除 Cloud Composer Agent 所需的权限和 环境的服务账号(移除这些权限可能会导致 失败的管理操作,或者 DAG 和任务失败)。
正在保持 Cloud Composer 需要的所有服务和 API 始终启用。这些依赖项必须在级别配置配额 Cloud Composer 所需的知识。
保留用于托管以下服务账号的容器映像的 Artifact Registry 代码库 Cloud Composer 环境。
遵循以下建议和最佳实践: 实现 DAG
避免在环境的 GKE 集群中安装或运行会干扰 Cloud Composer 组件并阻止其正常运行的其他组件。