Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
在 Cloud Composer 上运行关键业务应用需要多方承担不同的责任。虽然不是详尽的列表,但本文档列出了 Google 和客户的责任。
Google 责任
对 Cloud Composer 环境的组件和底层基础架构(包括 Google Kubernetes Engine 集群、Cloud SQL 数据库 [用于托管 Airflow 数据库]、Pub/Sub、Artifact Registry 和其他环境元素)进行强化和修补。具体而言,这包括自动升级底层基础架构,包括环境的 GKE 集群和 Cloud SQL 实例。
通过以下方式保护对 Cloud Composer 环境的访问权限:纳入 IAM 提供的访问权限控制、默认对静态数据进行加密、提供额外的客户管理的存储加密、对传输中的数据进行加密。
为 Identity and Access Management、Cloud Audit Logs 和 Cloud Key Management Service 提供 Google Cloud 集成。
使用 Access Transparency 和 Access Approval 限制和记录 Google 对客户集群的管理员权限,以便根据合同提供支持。
在 Cloud Composer 版本说明中发布有关 Cloud Composer 和 Airflow 版本之间向后不兼容的更改的信息。
及时更新 Cloud Composer 文档:
提供 Cloud Composer 提供的所有功能的说明。
提供有助于保持环境健康状态的问题排查说明。
发布有关已知问题的信息以及解决方法(如果存在)。
通过提供可解决相关问题的全新环境版本,解决与 Cloud Composer 环境和 Cloud Composer 提供的 Airflow 映像(不包括客户安装的 Python 软件包)相关的严重安全突发事件。
根据客户的支持方案,排查 Cloud Composer 环境健康状况问题。
维护和扩展 Cloud Composer Terraform 提供程序的功能。
与 Apache Airflow 社区合作,维护和开发 Google Airflow 运算符。
排查并尽可能修复 Airflow 核心功能中的问题。
客户责任
升级到新的 Cloud Composer 和 Airflow 版本,以便在 Cloud Composer 服务发布可解决这些问题的 Cloud Composer 版本后,继续获得产品支持并解决安全问题。
维护 DAG 代码,使其与所用的 Airflow 版本保持兼容。
在 IAM 中为环境的服务账号保持适当的权限。尤其是保留 Cloud Composer 代理和环境的服务账号所需的权限。为用于 Cloud Composer 环境加密的 CMEK 密钥保持所需权限,并根据需要轮换该密钥。
在 IAM 中为环境的存储桶维护适当的权限 .
为执行 PyPI 软件包安装的服务账号维护适当的 IAM 权限。如需了解更多信息,请参阅访问权限控制。
在 IAM 和 Airflow 界面访问权限控制配置中维护适当的最终用户权限。
通过使用维护 DAG 将 Airflow 数据库大小保持在 20 GB 以下。
在向 Cloud Customer Care 提交支持请求之前,请先解决所有 DAG 解析问题。
以适当的方式命名 DAG(例如,不在 DAG 名称中使用空格或制表符等不可见字符),以便正确报告 DAG 的指标。
升级 DAG 的代码,使其不再使用已弃用的运算符,并迁移到最新的替代方案。已弃用的运算符可能会从 Airflow 提供程序中移除,这可能会影响您升级到更高版本的 Cloud Composer 或 Airflow 的计划。已弃用的运算符也不再维护,必须按原样使用。
在使用 Secret Manager 等密钥后端时配置适当的 IAM 权限,以便环境的服务账号有权访问该后端。
调整 Cloud Composer 环境参数(例如 Airflow 组件的 CPU 和内存)和 Airflow 配置,以满足 Cloud Composer 环境的性能和负载预期,具体请参阅 Cloud Composer 优化指南和环境伸缩指南。
避免移除 Cloud Composer 代理和服务账号所需的权限(移除这些权限可能会导致管理操作失败,或者 DAG 和任务失败)。
始终启用 Cloud Composer 所需的所有服务和 API。这些依赖项必须在 Cloud Composer 所需的级别配置配额。
制定并维护灾难恢复计划,包括配置和管理快照,以满足您的数据保留和业务连续性需求。Google 不会恢复已删除的环境或其数据库备份。