Cloud Composer 责任共担模型

Cloud Composer 1 |Cloud Composer 2 |Cloud Composer 3

在 Cloud Composer 上运行关键业务应用需要 需要多方承担不同的责任。本文档列出了 Google 和客户的责任(并未详尽列出所有主题)。

Google 责任

  • 强化修补 Cloud Composer 环境的组件和底层基础架构,包括 Google Kubernetes Engine 集群、Cloud SQL 数据库(托管 Airflow 数据库)、Pub/Sub、Artifact Registry 和其他环境元素。具体而言,这包括自动升级底层 包括 GKE 集群 环境的 Cloud SQL 实例。

  • 通过纳入 IAM 提供的访问控制功能、默认加密静态数据、提供额外的客户管理式存储加密加密传输中的数据,保护对 Cloud Composer 环境的访问。

  • 为 Identity and Access Management、Cloud Audit Logs 提供 Google Cloud 集成 和 Cloud Key Management Service

  • 限制并记录对客户的 Google 管理员权限集群 出于合同支持目的 Access TransparencyAccess Approval

  • 发布以下两者之间向后不兼容的更改的相关信息: Cloud Composer 和 Airflow 版本, Cloud Composer 版本说明

  • 确保 Cloud Composer 文档保持最新状态:

    • 提供对以下服务提供的所有功能的说明: Cloud Composer

    • 提供问题排查说明,帮助保持环境 运行状况良好。

    • 发布已知问题及解决方法(如果 存在)。

  • 解决与 Cloud Composer 相关的关键安全突发事件 Cloud Composer 提供的 Airflow 映像 (不包括客户安装的 Python 软件包)提供新的 环境版本来应对突发事件

  • 根据客户的支持方案, Cloud Composer 环境健康状况问题。

  • 维护和扩展 Cloud Composer Terraform 提供程序

  • 与 Apache Airflow 社区合作,维护和开发 Google Airflow 运算符

  • 排查 Airflow 核心功能中的问题,并在可能的情况下进行修复。

客户责任

  • 升级到新的 Cloud Composer 和 Airflow 版本以保留 为产品提供支持,并解决安全问题 Cloud Composer 服务将 Cloud Composer 解决了这些问题

  • 维护 DAG 代码,使其与所使用的 Airflow 版本兼容。

  • 保持环境的 GKE 集群配置保持不变, 特别是其自动升级功能。

  • 在 IAM 中为环境的服务账号维护适当的权限。尤其需要注意的是,将 Cloud Composer Agent环境的服务账号。维持 用于 Cloud Composer 的 CMEK 密钥所需的权限 环境加密,并根据需要轮替。

  • 在 IAM 中为环境的 以及用于存储 Composer 组件映像的 Artifact Registry 代码库。

  • 在 IAM 和 Airflow 中维护适当的最终用户权限 界面访问权限控制配置。

  • 通过使用 维护 DAG

  • 在向 Cloud 客户服务团队提交支持请求之前,请先解决所有 DAG 解析问题。

  • 使用 Cloud Composer 优化指南环境扩缩指南调整 Cloud Composer 环境参数(例如 Airflow 组件的 CPU 和内存)和 Airflow 配置,以满足 Cloud Composer 环境的预期性能和负载。

  • 避免移除 Cloud Composer Agent 所需的权限和 环境的服务账号(移除这些权限可能会导致 失败的管理操作,或者 DAG 和任务失败)。

  • 正在保持 Cloud Composer 需要的所有服务和 API 始终启用。这些依赖项必须在级别配置配额 Cloud Composer 所需的知识。

  • 保留用于托管以下服务账号的容器映像的 Artifact Registry 代码库 Cloud Composer 环境。

  • 遵循以下建议和最佳实践: 实现 DAG

  • 按照调度器问题排查DAG 问题排查触发器问题排查中的说明,诊断 DAG 和任务失败问题。

  • 避免在环境的 GKE 集群中安装或运行会干扰 Cloud Composer 组件并阻止其正常运行的其他组件。

后续步骤