Cloud Composer 安全概览

Cloud Composer 1 | Cloud Composer 2

Cloud Composer 提供了一些安全功能和合规性要求，有利于安全要求较为严格的企业。

以下三个部分提供了 Cloud Composer 安全功能的相关信息：

基本的安全功能

本部分列出默认为每个 Cloud Composer 环境提供的安全相关功能。

静态加密

Cloud Composer 使用 Google Cloud 中的静态加密。

Cloud Composer 将数据存储在不同服务中。例如，Airflow 元数据数据库使用 Cloud SQL 数据库，而 DAG 则存储在 Cloud Storage 存储桶中。

默认情况下，系统使用由 Google 管理的加密密钥对数据进行加密。

如果您愿意，也可以将 Cloud Composer 环境配置为使用客户管理的加密密钥进行加密。

统一存储桶级访问权限

统一存储桶级访问权限可让您统一控制 Cloud Storage 资源的访问权限。此机制同样适用于您环境中用于存储 DAG 和插件的存储桶。

用户权限

Cloud Composer 提供了几项用于管理用户权限的功能：

  • IAM 角色和权限。只有向项目的 IAM 添加了账号的用户才能访问 Google Cloud 项目中的 Cloud Composer 环境。

  • Cloud Composer 专用的角色和权限。您可以为项目中的用户账号分配这些角色和权限。每个角色都定义了用户账号可在您的项目中的 Cloud Composer 环境中执行的操作类型。

  • Airflow 界面访问权限控制。您项目中的用户可以在 Airflow 界面中拥有不同访问权限级别。这种机制称为 Airflow 界面访问权限控制（Airflow 基于角色的访问权限控制，简称 Airflow RBAC）。

  • 网域限定共享 (DRS)。Cloud Composer 支持网域限定共享组织政策。 如果您使用此政策，则只有来自所选网域的用户可以访问您的环境。

Cloud Composer 环境的专用 IP 模式

您可以在专用 IP 网络配置中创建 Cloud Composer 环境。

在专用 IP 模式下，环境集群的节点没有外部 IP 地址，并且不会通过公共互联网进行通信。

您的环境集群使用安全强化型虚拟机

安全强化型虚拟机是一种经过安全控制措施强化的 Google Cloud 虚拟机，可更好地抵御 rootkit 和 bootkit 攻击。

基于 GKE 1.18 版及更高版本创建的 Cloud Composer 1 环境可使用安全强化型虚拟机来运行其环境集群的节点。

高级安全功能

本部分列出 Cloud Composer 环境中与安全相关的高级功能。

客户管理的加密密钥 (CMEK)

Cloud Composer 支持客户管理的加密密钥 (CMEK)。CMEK 可让您更好地控制用于对 Google Cloud 项目中的静态数据进行加密的密钥。

您可以将 CMEK 与 Cloud Composer 结合使用，以加密和解密 Cloud Composer 环境生成的数据。

VPC Service Controls (VPC SC) 支持

VPC Service Controls 是一种可降低数据渗漏风险的机制。

可选择 Cloud Composer 作为 VPC Service Controls 边界内的安全服务。将 Cloud Composer 使用的所有底层资源都配置为支持 VPC Service Controls 架构并遵循其规则。只能在 VPC SC 边界内创建专用 IP 环境。

使用 VPC Service Controls 部署 Cloud Composer 环境时，您可以：

  • 降低数据泄露风险。

  • 防止因访问权限控制配置错误而导致数据泄露。

  • 降低恶意用户将数据复制到未经授权的 Google Cloud 资源或外部攻击者从互联网访问 Google Cloud 资源的风险。

网络服务器网络访问权限控制级别 (ACL)

Cloud Composer 中的 Airflow Web 服务器始终预配有一个外部可访问的 IP 地址。您可以控制可以从哪些 IP 地址访问 Airflow 界面。Cloud Composer 支持 IPv4 和 IPv6 范围。

您可以在 Google Cloud 控制台、gcloud、API 和 Terraform 中配置 Web 服务器访问限制。

使用 Secret Manager 作为存放敏感配置数据的存储空间

在 Cloud Composer 中，您可以将 Airflow 配置为使用 Secret Manager 作为存储 Airflow 连接变量的后端。

DAG 开发者还可以从 DAG 代码中读取存储在 Secret Manager 中的变量和连接。

标准遵从

请参阅以下链接页面来查看 Cloud Composer 是否遵从各项标准：

另请参阅

Airflow 2020 年峰会的演示文稿（以安全方式运行 Airflow DAG）中介绍了本文提到的一些安全功能。

后续步骤