为 Cloud Logging 配置 CMEK

本文档介绍了如何为 Cloud Logging 配置和管理客户管理的加密密钥 (CMEK),以满足贵组织的合规性需求。 您可以将 CMEK 配置为组织和/或文件夹的默认资源设置。配置后,Cloud Logging 可确保组织或文件夹中的所有新日志存储分区都使用客户管理的密钥加密。

概览

默认情况下,Cloud Logging 会对以静态方式存储的客户内容进行加密。Logging 存储在日志存储分区中的数据会使用密钥加密密钥进行加密,该过程称为信封加密。访问日志记录数据需要访问这些密钥加密密钥,Google 会为您管理这些密钥,您无需执行任何操作。

您的组织可能具有我们的默认静态加密不提供的监管、合规性相关或高级加密要求。为了满足贵组织的要求,您可以配置 CMEK 来控制和管理您自己的加密,而不是由 Google 管理用于保护数据的加密密钥。

如需了解有关 CMEK 的具体信息(包括其优势和限制),请参阅客户管理的加密密钥

将 CMEK 配置为 Logging 的默认资源设置时,组织或文件夹中的新日志存储分区将使用配置的密钥自动加密。不过,您可以更改该键,也可以创建日志存储分区并指定其他键。如需了解详情,请参阅为日志存储分区配置 CMEK

前提条件

如需开始使用,请完成以下步骤:

  1. 使用 CMEK 时存在一些限制。在创建启用了 CMEK 的日志存储桶之前,请查看限制

  2. 安装 Google Cloud CLI,然后通过运行以下命令初始化 Google Cloud CLI:

    gcloud init

    本指南介绍了如何使用 Google Cloud CLI。

  3. 查找要为其启用 CMEK 的组织或文件夹的标识符:

    • ORGANIZATION_ID 是您启用 CMEK 的 Google Cloud 组织的唯一数字标识符。如果您只计划为文件夹配置 CMEK,则不需要此值。如需了解如何获取此标识符,请参阅获取组织 ID
    • FOLDER_ID 是您启用 CMEK 的 Google Cloud 文件夹的唯一数字标识符。如果您只计划为组织配置 CMEK,则不需要此值。如需了解如何使用文件夹,请参阅创建和管理文件夹
  4. 如需获取创建密钥所需的权限,请让管理员授予您项目或父资源的 Cloud KMS Admin (roles/cloudkms.admin) IAM 角色。如需详细了解如何授予角色,请参阅管理访问权限

    您也可以通过自定义角色或其他预定义角色来获取所需的权限。

  5. 确保您拥有组织的以下 Cloud Logging 权限:

    • logging.settings.get
    • logging.settings.update
  6. 为运行 Cloud KMS 的 Google Cloud 项目启用 Cloud KMS API

  7. 为运行 Cloud KMS 的 Google Cloud 项目创建密钥环和密钥

    借助 Cloud Logging,您可以使用来自任何区域的密钥。 但是,创建日志存储桶时,日志存储桶的位置必须与键的位置一致。如需了解支持的区域,请参阅以下内容:

    如果按照本文档中的步骤将 CMEK 配置为 Logging 的默认资源设置,则系统会自动为在组织或文件夹中创建的新日志存储分区配置 CMEK。此外,由于日志存储桶的位置必须与密钥的位置一致,因此将 CMEK 配置为默认资源设置后,您无法在 global 区域中创建日志存储桶。

  8. 识别以下 Cloud KMS 参数的值:

    • KMS_PROJECT_ID 是运行 Cloud KMS 的 Google Cloud 项目的唯一字母数字标识符,由您的 Google Cloud 项目名称和随机分配的编号组成。如需了解如何获取此标识符,请参阅识别项目
    • KMS_KEY_LOCATION 是 Cloud KMS 密钥所在的区域。
    • KMS_KEY_RING 是 Cloud KMS 密钥环的名称。
    • KMS_KEY_NAME 替换为 Cloud KMS 密钥的名称。其格式如下所示:projects/KMS_PROJECT_ID/locations/LOCATION/keyRings/KEYRING/cryptoKeys/KEY

为组织或文件夹启用 CMEK

完成前提条件步骤后,请按照以下说明为您的 Google Cloud 组织启用 CMEK。

确定服务账号 ID

如需确定与 CMEK 适用的组织或文件夹相关联的服务帐号 ID,请运行以下 gcloud logging settings describe 命令:

文件夹

 gcloud logging settings describe --folder=FOLDER_ID

单位

gcloud logging settings describe --organization=ORGANIZATION_ID

运行上一个命令会为组织或文件夹生成服务帐号(如果还没有服务帐号),并在 kmsServiceAccountId 字段中返回相应 ID。下面演示了指定组织时对上一条命令的响应示例:

kmsServiceAccountId: cmek-p12345@gcp-sa-logging.iam.gserviceaccount.com
name: organizations/ORGANIZATION_ID/settings

在此示例中,SERVICE_ACCT_NAME 的值为 cmek-p12345

对每个资源仅运行一次预配过程。多次运行 describe 命令会针对 kmsServiceAccountId 字段返回相同的值。

如果您无法使用 Google Cloud CLI,请运行 Cloud Logging API 方法 getSettings

分配加密者/解密者角色

如需使用 CMEK,请将 Cloud KMS CryptoKey Encrypter/Decrypter 角色分配给服务账号,以向该服务账号授予使用 Cloud KMS 的权限:

gcloud

gcloud kms keys add-iam-policy-binding \
--project=KMS_PROJECT_ID \
--member serviceAccount:SERVICE_ACCT_NAME@gcp-sa-logging.iam.gserviceaccount.com \
--role roles/cloudkms.cryptoKeyEncrypterDecrypter \
--location=KMS_KEY_LOCATION \
--keyring=KMS_KEY_RING \
KMS_KEY_NAME

在命令中设置变量,如下所示:

  • SERVICE_ACCT_NAME 替换为您在上一步中确定的 serviceAccountId 值。

  • 将其他变量替换为您在前提条件步骤中确定的值。

控制台

  1. 在 Google Cloud 控制台中打开 Cloud Key Management Service 密钥浏览器。
    打开 Cloud KMS 密钥浏览器
  2. 点击包含所需密钥的密钥环的名称。

  3. 选中所需密钥对应的复选框。

    权限标签变为可用。

  4. 添加成员对话框中,指定您授予访问权限的 Logging 服务账号的电子邮件地址。

  5. 选择角色下拉列表中,选择 Cloud KMS CryptoKey Encrypter/Decrypter

  6. 点击添加

配置组织政策

Logging 支持可能需要 CMEK 保护的组织政策,并且可以限制哪些 Cloud KMS CryptoKey 可用于保护 CMEK:

  • logging.googleapis.com 在限制条件 constraints/gcp.restrictNonCmekServices 的服务 Deny 政策列表中时,Logging 会拒绝创建不受 CMEK 保护的新用户定义的存储分区。但是,此限制条件不会阻止 Cloud Logging 创建在创建 Google Cloud 项目时创建的 _Required_Default 日志存储分区。

  • 强制执行 constraints/gcp.restrictCmekCryptoKeyProjects 时,Logging 会从允许的项目、文件夹或组织中创建受 CMEK 保护的资源,并受 CryptoKey 保护。

如需详细了解 CMEK 和组织政策,请参阅 CMEK 组织政策

如果存在指定 CMEK 限制条件的组织政策,请确保这些限制条件与 Logging 组织或文件夹的默认资源设置一致。此外,如果您计划修改默认资源设置,请在更新默认资源设置之前查看并视需要更新组织政策。

要查看或配置组织政策,请执行以下操作:

  1. 在 Google Cloud 控制台的导航面板中,选择 IAM 和管理,然后选择组织政策

    前往组织政策

  2. 选择您的组织。
  3. 验证并视需要更新特定于 CMEK 的限制条件。

    如需了解如何修改组织政策,请参阅创建和修改政策

使用 Cloud KMS 密钥配置 Cloud Logging

如需将 CMEK 配置为 Logging 的默认资源设置,请运行以下 gcloud logging settings update 命令:

文件夹

gcloud logging settings update \
    --folder=FOLDER_ID \
    --kms-location=KMS_KEY_LOCATION \
    --kms-key-name=KMS_KEY_NAME \
    --kms-keyring=KMS_KEY_RING \
    --kms-project=KMS_PROJECT_ID

上面的命令会更新默认资源设置,以存储有关 Cloud KMS 密钥的信息。您必须确保文件夹的默认存储位置已设置为 KMS_KEY_LOCATION 的值。如果您尚未设置默认存储位置,或者该位置的值与 KMS_KEY_LOCATION 的值不匹配,请将以下代码附加到上一个命令:

--storage-location = KMS_KEY_LOCATION

您可以使用 --storage-location 标志设置或更新文件夹的默认存储位置。

单位

gcloud logging settings update \
    --organization=ORGANIZATION_ID \
    --kms-location=KMS_KEY_LOCATION \
    --kms-key-name=KMS_KEY_NAME \
    --kms-keyring=KMS_KEY_RING \
    --kms-project=KMS_PROJECT_ID

上面的命令会更新默认资源设置,以存储有关 Cloud KMS 密钥的信息。您必须确保将组织的默认存储位置设置为 KMS_KEY_LOCATION 的值。如果您尚未设置默认存储位置,或者该位置的值与 KMS_KEY_LOCATION 的值不匹配,请将以下代码附加到上一个命令:

--storage-location = KMS_KEY_LOCATION

借助 --storage-location 标志,您可以设置或更新组织的默认存储位置。

应用密钥后,组织或文件夹中的新日志存储分区将配置为使用此密钥加密其静态数据。您还可以更改各个日志存储分区的键。您无法在 global 区域中创建日志存储分区,因为您必须使用其区域与数据的区域级范围匹配的密钥。

如果您无法使用 Google Cloud CLI,请运行 Cloud Logging API 方法 updateSettings

验证密钥的启用状态

如需验证您是否已成功为组织或文件夹启用 CMEK,请运行以下 gcloud logging settings describe 命令:

文件夹

gcloud logging settings describe --folder=FOLDER_ID

单位

gcloud logging settings describe --organization=ORGANIZATION_ID

上面的命令会返回 Cloud KMS 密钥名称:

kmsKeyName: KMS_KEY_NAME
kmsServiceAccountId: SERVICE_ACCT_NAME@gcp-sa-logging.iam.gserviceaccount.com

如果填充了 kmsKeyName 字段,则表示为组织或文件夹启用了 CMEK。

将日志路由到支持的目的地

  • Cloud Logging 日志存储分区可以配置为使用 CMEK 加密数据。将 CMEK 配置为组织或文件夹的默认资源设置时,组织或文件夹中的新日志存储分区会自动使用 CMEK。您可以更改这些日志存储分区的密钥,也可以创建使用其他 KMS 密钥(不同于默认资源设置所指定的密钥)的日志存储分区。

    如需了解应用于日志存储桶的 CMEK,包括在对日志存储桶启用 CMEK 时如何更改密钥和限制,请参阅为日志存储桶配置 CMEK

  • Cloud Storage 支持使用 CMEK 路由日志。如需了解如何为 Cloud Storage 配置 CMEK,请参阅使用客户管理的加密密钥

    在将日志数据路由到 Cloud Storage 时,如果由于密钥不可用而导致数据丢失,则只要这些日志也存储在日志存储桶中,您就可以及时将日志批量复制到 Cloud Storage。如需了解详情,请参阅复制日志条目

  • 默认情况下,BigQuery 会对静态存储的客户内容进行加密。如需了解详情,请参阅使用 Cloud Key Management Service 密钥保护数据

  • 默认情况下,Pub/Sub 会对静态存储的客户内容进行加密。如需了解详情,请参阅配置消息加密

管理 Cloud KMS 密钥

以下部分介绍了如何针对 Cloud KMS 密钥执行何更改、撤消访问权限或停用操作。

更改 Cloud KMS 密钥

如需更改与组织或文件夹关联的 Cloud KMS 密钥,请创建密钥,并使用新的 Cloud KMS 密钥名称更新 CMEK 设置:

文件夹

gcloud logging settings update \
    --folder=FOLDER_ID
    --kms-key-name=NEW_KMS_KEY_NAME
    --kms-location=NEW_KMS_KEY_LOCATION \
    --kms-keyring=NEW_KMS_KEY_RING \
    --kms-project=NEW_KMS_PROJECT_ID

您必须确保文件夹的默认存储位置已设置为 KMS_KEY_LOCATION 的值。如果您尚未设置默认存储位置,或者该位置的值与 KMS_KEY_LOCATION 的值不匹配,请将以下代码附加到上一个命令:

--storage-location = NEW_KMS_KEY_LOCATION

单位

gcloud logging settings update \
    --organization=ORGANIZATION_ID
    --kms-key-name=NEW_KMS_KEY_NAME
    --kms-location=NEW_KMS_KEY_LOCATION \
    --kms-keyring=NEW_KMS_KEY_RING \
    --kms-project=NEW_KMS_PROJECT_ID

您必须确保将组织的默认存储位置设置为 KMS_KEY_LOCATION 的值。如果您尚未设置默认存储位置,或者该位置的值与 KMS_KEY_LOCATION 的值不匹配,请将以下代码附加到上一个命令:

--storage-location = NEW_KMS_KEY_LOCATION

撤消对 Cloud KMS 密钥的访问权限

您可以通过移除已配置的服务帐号对该密钥的 IAM 权限来撤消 Logging 对 Cloud KMS 密钥的访问权限。

如果您移除 Logging 对密钥的访问权限,则该更改最长可能需要一小时才会生效。

如需撤消 Logging 对 Cloud KMS 密钥的访问权限,请运行以下 Google Cloud CLI 命令:

gcloud kms keys remove-iam-policy-binding \
    --project=KMS_PROJECT_ID \
    --member serviceAccount:SERVICE_ACCT_NAME@gcp-sa-logging.iam.gserviceaccount.com \
    --role roles/cloudkms.cryptoKeyEncrypterDecrypter \
    --location=KMS_KEY_LOCATION \
    --keyring=KMS_KEY_RING \
    KMS_KEY_NAME

停用 CMEK

为组织或文件夹停用 CMEK 时,只会为将来的操作移除 CMEK 政策强制执行;之前应用的所有配置都将保持不变。

如需对已将 CMEK 配置为默认资源设置的资源停用 CMEK,请运行以下 Google Cloud CLI 命令:

文件夹

gcloud logging settings update --folder=FOLDER_ID --clear-kms-key

单位

gcloud logging settings update --organization=ORGANIZATION_ID --clear-kms-key

如果您要销毁密钥,请参阅销毁和恢复密钥版本

Cloud KMS 密钥轮替注意事项

与 Google Cloud 组织或文件夹关联的 Cloud KMS 密钥轮替时,Cloud Logging 不会自动轮替临时灾难恢复文件的加密密钥。 现有恢复文件将继续使用在创建它们时所用的密钥版本。新的恢复文件会使用当前的主要密钥版本。

限制

将 CMEK 配置为 Logging 的默认资源设置时,存在以下已知限制。

灾难恢复文件不可用

如果同时满足以下两个条件,则 Cloud KMS 密钥会被视为可由 Logging 使用和访问:

  • 密钥已启用
  • Logging 服务账号拥有该密钥的加密和解密权限。

如果 Logging 无法访问 Cloud KMS 密钥,则 Logging 无法写入临时灾难恢复文件,并且对于用户,查询会停止运行。即使在密钥访问恢复后,查询性能也可能会降低。

将日志路由到 Cloud Storage 可能也会受到影响,因为 Logging 无法写入实现路由所需的临时文件。如果在加密或解密数据时遇到错误,系统会向包含 Cloud KMS 密钥的 Google Cloud 项目发送通知。

客户端库可用性

Logging 客户端库不提供配置 CMEK 的方法。

因 Cloud EKM 密钥不可用而降级

当您使用 Cloud EKM 密钥时,Google 无法控制由外部管理的密钥在外部密钥管理合作伙伴系统中的可用性。

将 CMEK 配置为组织或文件夹的默认资源设置时,如果外部管理的密钥不可用,Cloud Logging 会不断重新尝试访问该密钥。Cloud Logging 还会对传入的日志数据进行最长一小时的缓冲。 一小时后,如果 Cloud Logging 仍然无法访问外部管理的密钥,则 Cloud Logging 会开始丢弃数据。

如果 CMEK 应用于日志存储桶,并且外部管理的密钥不可用,则 Cloud Logging 会继续在日志存储桶中存储日志,但用户将无法访问该数据。

如需了解使用外部密钥的更多注意事项和可能的替代方案,请参阅 Cloud External Key Manager 文档

日志存储分区的限制

如需了解将 CMEK 与日志存储分区搭配使用的限制,请参阅限制

配额

如需详细了解日志记录用量限制,请参阅配额和限制

排查配置错误

如需了解如何排查 CMEK 配置错误,请参阅排查 CMEK 和默认设置错误