使用自定义限制条件管理 Dataflow 资源

Google Cloud 组织政策可让您以编程方式集中控制组织的资源。作为组织政策管理员，您可以定义组织政策，这是一组称为限制条件的限制，会应用于 Google Cloud 资源层次结构中的 Google Cloud 资源及其后代。您可以在组织、文件夹或项目级强制执行组织政策。

组织政策为各种 Google Cloud 服务提供预定义限制条件。但是，如果您想要更精细地控制和自定义组织政策中受限的特定字段，还可以创建自定义组织政策。

优势

您可以使用自定义组织政策，根据支持的资源属性（例如作业名称、类型和服务选项）设置条件，以允许或拒绝创建 Dataflow 作业。

政策继承

如果您对资源强制执行政策，默认情况下，该资源的后代会继承组织政策。例如，如果您对某个文件夹强制执行一项政策，Google Cloud 会对该文件夹中的所有项目强制执行该政策。如需详细了解此行为及其更改方式，请参阅层次结构评估规则。

价格

组织政策服务（包括预定义组织政策和自定义组织政策）可免费使用。

限制

• 您只能使用 Google Cloud 控制台或 Google Cloud CLI 设置 Dataflow Job 资源的自定义限制条件。

• 只能对 Dataflow Job 资源的 CREATE 方法强制执行自定义限制条件。

• 新强制执行的自定义限制条件不会自动应用于现有资源。

准备工作

如需详细了解组织政策和限制条件及其工作原理，请参阅组织政策服务简介。

所需的角色

如需获得管理组织政策所需的权限，请让您的管理员为您授予组织的 Organization Policy Administrator (roles/orgpolicy.policyAdmin) IAM 角色。如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

此预定义角色可提供管理组织政策所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

管理组织政策需要以下权限：

• orgpolicy.constraints.list
• orgpolicy.policies.create
• orgpolicy.policies.delete
• orgpolicy.policies.list
• orgpolicy.policies.update
• orgpolicy.policy.get
• orgpolicy.policy.set

您也可以使用自定义角色或其他预定义角色来获取这些权限。

创建自定义限制条件

自定义限制条件是在 YAML 文件中，由实施组织政策的服务所支持的资源、方法、条件和操作定义的。自定义限制条件的条件使用通用表达式语言 (CEL) 进行定义。如需详细了解如何使用 CEL 构建自定义限制条件中的条件，请参阅创建和管理自定义限制条件的 CEL 部分。

如需为自定义限制条件创建 YAML 文件，请运行以下命令：

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

替换以下内容：

• ORGANIZATION_ID：您的组织 ID，例如 123456789。

• CONSTRAINT_NAME：新的自定义限制条件的名称。 自定义限制条件必须以 custom. 开头，只能包含大写字母、小写字母或数字，例如 custom.denyPrimeJobs。该字段的长度上限为 70 个字符，不计算前缀，例如 organizations/123456789/customConstraints/custom。

• RESOURCE_NAME：包含要限制的对象和字段的 Dataflow API REST 资源的名称（而非 URI）。例如 Job。

• CONDITION：针对受支持的服务资源的表示法编写的 CEL 条件。此字段的长度上限为 1,000 个字符。 如需详细了解可用于针对其编写条件的资源，请参阅支持的资源。 例如 "resource.environment.serviceOptions.exists(value, value=='enable_prime')"。

• ACTION：满足 condition 时要执行的操作。支持的值包括 ALLOW 和 DENY。

• DISPLAY_NAME：限制条件的直观易记名称。 此字段的最大长度为 200 个字符。

• DESCRIPTION：直观易懂的限制条件说明，在违反政策时显示为错误消息。 此字段的长度上限为 2,000 个字符。

如需详细了解如何创建自定义限制条件，请参阅定义自定义限制条件。

设置自定义限制条件

使用 Google Cloud CLI 创建新的自定义限制条件后，您必须对其进行设置，以使其可用于组织中的组织政策。如需设置自定义限制条件，请使用 gcloud org-policies set-custom-constraint 命令：

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

将 CONSTRAINT_PATH 替换为自定义限制条件文件的完整路径。例如 /home/user/customconstraint.yaml。完成后，您可发现您的自定义限制条件已成为 Google Cloud 组织政策列表中的可用组织政策。 如需验证自定义限制条件是否存在，请使用 gcloud org-policies list-custom-constraints 命令：

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

将 ORGANIZATION_ID 替换为您的组织资源的 ID。 如需了解详情，请参阅查看组织政策。

强制执行自定义组织政策

如需强制执行布尔值限制条件，您可以创建引用该限制条件的组织政策，并将该组织政策应用于 Google Cloud 资源。

控制台

如需强制执行布尔值限制条件，请执行以下操作：

1. 在 Google Cloud 控制台中，转到组织政策页面。

   转到“组织政策”

2. 选择页面顶部的项目选择器。
3. 在项目选择器中，选择要设置组织政策的项目。
4. 从组织政策页面的列表中选择限制条件。 此时应显示该限制条件的政策详情页面。
5. 如需为该资源配置组织政策，请点击管理政策。
6. 在修改政策页面，选择覆盖父级政策。
7. 点击添加规则。
8. 在强制执行下，选择开启还是关闭此组织政策的强制执行。
9. （可选）如需使组织政策成为基于某个标记的条件性政策，请点击添加条件。请注意，如果您向组织政策添加条件规则，则必须至少添加一个无条件规则，否则无法保存政策。如需了解详情，请参阅使用标记设置组织政策。
10. 如果是自定义限制条件，您可以点击测试更改来模拟此组织政策的效果。如需了解详情，请参阅使用 Policy Simulator 测试组织政策更改。
11. 若要完成并应用组织政策，请点击设置政策。该政策将在 15 分钟内生效。

gcloud

如需创建强制执行布尔值限制条件的组织政策，请创建引用该限制条件的 YAML 政策文件：

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true
    

请替换以下内容：

• PROJECT_ID：要对其实施限制条件的项目。
• CONSTRAINT_NAME：您为自定义限制条件定义的名称。例如，custom.denyPrimeJobs。

如需强制执行包含限制条件的组织政策，请运行以下命令：

    gcloud org-policies set-policy POLICY_PATH
    

将 POLICY_PATH 替换为组织政策 YAML 文件的完整路径。该政策将在 15 分钟内生效。

示例：创建一个限制条件以拒绝创建启用 Prime 的作业

gcloud

1. 使用以下信息创建 denyPrimeJobs.yaml 限制条件文件。将 ORGANIZATION_ID 替换为您的组织 ID。

   name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
   resource_types: dataflow.googleapis.com/Job
   condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
   action_type: DENY
   method_types: CREATE
   display_name: Restrict creation of job with prime enabled
   description: Deny creation of jobs with prime enabled.

2. 设置自定义限制条件。

   gcloud org-policies set-custom-constraint denyPrimeJobs.yaml
   

3. 创建一个包含以下信息的 enforce-policy-denyPrimeJobs.yaml 政策文件。在此示例中，系统在项目级层强制执行此限制条件。您也可以在组织级层或文件夹级层设置此限制条件。请将 PROJECT_ID 替换为您的项目 ID。

         name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
         spec:
           rules:
           – enforce: true

4. 通过运行以下命令强制执行政策。

   gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml
   

5. 如需测试该限制条件，请尝试创建使用 enable_prime 选项的 Dataflow 作业。按照使用 Java 创建 Dataflow 流水线快速入门创建 WordCount 作业。

   mvn -Pdataflow-runner compile \
   exec:java \
   -Dexec.mainClass=org.apache.beam.examples.WordCount \
   -Dexec.args="--project=PROJECT_ID \
   --gcpTempLocation=gs://BUCKET_NAME/temp/ \
   --output=gs://BUCKET_NAME/output \
   --runner=DataflowRunner \
   --region=us-central1 \
   --dataflowServiceOptions=enable_prime" \
   -Pdataflow-runner
   

   输出类似于以下示例：

   "details" : [ {
     "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
     "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
   }]

   审核日志应显示如下违规详情：

     policyViolationInfo: {
       orgPolicyViolationInfo: {
       violationInfo: [
       0: {
         constraint: "customConstraints/custom.denyPrimeJobs"
         errorMessage: "Restrict creation of job with prime enabled"
         policyType: "CUSTOM_CONSTRAINT"
       }]}}

条件的表达式字段

下表包含可用于创建条件的表达式字段。条件采用通用表达式语言 (CEL) 编写。表达式字段的值区分大小写。

如需查看以下表达式字段以及您可以指定的值的说明，请参阅 Dataflow Job JSON 表示法。

表达式字段	值类型
name	string
type	string
transformNameMapping	map
location	string
environment	message
environment.serviceOptions	list of string
environment.serviceKmsKeyName	string
environment.serviceAccountEmail	string
environment.workerRegion	string
environment.workerZone	string
environment.streamingMode	string
environment.debugOptions	message
environment.debugOptions.enableHotKeyLogging	bool

实际使用示例

下表列出了一些示例应用场景。

应用场景	操作	自定义限制条件
禁止使用 Prime 作业	拒绝	resource.environment.serviceOptions.exists(value, value=='enable_prime')
阻止虚拟机接受存储在项目元数据中的 SSH 密钥。	拒绝	!resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')
禁止未设置作业可以运行的秒数上限的作业	拒绝	!resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')

后续步骤

• 查看组织政策服务简介，以详细了解组织政策。
• 详细了解如何创建和管理组织政策。
• 查看预定义组织政策限制条件的完整列表。