カスタム制約を使用して Dataflow リソースを管理する

Google Cloud の組織のポリシーを使用すると、組織のリソースをプログラムで一元管理できます。組織のポリシー管理者は組織のポリシーを定義できます。組織のポリシーは、Google Cloud のリソース階層内の Google Cloud リソースやそれらのリソースの子孫に適用される、制約と呼ばれる一連の制限です。組織のポリシーは、組織レベル、フォルダレベル、またはプロジェクトレベルで適用できます。

組織のポリシーは、さまざまな Google Cloud サービスに事前に定義された制約を提供します。ただし、組織のポリシーで制限されている特定のフィールドをカスタマイズ可能な方法でより詳細に制御する必要がある場合は、カスタムの組織のポリシーを作成することもできます。

利点

カスタムの組織のポリシーを使用すると、サポートされているリソース属性（ジョブ名、タイプ、サービスオプションなど）に基づいて条件付きで Dataflow ジョブの作成を許可または拒否できます。

ポリシーの継承

デフォルトでは、組織のポリシーは、そのポリシーを適用したリソースの子孫に継承されます。たとえば、フォルダにポリシーを適用した場合、そのフォルダ内のすべてのプロジェクトにそのポリシーが適用されます。この動作の詳細と変更方法については、階層評価ルールをご覧ください。

料金

事前定義の組織のポリシーやカスタムの組織のポリシーを含む組織のポリシーサービスは料金なしで利用できます。

制限事項

Dataflow Job リソースのカスタム制約は、Google Cloud コンソールまたは Google Cloud CLI でのみ設定できます。
カスタム制約は、Dataflow Job リソースの CREATE メソッドにのみ適用できます。
新しく適用されたカスタム制約は、既存のリソースに適用されません。

始める前に

組織のポリシーと制約が何かとどのように機能するかの詳細については、組織のポリシーのサービスの概要をご覧ください。

必要なロール

組織のポリシーを管理するために必要な権限を取得するには、組織に対する組織ポリシー管理者（roles/orgpolicy.policyAdmin）の IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

この事前定義ロールには、組織のポリシーを管理するために必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

必要な権限

組織のポリシーを管理するには、次の権限が必要です。

orgpolicy.constraints.list
orgpolicy.policies.create
orgpolicy.policies.delete
orgpolicy.policies.list
orgpolicy.policies.update
orgpolicy.policy.get
orgpolicy.policy.set

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

カスタム制約を作成する

カスタム制約は、組織のポリシーを適用しているサービスでサポートされるリソース、メソッド、条件、アクションを使用して YAML ファイルで定義されます。カスタム制約の条件は、Common Expression Language（CEL）を使用して定義されます。CEL を使用してカスタム制約で条件を作成する方法については、カスタム制約の作成と管理の CEL セクションをご覧ください。

カスタム制約の YAML ファイルを作成するには:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

次のように置き換えます。

ORGANIZATION_ID: 組織 ID（123456789 など）。
CONSTRAINT_NAME: 新しいカスタム制約に付ける名前。カスタム制約は custom. で始まる必要があり、大文字、小文字、数字のみを含めることができます（例: custom.denyPrimeJobs）。このフィールドの最大長は 70 文字です。接頭辞はカウントされません（例: organizations/123456789/customConstraints/custom）。
RESOURCE_NAME: 制限するオブジェクトとフィールドを含む Dataflow API REST リソースの名前（URI ではない）。例: Job
CONDITION: サポート対象のサービスリソースの表現に対して書き込まれる CEL 条件。このフィールドの最大長は 1,000 文字です。条件の書き込み先として使用できるリソースの詳細については、サポート対象のリソースをご覧ください。例: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"。
ACTION: condition が満たされている場合に実行するアクション。サポートされる値は ALLOW と DENY です。
DISPLAY_NAME: 制約の名前。わかりやすい名前を入力してください。このフィールドの最大長は 200 文字です。
DESCRIPTION: ポリシー違反時にエラーメッセージとして表示される制約の説明。わかりやすい説明を入力してください。このフィールドの最大長は 2,000 文字です。

カスタム制約の作成方法については、カスタム制約の定義をご覧ください。

カスタム制約を設定する

新しいカスタム制約の YAML ファイルを作成したら、組織内の組織のポリシーで使用できるように設定する必要があります。カスタム制約を設定するには、gcloud org-policies set-custom-constraint コマンドを使用します。

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

CONSTRAINT_PATH は、カスタム制約ファイルのフルパスに置き換えます。たとえば、/home/user/customconstraint.yaml になります。完了すると、カスタム制約が組織のポリシーとして Google Cloud 組織のポリシーのリストに表示されます。カスタム制約が存在することを確認するには、gcloud org-policies list-custom-constraints コマンドを使用します。

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

ORGANIZATION_ID は、組織リソースの ID に置き換えます。詳細については、組織のポリシーの表示をご覧ください。

カスタムの組織のポリシーを適用する

ブール型制約を適用するには、それを参照する組織のポリシーを作成し、Google Cloud リソースに適用します。

Console

Google Cloud コンソールで、[組織のポリシー] ページに移動します。
[組織のポリシー] に移動
プロジェクト選択ツールから、組織のポリシーを設定するプロジェクトを選択します。
[組織のポリシー] ページのリストで制約を選択して、その制約の [ポリシーの詳細] ページを表示します。
このリソースの組織のポリシーを構成するには、[ポリシーを管理] をクリックします。
[ポリシーの編集] ページで、[Override parent's policy] を選択します。
[ルールを追加] をクリックします。
[適用] セクションで、この組織のポリシーの適用を有効にするかどうかを選択します。
省略可: タグで組織のポリシーに条件を設定するには、[条件を追加] をクリックします。組織のポリシーに条件付きルールを追加する場合は、少なくとも 1 つは無条件のルールを追加する必要があります。そうしないとポリシーを保存できないのでご注意ください。詳細については、タグ付きの組織のポリシーの設定をご覧ください。
カスタム制約の場合は、[変更内容をテスト] をクリックして、組織のポリシーの効果をシミュレートできます。詳細については、Policy Simulator で組織のポリシーの変更をテストするをご覧ください。
組織のポリシーを完成させて適用するには、[ポリシーを設定] をクリックします。ポリシーが有効になるまでに最大 15 分かかります。

gcloud

ブール型制約を適用する組織のポリシーを作成するには、制約を参照するポリシー YAML ファイルを作成します。

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

次のように置き換えます。

PROJECT_ID: 制約を適用するプロジェクト。
CONSTRAINT_NAME: カスタム制約に定義した名前。たとえば、custom.denyPrimeJobs のようにします。

制約を含む組織のポリシーを適用するには、次のコマンドを実行します。

    gcloud org-policies set-policy POLICY_PATH

POLICY_PATH は、組織のポリシーの YAML ファイルのパスに置き換えます。ポリシーが有効になるまでに最大 15 分かかります。

例: Prime を有効にしたジョブの作成を拒否する制約を作成する

gcloud

次の情報を含む denyPrimeJobs.yaml 制約ファイルを作成します。ORGANIZATION_ID は、実際の組織 ID に置き換えます。

name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
resource_types: dataflow.googleapis.com/Job
condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
action_type: DENY
method_types: CREATE
display_name: Restrict creation of job with prime enabled
description: Deny creation of jobs with prime enabled.

カスタム制約を設定します。

gcloud org-policies set-custom-constraint denyPrimeJobs.yaml

次の情報を含む enforce-policy-denyPrimeJobs.yaml ポリシーファイルを作成します。この例では、制約はプロジェクトレベルで適用されます。この制約は、組織レベルで設定することも、フォルダレベルで設定することもできます。PROJECT_ID は実際のプロジェクト ID に置き換えます。
```
      name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
      spec:
        rules:
        – enforce: true
```

次のコマンドを実行してポリシーを適用します。

gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml

制約をテストするには、enable_prime オプションを使用して Dataflow ジョブを作成してみてください。Java を使用して Dataflow パイプラインを作成するクイックスタートに従って、WordCount ジョブを作成します。

mvn -Pdataflow-runner compile \
exec:java \
-Dexec.mainClass=org.apache.beam.examples.WordCount \
-Dexec.args="--project=PROJECT_ID \
--gcpTempLocation=gs://BUCKET_NAME/temp/ \
--output=gs://BUCKET_NAME/output \
--runner=DataflowRunner \
--region=us-central1 \
--dataflowServiceOptions=enable_prime" \
-Pdataflow-runner

出力は次のようになります。

"details" : [ {
  "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
  "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
}]

監査ログには、次のような違反の詳細が表示されます。

  policyViolationInfo: {
    orgPolicyViolationInfo: {
    violationInfo: [
    0: {
      constraint: "customConstraints/custom.denyPrimeJobs"
      errorMessage: "Restrict creation of job with prime enabled"
      policyType: "CUSTOM_CONSTRAINT"
    }]}}

条件の式フィールド

次の表に、条件の作成に使用できる式フィールドを示します。条件は Common Expression Language（CEL）で記述します。式フィールドの値では、大文字と小文字が区別されます。

次の式フィールドの説明と指定できる値については、Dataflow の Job JSON 表現をご覧ください。

式フィールド	値の型
`name`	`string`
`type`	`string`
`transformNameMapping`	`map`
`location`	`string`
`environment`	`message`
`environment.serviceOptions`	`list of string`
`environment.serviceKmsKeyName`	`string`
`environment.serviceAccountEmail`	`string`
`environment.workerRegion`	`string`
`environment.workerZone`	`string`
`environment.streamingMode`	`string`
`environment.debugOptions`	`message`
`environment.debugOptions.enableHotKeyLogging`	`bool`

サンプルユースケース

次の表にユースケースの例を示します。

ユースケース	アクション	カスタム制約
Prime ジョブの使用を禁止する	DENY	`resource.environment.serviceOptions.exists(value, value=='enable_prime')`
プロジェクトメタデータに保存された SSH 認証鍵を VM が受け入れないようにします。	DENY	`!resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')`
実行時間の最大秒数が設定されていないジョブを禁止する	DENY	`!resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')`

次のステップ

組織のポリシーの詳細について、組織のポリシーサービスの概要を確認する。
組織のポリシーの作成と管理の方法について学習する。
事前定義された組織のポリシーの制約の完全なリストを確認する。

カスタム制約を使用して Dataflow リソースを管理する

利点

ポリシーの継承

料金

制限事項

始める前に

必要なロール

必要な権限

カスタム制約を作成する

カスタム制約を設定する

カスタムの組織のポリシーを適用する

Console

gcloud

例: Prime を有効にしたジョブの作成を拒否する制約を作成する

gcloud

条件の式フィールド

サンプル ユースケース

次のステップ

サンプルユースケース