Dataproc の権限と IAM の役割

概要

Identity and Access Management(IAM)を使用すると、プロジェクトのリソースに対するユーザーとグループのアクセスを制御できます。このドキュメントでは、Dataproc に関係する IAM の権限と、それらの権限を付与する IAM ロールについて説明します。

Dataproc の権限

Dataproc 権限により、Dataproc クラスタ、ジョブ、オペレーション、ワークフロー テンプレートに対してユーザーが特定のアクションを実行できるようになります。たとえば、dataproc.clusters.create 権限を持つユーザーは、プロジェクトで Dataproc クラスタを作成できます。ユーザーには権限を直接付与するのではなく、ロールを割り当てます。このロールには、1 つ以上の権限が組み込まれています。

次の表に、Dataproc API(メソッド)を呼び出すのに必要な権限を示します。表は、各 Dataproc リソース(クラスタ、ジョブ、オペレーション、ワークフロー テンプレート)に関連付けられた API ごとに整理されています。

クラスタ権限

メソッド 必要な権限
projects.regions.clusters.create 1、2 dataproc.clusters.create
projects.regions.clusters.get dataproc.clusters.get
projects.regions.clusters.list dataproc.clusters.list
projects.regions.clusters.patch 1、2、3 dataproc.clusters.update
projects.regions.clusters.delete 1 dataproc.clusters.delete
projects.regions.clusters.getIamPolicy dataproc.clusters.getIamPolicy
projects.regions.clusters.setIamPolicy dataproc.clusters.setIamPolicy

注:

  1. dataproc.operations.get 権限は、gcloud コマンドライン ツールからステータスの更新を取得するためにも必要です。
  2. dataproc.clusters.get 権限は、gcloud コマンドライン ツールからオペレーションの結果を取得するためにも必要です。
  3. dataproc.autoscalingPolicies.use 権限は、クラスタに対して自動スケーリング ポリシーを有効にするためにも必要です。

ジョブ権限

メソッド 必要な権限
projects.regions.jobs.submit 1、2 dataproc.jobs.create
dataproc.clusters.use
projects.regions.jobs.get dataproc.jobs.get
projects.regions.jobs.list dataproc.jobs.list
projects.regions.jobs.cancel 1 dataproc.jobs.cancel
projects.regions.jobs.patch 1 dataproc.jobs.update
projects.regions.jobs.delete 1 dataproc.jobs.delete
projects.regions.jobs.getIamPolicy dataproc.jobs.getIamPolicy
projects.regions.jobs.setIamPolicy dataproc.jobs.setIamPolicy

注:

  1. gcloud コマンドライン ツールでは、コマンド jobs submitjobs waitjobs updatejobs deletejobs kill が正常に機能するように、dataproc.jobs.get も必要です。

  2. ジョブを送信するには、gcloud コマンドライン ツールで dataproc.clusters.get 権限も必要です。ユーザーが Dataproc Granular IAM を使用して特定のクラスタで gcloud dataproc jobs submit を実行するために必要な権限の設定の例については、Granular IAM によるジョブの送信をご覧ください。

オペレーション権限

メソッド 必要な権限
projects.regions.operations.get dataproc.operations.get
projects.regions.operations.list dataproc.operations.list
projects.regions.operations.cancel dataproc.operations.cancel
projects.regions.operations.delete dataproc.operations.delete
projects.regions.operations.getIamPolicy dataproc.operations.getIamPolicy
projects.regions.operations.setIamPolicy dataproc.operations.setIamPolicy

ワークフロー テンプレートのアクセス許可権限

メソッド 必要な権限
projects.regions.workflowTemplates.instantiate dataproc.workflowTemplates.instantiate
projects.regions.workflowTemplates.instantiateInline dataproc.workflowTemplates.instantiateInline
projects.regions.workflowTemplates.create dataproc.workflowTemplates.create
projects.regions.workflowTemplates.get dataproc.workflowTemplates.get
projects.regions.workflowTemplates.list dataproc.workflowTemplates.list
projects.regions.workflowTemplates.update dataproc.workflowTemplates.update
projects.regions.workflowTemplates.delete dataproc.workflowTemplates.delete
projects.regions.workflowTemplates.getIamPolicy dataproc.workflowTemplates.getIamPolicy
projects.regions.workflowTemplates.setIamPolicy dataproc.workflowTemplates.setIamPolicy

注:

  1. ワークフロー テンプレートの権限は、クラスタおよびジョブの権限に依存しません。 ユーザーは create cluster 権限や submit job 権限がなくても、ワークフロー テンプレートを作成し、インスタンス化できます。

  2. ワークフローの完了をポーリングするには、gcloud コマンドライン ツールで dataproc.operations.get 権限も必要です。

  3. 実行中のワークフローをキャンセルするには、dataproc.operations.cancel 権限が必要です。

自動スケーリング ポリシーの権限

メソッド 必要な権限
projects.regions.autoscalingPolicies.create dataproc.autoscalingPolicies.create
projects.regions.autoscalingPolicies.get dataproc.autoscalingPolicies.get
projects.regions.autoscalingPolicies.list dataproc.autoscalingPolicies.list
projects.regions.autoscalingPolicies.update dataproc.autoscalingPolicies.update
projects.regions.autoscalingPolicies.delete dataproc.autoscalingPolicies.delete
projects.regions.autoscalingPolicies.getIamPolicy dataproc.autoscalingPolicies.getIamPolicy
projects.regions.autoscalingPolicies.setIamPolicy dataproc.autoscalingPolicies.setIamPolicy

注:

  1. dataproc.autoscalingPolicies.use 権限は、clusters.patch メソッドのリクエストでクラスタに対して自動スケーリング ポリシーを有効にするために必要です。

Dataproc の役割

Dataproc IAM ロールとは、1 つ以上の権限をまとめたものです。ロールを付与されたユーザーやグループは、プロジェクト内の Dataproc リソースに対する操作を行えるようになります。たとえば、Dataproc 閲覧者ロールには、dataproc.*.get 権限と dataproc.*.list 権限が含まれています。これらの権限を付与されたユーザーは、プロジェクト内の Dataproc クラスタ、ジョブ、オペレーションを取得して一覧表示できます。

次の表に、Dataproc IAM ロールと、各ロールに関連付けられた権限を示します。

役割 ID 権限
roles/dataproc.admin dataproc.*.getIamPolicy
dataproc.*.setIamPolicy
dataproc.*.create
dataproc.*.get
dataproc.*.list
dataproc.*.delete
dataproc.*.update
dataproc.clusters.use
dataproc.jobs.cancel
dataproc.workflowTemplates.instantiate
dataproc.workflowTemplates.instantiateInline
compute.machineTypes.get
compute.machineTypes.list
compute.networks.get
compute.networks.list
compute.projects.get
compute.regions.get
compute.regions.list
compute.zones.get
compute.zones.list
resourcemanager.projects.get
resourcemanager.projects.list
roles/dataproc.editor dataproc.*.create
dataproc.*.get
dataproc.*.list
dataproc.*.delete
dataproc.*.update
dataproc.clusters.use
dataproc.jobs.cancel
dataproc.workflowTemplates.instantiate
dataproc.workflowTemplates.instantiateInline
compute.machineTypes.get
compute.machineTypes.list
compute.networks.get
compute.networks.list
compute.projects.get
compute.regions.get
compute.regions.list
compute.zones.get
compute.zones.list
resourcemanager.projects.get
resourcemanager.projects.list
roles/dataproc.viewer dataproc.*.get
dataproc.*.list
compute.machineTypes.get
compute.regions.get
compute.regions.list
compute.zones.get
resourcemanager.projects.get
resourcemanager.projects.list
roles/dataproc.worker(サービス アカウントの場合のみ) dataproc.agents.*
dataproc.tasks.*
logging.logEntries.create
monitoring.metricDescriptors.create
monitoring.metricDescriptors.get
monitoring.metricDescriptors.list
monitoring.monitoredResourceDescriptors.get
monitoring.monitoredResourceDescriptors.list
monitoring.timeSeries.create
storage.buckets.get
storage.objects.create
storage.objects.get
storage.objects.list
storage.objects.update
storage.objects.delete
storage.objects.getIamPolicy
storage.objects.setIamPolicy

注:

  • 「*」は「クラスタ」、「ジョブ」、「オペレーション」を表します。ただし、dataproc.operations. に関連付けられている権限が getlistdelete だけのものは除きます。
  • 上記で挙げた compute 権限は、Google Cloud Console または Cloud SDK の gcloud コマンドライン ツールの使用時に Dataproc クラスタの作成や表示を行うために必要、または推奨されています。
  • ユーザーがファイルをアップロードできるようにするには、Storage Object Creator の役割を付与します。 ユーザーがジョブ出力を表示できるようにするには、Storage Object Viewer の役割を付与します。 これらの Storage ロールのどちらかを付与すると、ユーザーは、プロジェクト内の任意のバケットにアクセスできるようになります。
  • ユーザーが Google Cloud Console → [Dataproc] → [クラスタの詳細] の [概要] タブでグラフを表示するには、monitoring.timeSeries.list 権限を持っている必要があります。
  • ユーザーが Google Cloud Console → [Dataproc] → [クラスタの詳細] の [VM インスタンス] タブでインスタンスのステータスとマスター インスタンス SSH メニュー表示するには、compute.instances.list 権限を持っている必要があります。Google Compute Engine のロールについては、Compute Engine ドキュメント → 利用できる IAM ロールをご覧ください。
  • ユーザー指定のサービス アカウントでクラスタを作成するには、指定したサービス アカウントに、Dataproc Worker ロールによって付与されるすべての権限が必要です。構成された機能によっては、追加の役割が必要になることがあります。 追加のロールの一覧は、サービス アカウントをご覧ください。

プロジェクトの役割

IAM プロジェクトの役割を使用して、権限をプロジェクト レベルで設定することもできます。ここで、IAM プロジェクトの役割に関連付けられた権限の概要を示します。

プロジェクトの役割 権限
プロジェクト閲覧者 状態を変更しない読み取り専用アクション(get、list)に関するすべてのプロジェクト権限
プロジェクト編集者 すべてのプロジェクト閲覧者権限+状態を変更するアクション(create、delete、update、use、cancel)に関するすべてのプロジェクト権限
プロジェクト所有者 すべてのプロジェクト編集者権限+プロジェクトに対するアクセス制御を管理(get/set IamPolicy)し、プロジェクト課金をセットアップするための権限

IAM の役割と Dataproc のオペレーションの概要

次の表は、ユーザーに付与されたロールに基づいて使用可能な Dataproc オペレーションをまとめたものです。

操作 プロジェクト編集者 プロジェクト閲覧者 Dataproc Admin Dataproc 編集者 Dataproc 閲覧者
Dataproc IAM 権限の取得と設定 × × × ×
クラスタの作成 × ×
クラスタのリスト表示
クラスタの詳細取得 1、2 1、2 1、2
クラスタの更新 × ×
クラスタの削除 × ×
ジョブの送信 × 3 3 ×
ジョブのリスト表示
ジョブの詳細取得 4 4 4
ジョブのキャンセル × ×
ジョブの削除 × ×
オペレーションのリスト表示
オペレーションの詳細取得
オペレーションの削除 × ×

注:

  1. ユーザーに monitoring.timeSeries.list 権限があるロールがない場合、パフォーマンス グラフを利用できません。
  2. ユーザーに compute.instances.list 権限があるロールがない場合、クラスタ内の VM のリストにはステータス情報やマスター インスタンスの SSH リンクが含まれません。
  3. ユーザーが Storage Object Creator(ストレージ オブジェクト作成者)役割を与えられていない場合またはプロジェクトのステージング バケットへの書き込みアクセス権が付与されていない場合は、アップロードするファイルを含むジョブを送信できません。
  4. ユーザーが Storage Object Viewer(ストレージ オブジェクト閲覧者)役割を与えられていない場合またはプロジェクトのステージング バケットへの読み取りアクセス権が付与されていない場合は、ジョブ出力を利用できません。

サービス アカウント

Dataproc API を呼び出して、クラスタが存在するプロジェクトでアクション(たとえば、プロジェクト内での VM インスタンスの作成)を実行すると、Dataproc は、アクションの実行に必要な権限があるサービス アカウントを使用して、ユーザーの代わりにこうしたアクションを実行します。以下のサービス アカウントには、クラスタがあるプロジェクトで Dataproc アクションを実行するために必要な権限があります。

  • Dataproc は最初に service-[project-number]@dataproc-accounts.iam.gserviceaccount.com の使用を試みます。
  • そのサービス アカウントが存在しない場合、Dataproc は Google API サービス アカウント[project-number]@cloudservices.gserviceaccount.com)を使用してフォールバックします。

クラスタが共有 VPC ネットワークを使用する場合、共有 VPC 管理者は、上記の両方のサービス アカウントに共有 VPC ホスト プロジェクトのネットワーク ユーザー のロールを付与する必要があります。詳細については、以下をご覧ください。

IAM の管理

IAM ポリシーの取得と設定には、Google Cloud Console、IAM API、gcloud コマンドライン ツールを使用できます。

次のステップ