このページでは、別の Google Cloud プロジェクトで Dataproc クラスタを使用するパイプラインをデプロイして実行する際のアクセス制御の管理について説明します。
シナリオ
デフォルトでは、Cloud Data Fusion インスタンスが Google Cloud プロジェクトで起動されると、同じプロジェクト内の Dataproc クラスタを使用してパイプラインをデプロイして実行します。ただし、組織では別のプロジェクトでクラスタを使用する必要がある場合があります。このユースケースでは、プロジェクト間のアクセスを管理する必要があります。このページでは、ベースライン（デフォルト）構成を変更し、適切なアクセス制御を適用する方法について説明します。
準備
このユースケースでのソリューションを理解するには、次のコンテキストが必要です。
- Cloud Data Fusion のコンセプトの基本知識
- Cloud Data Fusion の Identity and Access Management（IAM）に関する知識
- Cloud Data Fusion ネットワーキングに関する知識
前提条件と対象範囲
このユースケースには、次の要件があります。
- プライベート Cloud Data Fusion インスタンス。 セキュリティ上の理由から、組織ではこのタイプのインスタンスの使用が必要になる場合があります。
- BigQuery のソースとシンク。
- ロールベースのアクセス制御（RBAC）ではなく、IAM を使用したアクセス制御。
解決策
このソリューションでは、ベースラインとユースケースに固有のアーキテクチャと構成を比較します。
アーキテクチャ
次の図は、テナント プロジェクト VPC を介して同じプロジェクト（ベースライン）と別のプロジェクトでクラスタを使用する場合に、Cloud Data Fusion インスタンスを作成してパイプラインを実行するためのプロジェクト アーキテクチャを比較したものです。
ベースライン アーキテクチャ
この図は、プロジェクトのベースライン アーキテクチャを示しています。
ベースライン構成では、プライベート Cloud Data Fusion インスタンスを作成し、追加のカスタマイズを行わずにパイプラインを実行します。
- 組み込みのコンピューティング プロファイルのいずれかを使用する
- ソースとシンクがインスタンスと同じプロジェクトにある
- どのサービス アカウントにも追加のロールが付与されてない
テナント プロジェクトとお客様のプロジェクトの詳細については、ネットワーキングをご覧ください。
ユースケースのアーキテクチャ
次の図は、別のプロジェクトでクラスタを使用する場合のプロジェクト アーキテクチャを示しています。
構成
以下のセクションでは、ベースライン構成を、デフォルトのテナント プロジェクト VPC を介して異なるプロジェクトで Dataproc クラスタを使用するためのユースケース固有の構成と比較します。
以下のユースケースの説明では、お客様のプロジェクトは Cloud Data Fusion インスタンスが実行される場所、Dataproc プロジェクトは Dataproc クラスタが起動される場所です。
テナント プロジェクトの VPC とインスタンス
| ベースライン | ユースケース |
|---|---|
前述のベースライン アーキテクチャの図では、テナント プロジェクトには次のコンポーネントが含まれています。
|
このユースケースに追加の構成は必要ありません。 |
お客様のプロジェクト
| ベースライン | ユースケース |
|---|---|
| Google Cloud プロジェクトは、パイプラインをデプロイして実行する場所です。 デフォルトでは、Dataproc クラスタはこのプロジェクトを実行するときに起動されます。 | このユースケースでは、2 つのプロジェクトを管理します。このページでは、お客様のプロジェクトは、Cloud Data Fusion インスタンスが実行される場所を意味します。 Dataproc プロジェクトは、Dataproc クラスタを起動する場所を意味します。 |
お客様の VPC
| ベースライン | ユースケース |
|---|---|
自分の（お客様の）観点からは、お客様の VPC は Cloud Data Fusion が論理的に配置されている場所です。 重要ポイント: お客様の VPC の詳細は、プロジェクトの VPC ネットワーク ページで確認できます。 |
このユースケースに追加の構成は必要ありません。 |
Cloud Data Fusion サブネット
| ベースライン | ユースケース |
|---|---|
自分の（お客様の）観点からは、このサブネットは Cloud Data Fusion が論理的に配置されている場所です。 重要ポイント: このサブネットのリージョンは、テナント プロジェクトの Cloud Data Fusion インスタンスのロケーションと同じです。 |
このユースケースに追加の構成は必要ありません。 |
Dataproc サブネット
| ベースライン | ユースケース |
|---|---|
パイプラインの実行時に Dataproc クラスタが起動されるサブネット。 重要ポイント:
|
これは、パイプラインの実行時に Dataproc クラスタが起動される新しいサブネットです。 重要ポイント:
|
ソースとシンク
| ベースライン | ユースケース |
|---|---|
データが抽出されるソースと、データが読み込まれるシンク（BigQuery のソースやシンクなど）。 重要ポイント:
|
このページのユースケース固有のアクセス制御構成は、BigQuery のソースとシンクを対象としています。 |
Cloud Storage
| ベースライン | ユースケース |
|---|---|
Cloud Data Fusion と Dataproc の間でファイルを転送する際に役立つお客様のプロジェクト内のストレージ バケット。 重要ポイント:
|
このユースケースに追加の構成は必要ありません。 |
ソースとシンクで使用される一時バケット
| ベースライン | ユースケース |
|---|---|
ソースとシンクのプラグインによって作成された一時バケット（BigQuery Sink プラグインによって開始された読み込みジョブなど）。 重要ポイント:
|
このユースケースでは、任意のプロジェクトでバケットを作成できます。 |
プラグインのデータ ソースまたはシンクであるバケット
| ベースライン | ユースケース |
|---|---|
| Cloud Storage プラグインや FTP to Cloud Storage プラグインなどのプラグインの構成で指定したお客様のバケット。 | このユースケースに追加の構成は必要ありません。 |
IAM: Cloud Data Fusion API サービス エージェント
| ベースライン | ユースケース |
|---|---|
Cloud Data Fusion API を有効にすると、Cloud Data Fusion API サービス エージェントのロール（ 重要ポイント:
|
このユースケースでは、Cloud Data Fusion API サービス エージェントのロールを Dataproc プロジェクトのサービス アカウントに付与します。次に、そのプロジェクトで次のロールを付与します。
|
IAM: Dataproc サービス アカウント
| ベースライン | ユースケース |
|---|---|
Dataproc クラスタ内のジョブとしてパイプラインを実行するために使用されるサービス アカウント。デフォルトでは、Compute Engine サービス アカウントです。 省略可: ベースライン構成で、デフォルトのサービス アカウントを同じプロジェクトから別のサービス アカウントに変更できます。新しいサービス アカウントに次の IAM ロールを付与します。
|
このユースケースの例では、Dataproc プロジェクトのデフォルトの Compute Engine サービス アカウント（ Dataproc プロジェクト内のデフォルトの Compute Engine サービス アカウントに次のロールを付与します。
Dataproc プロジェクトのデフォルトの Compute Engine サービス アカウントの Cloud Data Fusion サービス アカウントに、サービス アカウントのユーザーロールを付与します。このアクションは、Dataproc プロジェクトで実行する必要があります。 Dataproc プロジェクトのデフォルトの Compute Engine サービス アカウントを Cloud Data Fusion プロジェクトに追加します。 また、次のロールを付与します。
|
API
| ベースライン | ユースケース |
|---|---|
Cloud Data Fusion API を有効にすると、次の API も有効になります。これらの API の詳細については、プロジェクトの [API とサービス] ページをご覧ください。
Cloud Data Fusion API を有効にすると、次のサービス アカウントがプロジェクトに自動的に追加されます。
|
このユースケースでは、Dataproc プロジェクトを含むプロジェクトで次の API を有効にします。
|
暗号鍵
| ベースライン | ユースケース |
|---|---|
ベースライン構成では、暗号鍵は Google が管理することも、CMEK にすることもできます。 重要ポイント: CMEK を使用する場合、ベースライン構成には、次のものが必要です。
パイプラインで使用されるサービス（BigQuery や Cloud Storage など）に応じて、サービス アカウントには Cloud KMS 暗号鍵の暗号化 / 復号のロールも付与する必要があります。
|
CMEK を使用しない場合は、このユースケースに追加の変更は必要ありません。 CMEK を使用する場合、作成されたプロジェクトの次のサービス アカウントに、鍵レベルで Cloud KMS CryptoKey の暗号化 / 復号のロールを、提供する必要があります。
パイプラインで使用されるサービス（BigQuery や Cloud Storage など）に応じて、他のサービス アカウントに鍵レベルで Cloud KMS 暗号鍵の暗号化 / 復号のロールも付与する必要があります。例:
|
これらのユースケースに固有の構成を行うと、データ パイプラインは別のプロジェクトのクラスタで実行できるようになります。
次のステップ
- Cloud Data Fusion のネットワーキングについて学習する。
- IAM の基本ロールと事前定義ロールのリファレンスを確認する。