このドキュメントでは、リポジトリの作成、リポジトリのサービス アカウントの設定と編集、Dataform でのリポジトリの削除を行う方法について説明します。
Dataform リポジトリを作成する際は、次のリポジトリ設定を行う必要があります。
- リポジトリ ID
- リポジトリの一意の ID。ID には数字、英字、ハイフン、アンダースコアのみを使用できます。
- リージョン
リポジトリとそのコンテンツを保存するための Dataform リージョン。
このストレージ リージョンは、Dataform がコードを処理して実行結果を保存する処理リージョンとは異なる場合があります。デフォルトでは、処理リージョンはデフォルトの BigQuery データセット リージョンに設定されています。リポジトリを作成した後、ワークフロー設定ファイルで処理リージョンを編集できます。詳細については、Dataform の設定を行うをご覧ください。
- サービス アカウント
リポジトリに関連付けられたサービス アカウント。デフォルトの Dataform サービス アカウント、Google Cloud プロジェクトに関連付けられたサービス アカウントを選択することも、別のサービス アカウントを手動で入力することもできます。 デフォルトでは、Dataform はプロジェクト番号から派生した次の形式のサービス アカウントを使用します。
service-YOUR_PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com
Dataform は、すべてのリポジトリ オペレーションにデフォルトのサービス アカウントを使用します。別のサービス アカウントを使用してリポジトリでワークフローを実行することができますが、他のすべてのリポジトリ オペレーションにはデフォルトのサービス アカウントが引き続き使用されます。
- 暗号化
リポジトリの暗号化方式。デフォルトの暗号化を使用するか、顧客管理の Cloud KMS 暗号鍵を適用できます。Dataform での顧客管理の暗号鍵(CMEK)の使用の詳細については、顧客管理の暗号鍵の使用をご覧ください。
リポジトリを作成したら、GitHub または GitLab に接続できます。
始める前に
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
- リポジトリに CMEK 暗号化を使用するには、Dataform リポジトリの CMEK 暗号化を有効にする。
必要なロール
リポジトリの作成と削除に必要な権限を取得するには、リポジトリに対する Dataform 管理者 (roles/dataform.admin
)IAM ロールの付与を管理者に依頼してください。ロールの付与の詳細については、アクセス権の管理をご覧ください。
必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。
デフォルトの Dataform サービス アカウント以外のサービス アカウントを使用するには、カスタム サービス アカウントへのアクセス権を付与します。
リポジトリを作成する
Dataform リポジトリの作成手順は次のとおりです。
Google Cloud コンソールの [Dataform] ページに移動します。
[リポジトリを作成] をクリックします。
[リポジトリの作成] ページの [リポジトリ ID] フィールドに一意の ID を入力します。
ID には数字、英字、ハイフン、アンダースコアのみを使用できます。
[リージョン] プルダウン リストで、リポジトリとそのコンテンツを保存する Dataform リージョンを選択します。自分の場所に最も近い Dataform リージョンを選択します。
使用可能な Dataform リージョンの一覧については、ロケーションをご覧ください。リポジトリ リージョンは、BigQuery データセットのロケーションと一致する必要はありません。
workflow_settings.yaml
ファイルでは、Dataform がコードを処理し、実行の出力を保存する処理リージョンを設定できます。処理リージョンは、BigQuery データセットのロケーションと一致する必要がありますが、リポジトリ リージョンと一致する必要はありません。詳細については、 Dataform の設定を構成するをご覧ください。[サービス アカウント] プルダウンから、リポジトリのサービス アカウントを選択します。
プルダウンからは、デフォルトの Dataform サービス アカウント、またはアクセス可能な Google Cloud プロジェクトに関連付けられているサービス アカウントを選択できます。カスタム サービス アカウントはワークフローの実行にのみ使用されることに注意してください。他のすべてのリポジトリ オペレーションは、デフォルトの Dataform サービス アカウントによって引き続き実行されます。
- 省略可: プルダウンに表示されていないサービス アカウントを選択するには、[手動で入力] をクリックして、サービス アカウント ID を入力します。
[暗号化] セクションで、リポジトリの暗号化方式を選択します。
- デフォルトの暗号化を使用するには、[Google が管理する暗号鍵] オプションを選択します。
CMEK を使用するには、[顧客管理の暗号鍵(CMEK)] オプションを選択します。
- [顧客管理の暗号鍵を選択] プルダウンで、リポジトリの CMEK 鍵を選択します。
詳細については、Dataform CMEK の制限事項をご覧ください。
[作成]、[完了] の順にクリックします。
サービス アカウントを編集する
ワークフローを実行するためにカスタム サービス アカウントを Dataform リポジトリに関連付けることができます。他のすべてのリポジトリ オペレーションは、デフォルトの Dataform サービス アカウントによって引き続き実行されます。
Dataform リポジトリのサービス アカウントを編集する手順は次のとおりです。
Google Cloud コンソールの [Dataform] ページに移動します。
リポジトリを選択し、[設定] をクリックします。
[サービス アカウント] フィールドで、
[サービス アカウントの編集] をクリックします。[サービス アカウント] プルダウンから、リポジトリのサービス アカウントを選択します。
プルダウンからは、デフォルトの Dataform サービス アカウント、またはアクセス可能な Google Cloud プロジェクトに関連付けられているサービス アカウントを選択できます。
- 省略可: プルダウンに表示されていないサービス アカウントを選択するには、[手動で入力] をクリックして、サービス アカウント ID を入力します。
[保存] をクリックします。
リポジトリを削除する
リポジトリとそのすべてのコンテンツを削除するには、次の手順を行います。
Google Cloud コンソールの [Dataform] ページに移動します。
削除するリポジトリで、
[その他] メニューをクリックし、[削除] を選択します。[リポジトリの削除] ウィンドウで、リポジトリの名前を入力して削除を確定します。
[削除] をクリックします。
次のステップ
Dataform の処理設定の構成方法については、Dataform の設定を構成するをご覧ください。
Dataform リポジトリをサードパーティの Git リポジトリにリンクする方法については、サードパーティの Git プロバイダに接続するをご覧ください。
Dataform で CMEK を使用する方法については、顧客管理の暗号鍵の使用をご覧ください。
開発ワークスペースの作成方法については、ワークスペースを作成するをご覧ください。