このドキュメントでは、リポジトリの作成、リポジトリのサービス アカウントの設定と編集、Dataform でリポジトリを削除する方法について説明します。
Dataform リポジトリを作成するときは、次のリポジトリ設定を設定する必要があります。
- リポジトリ ID
- リポジトリの一意の ID。ID には数字、英字、ハイフン、アンダースコアのみを使用できます。
- リージョン
リポジトリとそのコンテンツを保存するための Dataform リージョン。
このストレージ リージョンは、Dataform がコードを処理して実行の出力を保存する処理リージョンと異なる場合があります。デフォルトでは、処理リージョンはデフォルトの BigQuery データセット リージョンに設定されています。処理リージョンは、リポジトリの作成後に
dataform.jsonファイルで編集できます。詳細については、Dataform の設定を構成するをご覧ください。- サービス アカウント
リポジトリに関連付けられているサービス アカウント。デフォルトの Dataform サービス アカウント、Google Cloud プロジェクトに関連付けられたサービス アカウントを選択することも、別のサービス アカウントを手動で入力することもできます。 デフォルトでは、Dataform はプロジェクト番号から派生した次の形式のサービス アカウントを使用します。
service-YOUR_PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.comDataform は、すべてのリポジトリ オペレーションにデフォルトのサービス アカウントを使用します。別のサービス アカウントを使用してリポジトリでワークフローを実行することができますが、他のすべてのリポジトリ オペレーションにはデフォルトのサービス アカウントが引き続き使用されます。
- 暗号化
リポジトリの暗号化方式。デフォルトの暗号化を使用することも、顧客管理の Cloud KMS 暗号鍵を適用することもできます。Dataform で顧客管理の暗号鍵（CMEK）を使用する方法の詳細については、顧客管理の暗号鍵を使用するをご覧ください。
リポジトリを作成したら、GitHub または GitLab に接続できます。
始める前に
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。
-
BigQuery and Dataform API を有効にします。
-
Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。
-
BigQuery and Dataform API を有効にします。
- リポジトリに CMEK 暗号化を使用するには、Dataform リポジトリの CMEK 暗号化を有効にします。
必要なロール
リポジトリの作成と削除に必要な権限を取得するには、リポジトリに対する Dataform 管理者 （roles/dataform.admin）IAM ロールの付与を管理者に依頼してください。ロールの付与の詳細については、アクセスの管理をご覧ください。
必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。
デフォルトの Dataform サービス アカウント以外のサービス アカウントを使用するには、カスタム サービス アカウントにアクセス権を付与します。
リポジトリを作成する
Dataform リポジトリの作成手順は次のとおりです。
Google Cloud コンソールの [Dataform] ページに移動します。
[リポジトリを作成] をクリックします。
[リポジトリの作成] ページの [リポジトリ ID] フィールドに、一意の ID を入力します。
ID には数字、英字、ハイフン、アンダースコアのみを使用できます。
[リージョン] プルダウン リストで、リポジトリとそのコンテンツを保存する Dataform リージョンを選択します。自身のロケーションに最も近い Dataform リージョンを選択してください。
使用可能な Dataform リージョンの一覧については、ロケーションをご覧ください。リポジトリ リージョンは、BigQuery データセットのロケーションと一致する必要はありません。
dataform.jsonファイルでは、Dataform がコードを処理して実行の出力を保存する処理リージョンを設定できます。処理リージョンは、BigQuery データセットのロケーションと一致する必要がありますが、リポジトリ リージョンと一致する必要はありません。詳細については、 Dataform の設定を構成するをご覧ください。[サービス アカウント] プルダウンで、リポジトリのサービス アカウントを選択します。
プルダウンでは、デフォルトの Dataform サービス アカウント、またはアクセス可能な Google Cloud プロジェクトに関連付けられた任意のサービス アカウントを選択できます。カスタム サービス アカウントはワークフローの実行にのみ使用されます。他のすべてのリポジトリ オペレーションは、デフォルトの Dataform サービス アカウントによって引き続き実行されます。
- 省略可: プルダウンに表示されていないサービス アカウントを選択するには、[手動で入力] をクリックして、サービス アカウント ID を入力します。
[暗号化] セクションで、リポジトリの暗号化方式を選択します。
- デフォルトの暗号化を使用するには、[Google が管理する暗号鍵] オプションを選択します。
CMEK を使用するには、[顧客管理の暗号鍵（CMEK）] オプションを選択します。
- [顧客管理の暗号鍵を選択] プルダウンで、リポジトリの CMEK 鍵を選択します。
詳細については、Dataform CMEK の制限事項をご覧ください。
[作成]、[完了] の順にクリックします。
サービス アカウントを編集する
ワークフローを実行するためにカスタム サービス アカウントを Dataform リポジトリに関連付けることができます。他のすべてのリポジトリ オペレーションは、デフォルトの Dataform サービス アカウントによって引き続き実行されます。
Dataform リポジトリのサービス アカウントを編集する手順は次のとおりです。
Google Cloud コンソールの [Dataform] ページに移動します。
リポジトリを選択して、[設定] をクリックします。
[サービス アカウント] フィールドで、 [サービス アカウントを編集] をクリックします。
[サービス アカウント] プルダウンで、リポジトリのサービス アカウントを選択します。
プルダウンでは、デフォルトの Dataform サービス アカウントか、アクセス可能な Google Cloud プロジェクトに関連付けられたサービス アカウントを選択できます。
- 省略可: プルダウンに表示されていないサービス アカウントを選択するには、[手動で入力] をクリックして、サービス アカウント ID を入力します。
[保存] をクリックします。
リポジトリを削除する
リポジトリとそのすべてのコンテンツを削除するには、次の手順を行います。
Google Cloud コンソールの [Dataform] ページに移動します。
削除するリポジトリで、 [その他] メニューをクリックし、[削除] を選択します。
[リポジトリの削除] ウィンドウで、リポジトリの名前を入力して削除を確定します。
[削除] をクリックします。
次のステップ
Dataform の処理設定の構成方法については、Dataform の設定を構成するをご覧ください。
Dataform リポジトリをサードパーティの Git プロバイダにリンクする方法については、サードパーティの Git リポジトリに接続するをご覧ください。
Dataform で CMEK を使用する方法については、顧客管理の暗号鍵を使用するをご覧ください。
開発ワークスペースの作成方法については、ワークスペースを作成するをご覧ください。