ワークスペースコンパイルオーバーライドを作成する

このドキュメントでは、BigQuery の Dataform ワークスペースから作成されたテーブルとビューを分離するために、ワークスペースコンパイルオーバーライドを作成する方法について説明します。ワークスペースコンパイルオーバーライドを使用して、分離された Dataform 開発環境を作成できます。

ワークスペースコンパイルオーバーライドについて

Dataform ワークスペースで SQL ワークフローコードを開発する場合、Dataform は、ワークスペースでコードをリアルタイムでし、ワークスペースの結果を作成します。Dataform は、dataform.json ファイルで定義された設定を使用してワークスペースの結果を作成します。その後、ワークスペースで実行をトリガーすると、Dataform は BigQuery でワークスペースの結果を実行します。

リポジトリ内のすべてのワークスペースで dataform.json に設定されたデフォルト設定をオーバーライドするには、ワークスペースコンパイルオーバーライドを作成します。

ワークスペースコンパイルオーバーライドを使用すると、リポジトリ内のすべてのワークスペースで次の設定をオーバーライドできます。

プロジェクト: dataform.json に defaultDatabase として設定されたワークスペースの結果を Dataform が実行する Google Cloud プロジェクト。
テーブルの接頭辞: リポジトリ内のすべてのワークスペースのすべてのテーブル名に追加されたカスタムプレフィックス。
スキーマの接尾辞: dataform.json の defaultSchema またはテーブルの config ブロックの schema パラメータで定義されたテーブルのスキーマに追加されるカスタムサフィックス。

分離された開発環境を作成するため、一意のオーバーライドを使用してワークスペースを分離できます。テーブル接頭辞とスキーマ接尾辞のオーバーライドは、${workspaceName} 変数を使用して動的に変更できます。

ワークスペースで手動で実行をトリガーすると、${workspaceName} 変数によりワークスペースの名前がワークスペースコンパイルオーバーライドに挿入されます。

${workspaceName} をテーブル接頭辞として設定すると、Dataform はワークスペースの名前をワークスペース内のすべてのテーブルの名前に追加します。実行後、BigQuery でテーブルの送信元のワークスペースを特定できます。

${workspaceName} をスキーマサフィックスとして設定すると、Dataform はワークスペースの名前を defaultSchema に追加し、ワークスペース専用のカスタムスキーマを作成します。実行後、BigQuery の専用スキーマで、特定のワークスペースから実行されたすべてのテーブルを見つけることができます。

動的なワークスペースコンパイルオーバーライドの例

次の例は、リポジトリを操作する開発者にちなんで名付けられたワークスペースを含むリポジトリに適用される動的なワークスペースコンパイルオーバーライドを示しています（Sasha および Kai）。

この例のワークスペースコンパイルオーバーライドの目的は、Ssha と Kai 用に分離された開発環境を作成することです。

次のデフォルト設定は dataform.json に設定されています。

defaultDatabase: analytics
defaultSchema: dataform

次のワークスペースコンパイルオーバーライドでは、リポジトリ内の各ワークスペースに動的なテーブル接頭辞とスキーマ接尾辞を作成します。

Google Cloud プロジェクト ID: analytics_dev
テーブルの接頭辞: ${workspaceName}
スキーマの接尾辞: ${workspaceName}

Sasha が Sasha ワークスペースで手動で実行をトリガーすると、Dataform は次の設定でコンテンツを実行します。

Google Cloud プロジェクト: analytics_dev
スキーマ: dataform_sasha
テーブル名: sasha_name（例: sasha_orders）。

Kai が Kai ワークスペースで手動で実行をトリガーすると、Dataform は次の設定でコンテンツを実行します。

Google Cloud プロジェクト: analytics_dev
スキーマ: dataform_kai
テーブル名: kai_name、例: kai_orders

始める前に

Google Cloud コンソールの [Dataform] ページに移動します。

[Dataform] ページに移動
リポジトリを作成または選択します。
省略可: デフォルトの Google Cloud プロジェクトをオーバーライドするには、使用する Google Cloud プロジェクトに Dataform サービスアカウントにアクセス権を付与します。

必要なロール

ワークスペースコンパイルオーバーライドを作成するために必要な権限を取得するには、リポジトリに対する Dataform 管理者（roles/dataform.admin）IAM ロールを付与するよう管理者に依頼してください。ロールの付与の詳細については、アクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。