Dataform のベストプラクティスの概要です。

このドキュメントでは、Dataform でリポジトリサイズ、リポジトリ構造、コードライフサイクルを管理するベストプラクティスの概要を示します。

リポジトリサイズに関するベストプラクティス

リポジトリサイズは、次のような Dataform における開発のさまざまな側面に影響します。

Dataform では、コンパイルのリソースに API の割り当てと制限を適用します。リポジトリサイズが大きいと、リポジトリでこれらの割り当てと上限を超えることがあります。これにより、SQL ワークフローのコンパイルと実行が失敗する可能性があります。

このリスクを軽減するために、大規模なリポジトリを分割することをおすすめします。大規模なリポジトリを分割する場合、大規模な SQL ワークフローを、各リポジトリに格納され、さらにリポジトリ間の依存関係で接続される多数の小規模な SQL ワークフローに分割します。

このアプローチにより、Dataform の割り当てと上限を遵守し、プロセスと権限を詳細に制御して、コードベースの読みやすさとコラボレーションを改善できます。ただし、分割リポジトリの管理は、単一のリポジトリの管理よりも困難になる場合があります。

Dataform でのリポジトリサイズの影響と、リポジトリを分割する際のベストプラクティスについて詳しくは、リポジトリの分割をご覧ください。

ワークフローのステージを反映するように、ファイルを definitions ディレクトリで構造化することをおすすめします。ニーズに最適なカスタム構造を採用できる点にもご留意ください。

推奨される次の definitions サブディレクトリの構造は、ほとんどの SQL ワークフローの主なステージを反映しています。

Dataform 内のすべてのファイル名は、BigQuery テーブルの命名ガイドラインに準拠している必要があります。Dataform リポジトリの definitions ディレクトリ内のファイル名は、サブディレクトリ構造を反映することをおすすめします。

リポジトリ内のファイルを構造化および命名するためのベストプラクティスについて詳しくは、リポジトリ内のコードの構造化をご覧ください。

Dataform のデフォルトのコードライフサイクルは、次のフェーズで構成されます。

Dataform でコードライフサイクルを管理するには、開発、ステージング、本番環境などの実行環境を作成します。

Dataform のコードライフサイクルの詳細については、Dataform のコードライフサイクルの概要をご覧ください。

実行環境を単一のリポジトリに保持するか、複数のリポジトリに保持するかを選択できます。

ワークスペースのコンパイルのオーバーライドおよびリリース構成を使用して、分離された実行環境（開発、ステージング、本番環境など）を、1 つの Dataform リポジトリ内で作成できます。

分離された実行環境は次の方法で作成できます。

その後、ワークフロー構成を使用して、ステージングと本番環境で実行をスケジュールできます。開発環境で手動で実行をトリガーすることをおすすめします。

Dataform のコードライフサイクル管理のベストプラクティスの詳細については、コードライフサイクルの管理をご覧ください。

コードライフサイクルの各ステージに合わせて Identity and Access Management の権限を調整するには、リポジトリの複数のコピーを作成して、それらを各 Google Cloud プロジェクトに保存します。

各 Google Cloud プロジェクトは、コードライフサイクルのステージ（開発や本番環境など）に対応する実行環境として機能します。

このアプローチでは、すべての Google Cloud プロジェクトでリポジトリのコードベースを同じにすることをおすすめします。リポジトリの各コピーでコンパイルと実行をカスタマイズするには、ワークスペースのコンパイルのオーバーライド、リリース構成、ワークフロー構成を使用します。