リリース構成を作成する

このドキュメントでは、Dataform でリリース構成を作成して、スケジュールに従って実行できるコンパイル設定のテンプレートを構成する方法について説明します。リリース構成を使用して、ステージングや本番環境などの実行環境を構成できます。

Dataform リリース構成について

BigQuery で SQL ワークフローを実行するために、Dataform は SQL ワークフロー コードをコンパイル結果にコンパイルします。このプロセスは、Dataform ワークスペースで SQL ワークフローを開発する場合、自動的に行われます。

リリース構成を使用すると、コンパイル結果をカスタマイズできます。ステージングなどの実行環境を作成できます。

リリース構成の設定

リリース構成では、ワークフロー設定のコンパイルのオーバーライドを構成し、コンパイル変数を設定して、コンパイル結果の作成頻度を設定できます。

Dataform リリース構成には、次のコンパイル設定が含まれています。

リリースの設定
リリースの ID、コンパイル結果の git commitish、コンパイル結果の作成頻度。頻度は省略可能な設定です。設定した場合、最小間隔は 1 時間です。
コンパイルのオーバーライド
ワークフローの設定で定義された Google Cloud プロジェクト、テーブル接頭辞、スキーマ接尾辞、コンパイル変数のオーバーライド。

リリース構成の仕組み

Dataform は、指定された頻度で、または、コンパイルをトリガーしたときに、リリース構成からコンパイル結果を作成します。頻度はオプションの設定であり、リリース構成を作成する必要はありません。設定した場合、最小頻度は 1 時間です。[リリース構成の詳細] ページで手動でコンパイルをトリガーするか、Dataform API releaseConfigs を使用してコンパイルをトリガーできます。

コンパイル中に、Dataform はリポジトリの指定された Git Commitish からコードを pull します。次に、Dataform は、適用されたコンパイル オーバーライド（存在する場合）を使用してコードをコンパイルし、コンパイル結果を作成します。リリース構成用に作成された最新のコンパイル結果は、ライブ コンパイル結果です。

リリース構成のコンパイル結果の実行は、ワークフロー構成でスケジュールできます。また、スケジュール外で選択したリリース構成を実行することもできます。ワークフロー構成の実行中に、Dataform は選択したリリース構成からライブ コンパイル結果を実行します。

始める前に

  1. Google Cloud コンソールの [Dataform] ページに移動します。

    [Dataform] ページに移動

  2. リポジトリを作成または選択します。

  3. 省略可: リリース構成でデフォルトの Google Cloud プロジェクトをオーバーライドするには、使用する Google Cloud プロジェクトへのアクセス権を Dataform サービス アカウントに付与します。

必要なロール

リリース構成を作成するために必要な権限を取得するには、リポジトリに対するDataform 編集者 （roles/dataform.editor）の IAM ロールの付与を管理者に依頼してください。 ロールの付与の詳細については、アクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

リリース構成を作成する

Dataform リリース構成を作成するには、次の手順を行います。

  1. リポジトリで、[リリースとスケジュール] に移動します。
  2. [リリース構成] セクションで、[作成] をクリックします。

  3. [リリース構成を作成] ペインで、リリース設定を構成します。

    1. [リリース ID] フィールドに、リリース構成の一意の ID を入力します。

      ID には数字、英字、ハイフン、アンダースコアのみを使用できます。

    2. [Git Commitish] フィールドに、リリースの Git ブランチまたは Git commit SHA を入力します。

    リモート リポジトリに接続されていない Dataform リポジトリでは、値は常に main です。

    1. 省略可: [頻度] プルダウンで、コンパイル結果を作成する頻度を選択します。

      設定した場合、最小間隔は 1 時間です。

  4. 省略可: [コンパイルのオーバーライド] セクションで、コンパイル設定を構成します。

    1. [Google Cloud プロジェクト ID] フィールドに、コンパイル結果を保存する Google Cloud プロジェクトの ID を入力します。
    2. [スキーマ サフィックス] フィールドに、ワークフロー設定で構成されたスキーマに追加するサフィックスを入力します。
    3. [テーブルの接頭辞] フィールドに、すべてのテーブル名の接頭辞を入力します。

  5. 省略可: [コンパイル変数] セクションで、コンパイル変数を設定します。

    1. [変数を追加] をクリックします。
    2. [キー] フィールドにコンパイル変数を入力します。
    3. [値] フィールドに、コンパイル変数の値を入力します。
    4. 別のコンパイル変数を追加するには、[変数を追加] をクリックします。

  6. [作成] をクリックします。

デフォルトの Google Cloud プロジェクトをオーバーライドする場合は、Dataform サービス アカウントがリリース構成で設定された Google Cloud プロジェクトにアクセスできることを確認してください。



たとえば、次のリリース構成では、コンパイルのオーバーライドなしで、main ブランチから 1 時間ごとに production コンパイル結果を作成します。

  • リリース ID：production
  • GitCommitish：main
  • 頻度: 毎時
  • コンパイルのオーバーライドなし

リリース構成の詳細を表示する

リリース構成の詳細は次のとおりです。

  • リリースの設定
    • git Commitish
    • 最新のコンパイル結果のタイムスタンプ
    • cron のスケジュール
    • コンパイルのオーバーライド
    • コンパイル変数
  • ライブ コンパイルの結果
    • 作成のタイムスタンプ
    • git Commitish
    • Commit SHA
  • 過去のコンパイル結果

リリース構成の詳細を表示する手順は次のとおりです。

  1. リポジトリで、[リリースとスケジュール] に移動します。
  2. リリース構成を選択します。
  3. [リリース構成の詳細] ページで、リリース構成の詳細を確認します。

[スケジュールされたコンパイルの結果] テーブルには、リリース構成で自動的に作成された過去のコンパイルの結果が表示されます。

[手動 / API のコンパイル結果] テーブルには、リポジトリ内の最新の 1,000 件のコンパイル結果のうち、手動で作成されたコンパイル結果または Dataform API の呼び出しによって作成されたコンパイル結果が表示されます。

コンパイルを手動でトリガーする

選択したリリース構成からコンパイル結果を手動で作成する手順は次のとおりです。

  1. リポジトリで、[リリースとスケジュール] に移動します。
  2. リリース構成を選択します。
  3. [リリース構成の詳細] ページで、[新しいコンパイル] をクリックします。

新しく作成されたコンパイル結果が、そのリリース構成のライブ結果になります。

手動コンパイルの結果は、[リリース構成の詳細] ページの [手動 / API のコンパイル結果] テーブルに表示されます。

リリース構成の実行をトリガーする

選択したリリース構成のライブ コンパイル結果の実行を BigQuery にトリガーするには、以下の手順を実行します：

  1. リポジトリで、[リリースとスケジュール] に移動します。
  2. [リリース構成] セクションで、[実行を開始] をクリックします。
  3. [手動ワークフローの実行] ペインの [リリース構成] プルダウンで、リリース構成を選択します。
  4. 実行する SQL ワークフロー アクションを選択します。
    1. SQL ワークフロー全体を実行するには、[すべてのアクション] をクリックします。
    2. SQL ワークフローで選択したアクションを実行するには、[アクションの選択] をクリックして、アクションを選択します。
    3. 選択したタグでアクションを実行するには、[タグの選択] をクリックしてタグを選択します。
  5. 省略可: 選択したアクションまたはタグとその依存関係を実行するには、[依存関係を含める] オプションを選択します。
  6. 省略可: 選択したアクションまたはタグとそれらの依存関係を実行するには、[依存者を含める] オプションを選択します。

  7. 省略可: すべてのテーブルをゼロから再構築するには、[フル更新で実行] オプションを選択します。

    このオプションを使用しない場合、Dataform は、増分テーブルをゼロから再構築せずに更新します。

  8. [実行を開始] をクリックします。

リリース構成を編集する

リリース構成を編集するには、次の手順を行います。

  1. リポジトリで、[リリースとスケジュール] に移動します。
  2. 編集するリリース構成で、 [その他] メニューをクリックしてから [編集] をクリックします。
  3. [リリース構成の編集] ペインで、リリース構成の設定を編集し、[保存] をクリックします。

リリース構成を削除する

スキャン構成を作成するには、次の手順を行います。

  1. リポジトリで、[リリースとスケジュール] に移動します。
  2. 削除するリリース構成で、[その他] メニューをクリックしてから [削除] をクリックします。
  3. [リリース構成の削除] ダイアログで、[削除] をクリックします。

次のステップ