ワークフロー構成で実行をスケジュールする

このドキュメントでは、Dataform で SQL ワークフローの実行をスケジュールして構成するワークフロー構成を作成する方法について説明します。ワークフロー構成を使用して、スケジュールに従って Dataform SQL ワークフローを実行できます。

Dataform ワークフロー構成について

BigQuery ですべてまたは選択した SQL ワークフロー アクションの Dataform 実行をスケジュールするには、ワークフロー構成を作成します。ワークフロー構成で、コンパイル リリース構成を選択し、実行する SQL ワークフロー アクションを選択して、実行スケジュールを設定します。

その後、ワークフロー構成のスケジュールされた実行時に、Dataform は最新のコンパイル結果から選択したアクションを BigQuery にデプロイします。Dataform API workflowConfigs を使用して、ワークフロー構成の実行を手動でトリガーすることもできます。

Dataform ワークフロー構成には、次の実行設定が含まれています。

  • ワークフロー構成の ID
  • リリース構成

  • サービス アカウント

    ワークフロー構成に関連付けられたサービス アカウント。デフォルトの Dataform サービス アカウント、Google Cloud プロジェクトに関連付けられたサービス アカウントを選択することも、別のサービス アカウントを手動で入力することもできます。デフォルトでは、ワークフロー構成ではリポジトリと同じサービス アカウントが使用されます。

  • 実行する SQL ワークフロー アクション:

    • すべてのアクション
    • アクションの選択
    • タグの選択

  • 実行のスケジュールとタイムゾーン

始める前に

  1. Google Cloud コンソールの [Dataform] ページに移動します。

    [Dataform] ページに移動

  2. リポジトリを作成または選択します。

  3. リリース構成を作成します。

必要なロール

ワークフロー構成の作成に必要な権限を取得するには、リポジトリに対するDataform 編集者 （roles/dataform.editor） IAM ロールの付与を管理者に依頼してください。 ロールの付与の詳細については、アクセスの管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

デフォルトの Dataform サービス アカウント以外のサービス アカウントを使用するには、デフォルト以外のサービス アカウントへのアクセスを許可します。

ワークフロー構成を作成する

Dataform ワークフロー構成を作成する手順は次のとおりです。

  1. リポジトリで、ワークフロー構成に移動し、[New workflow configuration] をクリックします。

  2. [ワークフロー構成の作成] ペインの [構成 ID] フィールドに、ワークフロー構成の一意の ID を入力します。

    ID には数字、英字、ハイフン、アンダースコアのみを使用できます。

  3. [リリース構成] プルダウンで、コンパイル リリース構成を選択します。

  4. 省略可: [頻度] フィールドに、実行頻度を unix-cron 形式で入力します。

    Dataform が対応するリリース構成で最新のコンパイル結果を確実に実行するには、コンパイル結果の作成時刻とスケジュールされた実行時刻の間に少なくとも 1 時間の間隔を設けます。

  5. [サービス アカウント] プルダウンで、ワークフロー構成のサービス アカウントを選択します。

    プルダウンでは、デフォルトの Dataform サービス アカウントか、アクセス可能な Google Cloud プロジェクトに関連付けられたサービス アカウントを選択できます。サービス アカウントを選択しない場合、ワークフロー構成ではリポジトリのサービス アカウントが使用されます。

  6. 省略可: [タイムゾーン] プルダウンで、実行のタイムゾーンを選択します。

    デフォルトのタイムゾーンは UTC です。

  7. 実行する SQL ワークフロー アクションを選択します。

    1. SQL ワークフロー全体を実行するには、[すべてのアクション] をクリックします。
    2. 選択したアクションを SQL ワークフローで実行するには、[アクションの選択] をクリックし、アクションを選択します。
    3. 選択したタグを使用してアクションを実行するには、[タグの選択] をクリックし、タグを選択します。
    4. 省略可: 選択したアクションまたはタグとその依存関係を実行するには、[依存関係を含める] オプションを選択します。
    5. 省略可: 選択したアクションまたはタグとその依存を実行するには、[依存を含める] オプションを選択します。
    6. 省略可: すべてのテーブルをゼロから再構築するには、[フル更新で実行] オプションを選択します。

    このオプションがない場合、Dataform は、増分テーブルをゼロから再構築せずに更新します。

  8. [作成] をクリックします。



たとえば、次のワークフロー構成では、CEST タイムゾーンで 1 時間ごとに hourly タグを持つアクションが実行されます。

  • 構成 ID：production-hourly
  • リリース構成：
  • 頻度：0 * * * *
  • タイムゾーン：Central European Summer Time (CEST)
  • SQL ワークフロー アクションの選択: タグの選択、hourly タグ

ワークフロー構成を編集する

ワークフロー構成を編集するには、次の手順を行います。

  1. リポジトリで [ワークフローの構成] に移動します。
  2. 編集するワークフロー構成で、 [その他] メニューをクリックしてから、[編集] をクリックします。
  3. [ワークフロー構成の編集] ペインで、リリース構成設定を編集して、[保存] をクリックします。

ワークフロー構成を削除する

ワークフロー構成を作成するには、次の手順を行います。

  1. リポジトリで [ワークフローの構成] に移動します。
  2. 削除するワークフロー構成で、 [その他] メニューをクリックして、[削除] をクリックします。
  3. [リリース構成の削除] ポップアップで、[削除] をクリックします。

次のステップ