ワークフローの概要
この機能に関するサポートのリクエストやフィードバックは、bigquery-workflows-preview-feedback@google.com までお送りください。
このドキュメントでは、BigQuery のワークフローの概要について説明します。ワークフローを使用して、コードアセットをスケジュールに従って順番に実行できます。
ワークフローは Dataform を使用します。
1 つのワークフローは、次の 1 つまたは複数のコードアセットで構成されます。
指定した時間と頻度で自動的に実行されるように、ワークフローをスケジュールできます。
ワークフローを使用して、コードアセットの実行をスケジュールできます。たとえば、SQL クエリを毎日実行するようにスケジュールし、最新のソースデータでテーブルを更新することで、ダッシュボードを強化できます。
複数のコードアセットを含むワークフローでは、実行する順序を定義します。たとえば、ML モデルをトレーニングするには、SQL クエリでデータを準備し、その後のノートブックでそのデータを使用してモデルをトレーニングするワークフローを作成できます。
ワークフローのスケジュール設定について
各ワークフローのスケジュールは、スケジュールの作成時に選択したカスタム Dataform サービス アカウントによって実行されます。Dataform のサービス アカウントの種類について、詳細は Dataform のサービス アカウントについてをご覧ください。
ワークフローに変更を加えると自動的に保存されますが、その変更内容は、変更したユーザー自身とプロジェクトに対する Dataform 管理者ロールが付与されているユーザーのみが利用できます。新しいバージョンのワークフローでスケジュールを更新するには、ワークフローをデプロイする必要があります。デプロイすると、ワークフローの現在のバージョンを使用するようにスケジュールが更新されます。スケジュールは、常にデプロイされた最新バージョンを実行します。
ノートブックを含むワークフローのスケジュールでは、デフォルトのランタイム仕様が使用されます。スケジュールされたノートブックを含むワークフローの実行中に、BigQuery は、スケジュール作成時に選択した Cloud Storage バケットにノートブック出力を書き込みます。
制限事項
ワークフローには次のような制限があります。
- 既存のノートブックや SQL クエリをワークフローに追加することはできません。ワークフロー タスクを追加するには、ワークフローに新しいノートブックまたは SQL クエリを作成する必要があります。
- 選択したワークフローのアクセス権を他のユーザーに付与することはできません。
- ワークフローは Google Cloud コンソールでのみ使用できます。
- ワークフローの作成後、ワークフローを保存するリージョンは変更できません。詳細については、コードアセットにデフォルトのリージョンを設定するをご覧ください。
サポートされているリージョン
すべてのコードアセットは、コードアセットのデフォルトのリージョンに保存されます。デフォルトのリージョンを更新すると、それ以降に作成されるすべてのコードアセットのリージョンが変更されます。
次の表に、ワークフローを利用できるリージョンの一覧を示します。
| リージョンの説明 | リージョン名 | 詳細 | |
|---|---|---|---|
| アフリカ | |||
| ヨハネスブルグ | africa-south1 |
||
| 南北アメリカ | |||
| コロンバス | us-east5 |
||
| ダラス | us-south1 |
 低 CO2 |
|
| アイオワ | us-central1 |
低 CO2 |
|
| ロサンゼルス | us-west2 |
||
| ラスベガス | us-west4 |
||
| モントリオール | northamerica-northeast1 |
低 CO2 |
|
| 北バージニア | us-east4 |
||
| オレゴン | us-west1 |
低 CO2 |
|
| サンパウロ | southamerica-east1 |
低 CO2
|
|
| サウス カロライナ | us-east1 |
||
| アジア太平洋 | |||
| 香港 | asia-east2 |
||
| ジャカルタ | asia-southeast2 |
||
| ムンバイ | asia-south1 |
||
| ソウル | asia-northeast3 |
||
| シンガポール | asia-southeast1 |
||
| シドニー | australia-southeast1 |
||
| 台湾 | asia-east1 |
||
| 東京 | asia-northeast1 |
||
| ヨーロッパ | |||
| ベルギー | europe-west1 |
低 CO2
|
|
| フランクフルト | europe-west3 |
低 CO2
|
|
| ロンドン | europe-west2 |
低 CO2
|
|
| マドリッド | europe-southwest1 |
低 CO2
|
|
| オランダ | europe-west4 |
低 CO2
|
|
| トリノ | europe-west12 |
||
| チューリッヒ | europe-west6 |
低 CO2
|
|
| 中東 | |||
| ドーハ | me-central1 |
||
| ダンマーム | me-central2 |
||
割り当てと上限
ワークフローは Dataform の割り当てと上限の対象となります。
料金
ワークフロー タスクの実行により、BigQuery でコンピューティングとストレージの料金が発生します。詳細については、BigQuery の料金をご覧ください。
ノートブックを含むワークフローでは、デフォルトのマシンタイプに基づいて Colab Enterprise ランタイムの料金が発生します。料金の詳細については、Colab Enterprise の料金をご覧ください。
BigQuery ワークフローは、実行ごとに Cloud Logging を使用してロギングされます。BigQuery ワークフローの実行では、ロギングが自動的に有効になります。このため、Cloud Logging の料金が発生する場合があります。詳細については、Cloud Logging の料金をご覧ください。
次のステップ
- ワークフローを作成する方法を確認する。
- ワークフローを管理する方法を確認する。