データ準備をスケジュールする
このドキュメントでは、データ準備パイプラインのスケジュールを設定し、手動で実行する方法について説明します。
データ準備は Dataform を使って行います。各データ準備のスケジュールは、Google アカウントのユーザー認証情報またはスケジュールまたはテスト実行を構成するときに選択した Dataform サービス アカウントを使用して実行されます。
データ準備ステップに加えた変更は自動保存されません。その変更をスケジュールで実行するには、変更を保存してデプロイする必要があります。スケジュールでは、常にデプロイされた最新バージョンのデータ準備が実行されます。開発中のデプロイされていない変更は実行されません。
始める前に
始める前に、データ準備を作成します。
必要なロール
開発環境でデータ準備を手動で実行する場合や、データ準備をスケジュールする場合に、サービス アカウントでデータ準備を認可するには、データ準備の実行に使用するサービス アカウントにロールを付与する必要があります。詳細については、Dataform サービス アカウントにアクセス権を付与するをご覧ください。
データ準備を開発する
データ準備の開発時には、変更を本番環境にデプロイする前に、手順を手動で実行して、出力を検査することができます。現在開発中のバージョンをデータでテストできます。その間、BigQuery では、スケジュールに従って、デプロイ済みの最新バージョンを引き続き実行します。データ準備を実行する前に、宛先を構成し、検証エラーを修正する必要があります。
開発環境でデータ準備を手動で実行する
データ準備の手順をテストし、宛先テーブルの結果を検証するには、データ準備をデータ準備エディタから手動で実行します。
Google Cloud コンソールで、[BigQuery] ページに移動します。
[エクスプローラ] ペインで、プロジェクトと [データ準備] フォルダを開きます。実行するデータ準備の名前をクリックします。
データ準備エディタのツールバーで、[その他] > [今すぐ実行エクスペリエンスを構成] をクリックします。
[認証] セクションで、Google アカウントのユーザー認証情報またはサービス アカウントを使用してデータ準備を認可します。
- Google アカウントのユーザー認証情報（プレビュー）を使用するには、[自分のユーザー認証情報で実行] を選択します。これはデフォルトのオプションです。
- サービス アカウントを使用するには、[選択したサービス アカウントで実行] を選択し、サービス アカウントを選択します。サービス アカウントに追加の権限が必要な場合は、[すべて付与] をクリックして必要なロールを付与します。
[保存] をクリックします。
表示された検証エラーを修正します。
データ準備エディタのツールバーで [実行] をクリックします。
[今すぐ実行] ダイアログで [確認] をクリックして、この手動実行で宛先テーブルにデータが書き込まれることを確認します。このテーブルは、スケジュール設定された実行でも使用できます。
認証方法に [自分のユーザー認証情報で実行] を選択した場合は、Google アカウントを認可する必要があります（プレビュー）。
実行すると、ステップが実行され、出力が宛先に読み込まれます。
省略可: 実行が完了すると、[実行] ペインに実行の詳細が表示されます。
データ準備をデプロイする
データ準備のバージョンの実行をスケジュールするには、まずそのバージョンをデプロイする必要があります。スケジュールでは、最新のデプロイ済みバージョンが実行されます。
データ準備をデプロイする手順は次のとおりです。
Google Cloud コンソールで、[BigQuery] ページに移動します。
[エクスプローラ] ペインで、プロジェクトと [データ準備] フォルダを開きます。選択したデータ準備の名前をクリックします。
データ準備エディタが開きます。
データ準備エディタのツールバーで [デプロイ] をクリックします。
スケジュールを作成
デプロイされたデータ準備の手順を実行し、準備されたデータを宛先テーブルに読み込むスケジュールを作成するには、まずデータ準備の実行をスケジュールする必要があります。実行をスケジュールするには、宛先を構成し、検証エラーを修正する必要があります。
データ準備のスケジュールを作成する手順は次のとおりです。
[エクスプローラ] ペイン
Google Cloud コンソールで、[BigQuery] ページに移動します。
[エクスプローラ] ペインで、プロジェクトと [データ準備] フォルダを開きます。スケジュールするデータ準備の名前をクリックします。
データ準備エディタのツールバーで [スケジュール] をクリックします。
スケジュールの名前を入力します。
[認証] セクションで、Google アカウントのユーザー認証情報またはサービス アカウントを使用してデータ準備を認可します。
- Google アカウントのユーザー認証情報（プレビュー）を使用するには、[自分のユーザー認証情報で実行] を選択します。
- サービス アカウントを使用するには、[選択したサービス アカウントで実行] を選択し、サービス アカウントを選択します。
頻度を設定します。
[スケジュールを作成] をクリックします。認証方法に [自分のユーザー認証情報で実行] を選択した場合は、Google アカウントを認可する必要があります（プレビュー）。
[スケジュール設定] ページ
Google Cloud コンソールで [スケジュール設定] ページに移動します。
[作成] をクリックし、メニューから [データ準備のスケジュール] を選択します。
[データ準備のスケジュール設定] ペインの [データ準備] フィールドで、スケジュールを設定するデータ準備を選択します。
[スケジュール名] フィールドに、スケジュールの名前を入力します。
[認証] セクションで、Google アカウントのユーザー認証情報またはサービス アカウントを使用してデータ準備を認可します。
- Google アカウントのユーザー認証情報（プレビュー）を使用するには、[自分のユーザー認証情報で実行] を選択します。
- サービス アカウントを使用するには、[選択したサービス アカウントで実行] を選択し、サービス アカウントを選択します。
[スケジュールの頻度] セクションで、次の操作を行います。
- [繰り返し] メニューで、データ準備の実行頻度を選択します。
- [時刻] フィールドに、データ準備の実行スケジュールを設定する時刻を入力します。
- [タイムゾーン] メニューで、スケジュールのタイムゾーンを選択します。
[スケジュールを作成] をクリックします。認証方法に [自分のユーザー認証情報で実行] を選択した場合は、Google アカウントを認可する必要があります（プレビュー）。
Google アカウントを認可する
Google アカウントのユーザー認証情報でリソースを認証するには、BigQuery パイプラインが Google アカウントのアクセス トークンを取得し、ユーザーに代わってソースデータにアクセスするための権限を手動で付与する必要があります。OAuth ダイアログ インターフェースで、手動で承認できます。
BigQuery パイプラインに権限を付与する必要があるのは 1 回のみです。
付与した権限を取り消すには、次の手順に沿って操作します。
- Google アカウント ページにアクセスします。
- [BigQuery パイプライン] をクリックします。
- [アクセス権を削除] をクリックします。
新しい Google アカウントのオーナーが以前にスケジュールを作成したことがない場合、認証情報を更新してデータ準備のスケジュール オーナーを変更するには、手動での承認が必要になります。
スケジュールされたデータ準備を手動で実行する
選択したスケジュールでデータ準備を手動で実行すると、BigQuery ではスケジュールとは別に、データ準備が 1 回実行されます。
スケジュールされたデータ準備を手動で実行する手順は次のとおりです。
Google Cloud コンソールで [スケジュール設定] ページに移動します。
選択したデータ準備のスケジュールの名前をクリックします。
[スケジュールの詳細] ページで [実行] をクリックします。
スケジュールを表示する
データ準備のスケジュールは、データ準備エディタまたは [スケジュール設定] ページで確認できます。
データ準備エディタ
データ準備のスケジュールを表示する手順は次のとおりです。
- データ準備エディタのツールバーで、スケジュール [スケジュールを見る] をクリックします。
- 省略可: スケジュールの履歴を表示するには、[過去の実行を表示] をクリックします。
[スケジュール設定] ページ
プロジェクト内のすべてのデータ準備スケジュールを表示する手順は次のとおりです。
Google Cloud コンソールで [スケジュール設定] ページに移動します。
省略可: 選択したスケジュールの実行履歴と詳細を表示するには、スケジュールの名前をクリックします。手動実行の履歴は表示されません。
スケジュールを編集する
スケジュールは、データ準備エディタまたは [スケジュール設定] ページで編集できます。
データ準備エディタ
スケジュールを編集する手順は次のとおりです。
- データ準備エディタのツールバーで、スケジュール [スケジュールを見る] をクリックします。
- [データ準備のスケジュール] ダイアログで [編集] をクリックし、スケジュールを更新します。
- [スケジュールを更新] をクリックします。
[スケジュール設定] ページ
スケジュールを編集する手順は次のとおりです。
Google Cloud コンソールで [スケジュール設定] ページに移動します。
選択したデータ準備のスケジュールの名前をクリックします。
[スケジュールの詳細] ページで、[編集] をクリックします。
[スケジュールを表示] をクリックします。
[データ準備のスケジュール] ダイアログで [編集] をクリックし、スケジュールを更新します。
[スケジュールを更新] をクリックします。
スケジュールを削除する
選択したデータ準備のスケジュールを完全に削除する手順は次のとおりです。
Google Cloud コンソールで [スケジュール設定] ページに移動します。
スケジュールを含む行で、more_vert [アクション] > [削除] をクリックします。
次のステップ
- データ準備の作成方法について学習する。
- 詳しくは、データ準備を管理するをご覧ください。