Cloud Scheduler を使用するワークフロー

このドキュメントでは、Google Cloud の次の課金対象のコンポーネントを使用します。

Dataproc
Compute Engine
Cloud Scheduler

料金計算ツールを使うと、予想使用量に基づいて費用の見積もりを生成できます。新しい Google Cloud ユーザーは無料トライアルをご利用いただける場合があります。

準備

プロジェクトを設定する

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

Google Cloud Console の [プロジェクトセレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

プロジェクトセレクタに移動

Google Cloud プロジェクトで課金が有効になっていることを確認します。

Dataproc, Compute Engine, and Cloud Scheduler API を有効にします。

API を有効にする

Google Cloud CLI をインストールします。

gcloud CLI を初期化するには:

gcloud init

Google Cloud Console の [プロジェクトセレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

プロジェクトセレクタに移動

Google Cloud プロジェクトで課金が有効になっていることを確認します。

Dataproc, Compute Engine, and Cloud Scheduler API を有効にします。

API を有効にする

Google Cloud CLI をインストールします。

gcloud CLI を初期化するには:

gcloud init

カスタムの役割を作成する

Google Cloud コンソールで [IAM と管理] → [ロール] ページを開きます。
1. [ロールを作成] をクリックして [ロールの作成] ページを開きます。
2. [タイトル]、[説明]、[ID]、[ロールのリリース段階] の各項目を入力します。提案: ロールのタイトルとして「Dataproc ワークフローテンプレートの作成」を使用します。
3. [権限を追加] をクリックします。
  1. [権限の追加] フォームで、[フィルタ] をクリックして [権限] を選択します。フィルタを完成させて、「Permission: dataproc.workflowTemplates.instantiate」を読み取ります。
  2. 一覧表示されている権限の左側にあるチェックボックスをオンにして、[追加] をクリックします。
4. [ロールの作成] ページで、再度 [権限を追加] をクリックし、前の追加手順を繰り返して「iam.serviceAccounts.actAs」権限をカスタムロールに追加します。[ロールの作成] ページには、2 つの権限が表示されるようになりました。
5. [ロールの作成] ページで [作成] をクリックします。カスタムロールが [ロール] ページに表示されます。

サービスアカウントを作成する

Google Cloud コンソールで、[サービスアカウント] ページに移動します。

[サービスアカウント] に移動
プロジェクトを選択します。
[サービスアカウントを作成] をクリックします。
[サービスアカウント名] フィールドに workflow-scheduler という名前を入力します。 Google Cloud コンソールでは、この名前に基づいて [サービスアカウント ID] フィールドに値が設定されます。
省略可: [サービスアカウントの説明] フィールドに、サービスアカウントの説明を入力します。
[作成して続行] をクリックします。
[ロールを選択] フィールドをクリックし、前の手順で作成した Dataproc ワークフローテンプレートの作成カスタムロールを選択します。
[続行] をクリックします。
[サービスアカウント管理者ロール] フィールドに、Google アカウントのメールアドレスを入力します。
[完了] をクリックして、サービスアカウントの作成を完了します。

ワークフローテンプレートを作成する

ローカルターミナルウィンドウまたは Cloud Shell で以下に表示されているコマンドをコピーして実行し、ワークフローテンプレートを作成して定義します。

注:

このコマンドでは、「us-central1」リージョンを指定しています。以前に gcloud config set compute/region を実行してリージョンプロパティを設定した場合は、別のリージョンを指定するか、--region フラグを削除できます。
add-job コマンドの「-- 」（ダッシュダッシュスペース）の並びにより、1000 引数が SparkPi ジョブに渡されます。この引数は、円周率の値を推定するために使用するサンプルの数を指定するものです。

ワークフローテンプレートを作成します。

gcloud dataproc workflow-templates create sparkpi \
    --region=us-central1

Spark ジョブを Sparkpi ワークフローテンプレートに追加します。step-id の「compute」は必須で、追加された SparkPi ジョブを識別します。

gcloud dataproc workflow-templates add-job spark \
    --workflow-template=sparkpi \
    --step-id=compute \
    --class=org.apache.spark.examples.SparkPi \
    --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
    --region=us-central1 \
    -- 1000

ワークフローを実行するには、マネージドの単一ノードクラスタを使用します。Dataproc によってクラスタが作成され、ワークフローがクラスタ上で実行され、ワークフローの完了時にクラスタが削除されます。
```
gcloud dataproc workflow-templates set-managed-cluster sparkpi \
    --cluster-name=sparkpi \
    --single-node \
    --region=us-central1
```
Google Cloud コンソールの [Dataproc ワークフロー] ページで sparkpi 名をクリックし、[ワークフローテンプレートの詳細] ページを開きます。sparkpi テンプレートの各属性を確認します。

Cloud Scheduler ジョブの作成

Google Cloud コンソールで Cloud Scheduler ページを開きます（ページを開くには、プロジェクトの選択が必要な場合があります）。[ジョブを作成] をクリックします。
次のジョブ情報を入力または選択します。
1. リージョンを選択: 「us-central」など、ワークフローテンプレートを作成したリージョン。
2. 名前: 「sparkpi」
3. 頻度: 「* * * * *」は毎分、「0 9 * * 1」は毎週月曜日の午前 9 時を意味します。Unix の他の cron 値については、ジョブスケジュールの定義をご覧ください。注: Google Cloud コンソールで、Cloud Scheduler の [ジョブ] にある [今すぐ実行] ボタンをクリックすると、設定したジョブを実行する頻度に関係なく、ジョブを実行してテストできます。
4. タイムゾーン: timezone を選択します。「アメリカ合衆国」と入力すると、米国のタイムゾーンが表示されます。
5. ターゲット: 「HTTP」
6. URL:your-project-id を挿入した後、次の URL を挿入します。別のリージョンでワークフローテンプレートを作成した場合は、「us-central1」に置き換えます。この URL は、Dataproc workflowTemplates.instantiate API を呼び出して、sparkpi ワークフローテンプレートを実行します。
```
https://dataproc.googleapis.com/v1/projects/your-project-id/regions/us-central1/workflowTemplates/sparkpi:instantiate?alt=json
```
7. HTTP メソッド:
  1. "POST"
  2. Body: 「{}」
    スケジュールされたジョブがパラメータ化されたワークフローを実行する場合、本文の JSON ペイロードを使用してパラメータをワークフローに渡すことができます。
```
{"parameters": {"PARAMETER_NAME": "VALUE"}}
```
8. Auth ヘッダー:
  1. "Add OAuth token"
  2. サービスアカウント: このチュートリアルで作成したサービスアカウントの service account address を挿入します。your-project-id を変えて次のアカウントアドレスを使用できます。
```
workflow-scheduler@your-project-id.iam.gserviceaccount
```
  3. 範囲: この項目は無視できます。
9. [作成] をクリックします。

スケジュールされたワークフロージョブをテストする

Cloud Scheduler の [ジョブ] ページの sparkpi ジョブの行で、[今すぐ実行] をクリックします。
数分待った後、Dataproc の [ワークフロー] ページを開いて、sparkpi ワークフローが完了したことを確認します。
ワークフローがマネージドクラスタを削除すると、Google Cloud コンソールにはジョブの詳細が表示されます。Dataproc の [ジョブ] ページに表示されているcompute...ジョブをクリックして、ワークフロージョブの詳細を表示します。

クリーンアップ

このチュートリアルのワークフローでは、ワークフローが完了するとマネージドクラスタが削除されます。ワークフローを維持すると、ワークフローを再実行でき、料金は発生しません。このチュートリアルで作成した他のリソースを削除して、繰り返しコストが発生しないようにすることが可能です。

プロジェクトの削除

注意: プロジェクトを削除すると、次のような影響があります。

プロジェクト内のすべてのものが削除されます。このドキュメントのタスクで既存のプロジェクトを使用した場合、それを削除すると、そのプロジェクトで行った他の作業もすべて削除されます。
カスタムプロジェクト ID が失われます。このプロジェクトを作成したときに、将来使用するカスタムプロジェクト ID を作成した可能性があります。そのプロジェクト ID を使用した URL（たとえば、appspot.com）を保持するには、プロジェクト全体ではなくプロジェクト内の選択したリソースだけを削除します。

複数のアーキテクチャ、チュートリアル、クイックスタートを実施する予定がある場合は、プロジェクトを再利用すると、プロジェクトの割り当て上限を超えないようにすることができます。

In the Google Cloud console, go to the Manage resources page.
Go to Manage resources
In the project list, select the project that you want to delete, and then click Delete.
In the dialog, type the project ID, and then click Shut down to delete the project.

ワークフローテンプレートの削除

gcloud dataproc workflow-templates delete sparkpi \
    --region=us-central1

Cloud のスケジュールされたジョブの削除

Google Cloud コンソールで Cloud Scheduler の [ジョブ] ページを開き、sparkpi 関数の左側にあるボックスをオンにして、[削除] をクリックします。

サービスアカウントの削除

Google Cloud コンソールで [IAM と管理] → [サービスアカウント] ページを開き、workflow-scheduler... サービスアカウントの左側にあるボックスを選択して、[削除] をクリックします。

次のステップ

Dataproc ワークフローテンプレートの概要を確認する
ワークフローのスケジューリングソリューションを確認する