Cloud Functions を使用するワークフロー

始める前に

まだ設定していない場合は、Google Cloud プロジェクトと 2 つの Cloud Storage バケットを設定します。

プロジェクトを設定する

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

Google Cloud Console の [プロジェクトセレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

プロジェクトセレクタに移動

Google Cloud プロジェクトで課金が有効になっていることを確認します。

Dataproc, Compute Engine, Cloud Storage, and Cloud Functions API を有効にします。

API を有効にする

Google Cloud CLI をインストールします。

gcloud CLI を初期化するには:

gcloud init

Google Cloud Console の [プロジェクトセレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

プロジェクトセレクタに移動

Google Cloud プロジェクトで課金が有効になっていることを確認します。

Dataproc, Compute Engine, Cloud Storage, and Cloud Functions API を有効にします。

API を有効にする

Google Cloud CLI をインストールします。

gcloud CLI を初期化するには:

gcloud init

プロジェクトで 2 つの Cloud Storage バケットを作成または使用する

プロジェクトには、入力ファイル用と出力ファイル用の 2 つの Cloud Storage バケットが必要です。

Google Cloud コンソールで、Cloud Storage の [バケット] ページに移動します。
[バケット] ページに移動
[バケットを作成] をクリックします。
[バケットの作成] ページでユーザーのバケット情報を入力します。次のステップに進むには、[続行] をクリックします。
- [バケットに名前を付ける] で、バケット名の要件を満たす名前を入力します。
- [データの保存場所の選択] で、次の操作を行います。
  - [ロケーションタイプ] オプションを選択します。
  - [ロケーション] オプションを選択します。
- [データのデフォルトのストレージクラスを選択する] で、ストレージクラスを選択します。
- [オブジェクトへのアクセスを制御する方法を選択する] で [アクセス制御] オプションを選択します。
- [詳細設定（省略可）] には、暗号化メソッド、保持ポリシー、またはバケットラベルを指定します。
[作成] をクリックします。

ワークフローテンプレートを作成する

ローカルターミナルウィンドウまたは Cloud Shell で以下に表示されているコマンドをコピーして実行し、ワークフローテンプレートを作成して定義します。

注:

このコマンドでは、「us-central1」リージョンを指定しています。以前に gcloud config set compute/region を実行してリージョンプロパティを設定した場合は、別のリージョンを指定するか、--region フラグを削除できます。
「-- 」（ダッシュ、ダッシュ、スペース）シーケンスは、jar ファイルに引数を渡します。wordcount input_bucket output_dir コマンドは、Cloud Storage input_bucket に含まれるテキストファイルに対して、jar のワードカウントアプリケーションを実行し、ワードカウントファイルを output_bucket に出力します。関数でこの引数を指定できるように、ワードカウントの入力バケット引数をパラメータ化します。

ワークフローテンプレートを作成します。

gcloud dataproc workflow-templates create wordcount-template \
    --region=us-central1

ワードカウントジョブをワークフローテンプレートに追加します。
1. コマンドを実行する前に output-bucket-name を指定します（関数は入力バケットを提供します）。出力バケット名を挿入すると、出力バケット引数は gs://your-output-bucket/wordcount-output" のようになります。
2. 「count」ステップ ID は必須です。追加された Hadoop ジョブを識別します。
```
gcloud dataproc workflow-templates add-job hadoop \
    --workflow-template=wordcount-template \
    --step-id=count \
    --jar=file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
    --region=us-central1 \
    -- wordcount gs://input-bucket gs://output-bucket-name/wordcount-output
```
ワークフローを実行するには、マネージドの単一ノードクラスタを使用します。Dataproc によってクラスタが作成され、ワークフローがクラスタ上で実行され、ワークフローの完了時にクラスタが削除されます。
```
gcloud dataproc workflow-templates set-managed-cluster wordcount-template \
    --cluster-name=wordcount \
    --single-node \
    --region=us-central1
```
Google Cloud コンソールの [Dataproc ワークフロー] ページで wordcount-template 名をクリックし、[ワークフローテンプレートの詳細] ページを開きます。「wordcount-template」属性を確認します。

ワークフローテンプレートをパラメータ化する

ワークフローテンプレートに渡す入力バケット変数をパラメータ化します。

パラメータ化のために、ワークフローテンプレートを wordcount.yaml テキストファイルにエクスポートします。
```
gcloud dataproc workflow-templates export wordcount-template \
    --destination=wordcount.yaml \
    --region=us-central1
```
テキストエディタを使用して wordcount.yaml を開き、ワークフローがトリガーされた際に、ワードカウントバイナリに args[1] として Cloud Storage の INPUT_BUCKET_URI が渡されるようにするため、YAML ファイルの末尾に parameters ブロックを追加します。
エクスポートされた YAML ファイルの例を以下に示します。テンプレートを更新する方法は次の 2 つがあります。このうちの 1 つを選びます。
1. your-output_bucket を出力バケット名に置き換えたあと、エクスポートした wordcount.yaml を置き換えるため、ファイル全体をコピーして貼り付けます。
2. エクスポートした wordcount.yaml ファイルの末尾に、parameters セクションのみをコピーして貼り付けます。
```
jobs:
- hadoopJob:
    args:
    - wordcount
    - gs://input-bucket
    - gs://your-output-bucket/wordcount-output
    mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
  stepId: count
placement:
  managedCluster:
    clusterName: wordcount
    config:
      softwareConfig:
        properties:
          dataproc:dataproc.allow.zero.workers: 'true'
parameters:
- name: INPUT_BUCKET_URI
  description: wordcount input bucket URI
  fields:
  - jobs['count'].hadoopJob.args[1]
```
パラメータ化された wordcount.yaml テキストファイルをインポートします。テンプレートを上書きするように求められたら、「Y」（Yes の Y）を入力します。
```
gcloud dataproc workflow-templates import  wordcount-template \
    --source=wordcount.yaml \
    --region=us-central1
```

関数を作成する

Google Cloud コンソールで [Cloud Functions] ページを開き、[関数の作成] をクリックします。
[関数の作成] ページで、次の情報を入力または選択します。
1. [名前]: wordcount
2. [メモリ割り当て]: デフォルトの選択のままにします。
3. [トリガー]:
  - クラウドストレージ
  - [イベントタイプ]: 確定 / 作成
  - [バケット]: 入力バケットを選択します（プロジェクトで Cloud Storage バケットを作成するを参照）。このバケットにファイルが追加されると、この関数はワークフローをトリガーします。ワークフローでワードカウントアプリケーションが実行され、バケット内のすべてのテキストファイルが処理されます。
4. ソースコード:
  - インラインエディタ
  - [ランタイム]: Node.js 8
  - [INDEX.JS タブ]: デフォルトのコードスニペットを、次のコードに置き換えます。そして、-your-project-id-（先頭または末尾に「-」がないもの）を指定するように const projectId 行を編集します。
```
const dataproc = require('@google-cloud/dataproc').v1;

exports.startWorkflow = (data) => {
 const projectId = '-your-project-id-'
 const region = 'us-central1'
 const workflowTemplate = 'wordcount-template'

const client = new dataproc.WorkflowTemplateServiceClient({
   apiEndpoint: `${region}-dataproc.googleapis.com`,
});

const file = data;
console.log("Event: ", file);

const inputBucketUri = `gs://${file.bucket}/${file.name}`;

const request = {
  name: client.projectRegionWorkflowTemplatePath(projectId, region, workflowTemplate),
  parameters: {"INPUT_BUCKET_URI": inputBucketUri}
};

client.instantiateWorkflowTemplate(request)
  .then(responses => {
    console.log("Launched Dataproc Workflow:", responses[1]);
  })
  .catch(err => {
    console.error(err);
  });
};
```
  - [PACKAGE.JSON タブ]: デフォルトのコードスニペットを、次のコードに置き換えます。
```
{
  "name": "dataproc-workflow",
  "version": "1.0.0",
  "dependencies":{ "@google-cloud/dataproc": ">=1.0.0"}
}
```
  - 実行する関数: 「startWorkflow」を挿入します。
5. [作成] をクリックします。

関数をテストする

公開ファイル rose.txt をバケットにコピーして、関数をトリガーします。コマンドに your-input-bucket-name（関数のトリガーに使用されるバケット）を挿入します。
```
gsutil cp gs://pub/shakespeare/rose.txt gs://your-input-bucket-name
```
30 秒待ってから、次のコマンドを実行して関数が正常に完了したことを確認します。
```
gcloud functions logs read wordcount
```
```
...
Function execution took 1348 ms, finished with status: 'ok'
```
Google Cloud コンソールの [関数リスト] ページから関数ログを表示するには、wordcount 関数名をクリックし、[関数の詳細] ページで [ログを表示] をクリックします。
出力バケットの wordcount-output フォルダは、Google Cloud コンソールの [ストレージブラウザ] ページから表示できます。

注: wordcount-output フォルダが存在する場合、wordcount ジョブは失敗します。関数を再トリガーしてワークフローを再実行する前に、出力バケットの wordcount-output フォルダを削除します。。
ワークフローが完了すると、ジョブの詳細は Google Cloud コンソールに残ります。Dataproc の [ジョブ] ページに表示されているcount...ジョブをクリックして、ワークフロージョブの詳細を表示します。

クリーンアップ

このチュートリアルのワークフローでは、ワークフローが完了するとマネージドクラスタが削除されます。繰り返し費用が発生しないようにするには、このチュートリアルに関連する他のリソースを削除します。

プロジェクトの削除

注意: プロジェクトを削除すると、次のような影響があります。

プロジェクト内のすべてのものが削除されます。このドキュメントのタスクで既存のプロジェクトを使用した場合、それを削除すると、そのプロジェクトで行った他の作業もすべて削除されます。
カスタムプロジェクト ID が失われます。このプロジェクトを作成したときに、将来使用するカスタムプロジェクト ID を作成した可能性があります。そのプロジェクト ID を使用した URL（たとえば、appspot.com）を保持するには、プロジェクト全体ではなくプロジェクト内の選択したリソースだけを削除します。

複数のアーキテクチャ、チュートリアル、クイックスタートを実施する予定がある場合は、プロジェクトを再利用すると、プロジェクトの割り当て上限を超えないようにすることができます。

Google Cloud コンソールで、[リソースの管理] ページに移動します。
[リソースの管理] に移動
プロジェクトリストで、削除するプロジェクトを選択し、[削除] をクリックします。
ダイアログでプロジェクト ID を入力し、[シャットダウン] をクリックしてプロジェクトを削除します。

Cloud Storage バケットの削除

Google Cloud コンソールで、Cloud Storage の [バケット] ページに移動します。
[バケット] に移動
削除するバケットのチェックボックスをクリックします。
バケットを削除するには、 [削除] をクリックして、指示に沿って操作します。

ワークフローテンプレートの削除

gcloud dataproc workflow-templates delete wordcount-template \
    --region=us-central1

Cloud Functions の関数の削除

Google Cloud コンソールで Cloud Functions ページを開き、wordcount 関数の左側にあるボックスを選択して、[削除] をクリックします。

次のステップ

Dataproc ワークフローテンプレートの概要を確認する
ワークフローのスケジューリングソリューションを確認する