Cloud Monitoring を使用してパイプライン モニタリング ダッシュボードを作成する

Cloud Monitoring を使用してパイプライン モニタリング ダッシュボードを作成する

Cloud Monitoring を使用してパイプラインをモニタリングするためのダッシュボードを作成する方法を学習します。

---

このタスクの手順をガイドに沿って Google Cloud コンソールで直接行う場合は、「ガイドを表示」をクリックしてください。

ガイドを表示

---

準備

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.

   Enable the APIs

7. カスタム ダッシュボードを作成するには、サービス アカウントに対するモニタリング編集者（roles/monitoring.editor）の IAM ロールが付与されている必要があります。

   ロールの付与の詳細については、アクセスの管理をご覧ください。

Cloud Logging を有効にした Cloud Data Fusion インスタンスを作成する

Cloud Data Fusion パイプラインで Cloud Logging を使用するには、Cloud Logging を有効にした Cloud Data Fusion インスタンスを作成します。

1. Cloud Data Fusion の [Instances] ページに移動し、[Create instance] をクリックします。

   インスタンスを作成する

2. [Instance name] フィールドに、新しいインスタンスの名前を入力します。

3. [Region] プルダウンから、インスタンスを作成する Google Cloud リージョンを選択します。

4. [Version] プルダウンから Cloud Data Fusion のバージョンを選択します。

5. [Edition] を選択します。

6. [詳細オプション] を開きます。

7. [Logging and monitoring] セクションで、[Enable Stackdriver logging service] を選択します。

8. [作成] をクリックします。

インスタンスを作成した後に Google Cloud コンソールで Cloud Logging を有効にすることはできません。

ログベースの指標の作成

1. Cloud Logging の [ログベースの指標] ページに移動します。

   [ログベースの指標] に移動

2. [指標を作成] をクリックします。

3. [指標の作成] ページで、次の操作を行います。

   1. [指標タイプ] で [カウンタ] を選択します。
   2. [ログベースの指標の名前] フィールドに「pipeline_logs」と入力します。
   3. [単位] フィールドに「1」と入力します。

   4. [フィルタの作成] フィールドに、次のように入力します。

      resource.type="cloud_dataproc_cluster"
      log_name=~"projects/.*/logs/datafusion-pipeline-logs"
      

   5. [ラベル] セクションで [ラベルを追加] をクリックし、次のラベルを作成します。各ラベルを入力したら、[完了] をクリックし、もう一度 [ラベルを追加] をクリックして次のラベルを作成します。

      ラベル名	ラベル タイプ	フィールド名
      Project	STRING	resource.labels.project_id
      Message	STRING	jsonPayload.message
      LoggerName	STRING	labels.loggerName
      ClusterName	STRING	resource.labels.cluster_name
      SparkPhase	STRING	labels.".workflowSparkId"
      Region	STRING	resource.labels.region
      Pipeline	STRING	labels.".applicationId"
      RunId	STRING	labels.".runId"
      Namespace	STRING	labels.".namespaceId"
      LogLevel	STRING	labels.levelName

   6. [指標を作成] をクリックします。

      新しく作成された指標がユーザー定義指標テーブルに表示されます。指標がすぐに表示されない場合は、ページを更新します。

      ダッシュボードには、次のグラフが含まれています。

      • すべてのパイプライン
      • 完了したパイプライン
      • 失敗したパイプライン
      • すべてのパイプライン実行
      • 完了したパイプライン実行
      • 失敗したパイプライン実行
      • 実行用の Dataproc クラスタ

      指標の作成後、時系列データが表示されるまでに 24 時間ほどかかる場合があります。

ダッシュボードをインストールする

1. ローカルマシンに JSON ファイルをダウンロードします。

2. Cloud Monitoring の [ダッシュボード] ページに移動します。

   [Monitoring ダッシュボード] に移動

3. [CREATE DASHBOARD] をクリックします。

4. [ ダッシュボードの設定] > [JSON] > [JSON エディタ] の順にクリックします。

5. テキスト エディタで、ダウンロードした JSON ファイルを開きます。

6. ダウンロードした JSON ファイルの内容をコピーして JSON エディタに貼り付け、JSON エディタにデフォルトで含まれるコンテンツを置き換えます。

7. [変更を適用] をクリックします。

   これにより、ダッシュボードが更新されます。Cloud Data Fusion パイプラインは指標の作成後に実行され、ダッシュボードに表示されます。指標の作成後にパイプラインが実行されなかった場合、ダッシュボードは空になります。

8. 自動保存はデフォルトで有効になっています。自動保存が無効になっている場合は、[保存] をクリックしてダッシュボードを保存します。

9. [エディタを閉じる] をクリックします。

   新しいダッシュボードが [Monitoring の概要] ページのダッシュボードのリストに表示されます。

クリーンアップ

このページで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、次の操作を行います。

Cloud Data Fusion インスタンスを削除する

手順に従って Cloud Data Fusion インスタンスを削除します。

プロジェクトの削除

課金をなくす最も簡単な方法は、チュートリアル用に作成したプロジェクトを削除することです。

プロジェクトを削除するには:

注意: プロジェクトを削除すると、次のような影響があります。

• プロジェクト内のすべてのものが削除されます。このドキュメントのタスクで既存のプロジェクトを使用した場合、それを削除すると、そのプロジェクトで行った他の作業もすべて削除されます。
• カスタム プロジェクト ID が失われます。このプロジェクトを作成したときに、将来使用するカスタム プロジェクト ID を作成した可能性があります。そのプロジェクト ID を使用した URL（たとえば、appspot.com）を保持するには、プロジェクト全体ではなくプロジェクト内の選択したリソースだけを削除します。

複数のアーキテクチャ、チュートリアル、クイックスタートを実施する予定がある場合は、プロジェクトを再利用すると、プロジェクトの割り当て上限を超えないようにすることができます。

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

次のステップ

• Cloud Monitoring の詳細について確認する。