Cloud Monitoring を使用してパイプライン モニタリング ダッシュボードを作成する

Cloud Monitoring を使用してパイプラインをモニタリングするダッシュボードを作成する方法について学習します。

このタスクの手順をガイドに沿って Google Cloud コンソールで直接行う場合は、「ガイドを表示」をクリックしてください。

ガイドを表示

準備

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

    プロジェクト セレクタに移動

  3. Google Cloud プロジェクトで課金が有効になっていることを確認します。

  4. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

    プロジェクト セレクタに移動

  5. Google Cloud プロジェクトで課金が有効になっていることを確認します。

  6. Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc API を有効にします。

    API を有効にする

  7. カスタム ダッシュボードを作成するには、サービス アカウントに対するモニタリング編集者（roles/monitoring.editor）の IAM ロールを付与する必要があります。

    ロールの付与の詳細については、アクセスの管理をご覧ください。

Cloud Logging を有効にした Cloud Data Fusion インスタンスを作成する

Cloud Data Fusion パイプラインで Cloud Logging を使用するには、Cloud Logging を有効にして Cloud Data Fusion インスタンスを作成します。

  1. Cloud Data Fusion の [Instances] ページに移動し、[Create instance] をクリックします。

    インスタンスを作成する

  2. [Instance name] フィールドに、新しいインスタンスの名前を入力します。

  3. [Region] プルダウンから、インスタンスを作成する Google Cloud リージョンを選択します。

  4. [Version] プルダウンから Cloud Data Fusion のバージョンを選択します。

  5. [Edition] を選択します。

  6. [詳細オプション] を開きます。

  7. [Logging and monitoring] セクションで、[Enable Stackdriver logging service] を選択します。

  8. [作成] をクリックします。

インスタンスを作成した後、Google Cloud コンソールで Cloud Logging を有効にすることはできません。

ログベースの指標の作成

  1. Cloud Logging の [ログベースの指標] ページに移動します。

    [ログベースの指標] に移動

  2. [指標を作成] をクリックします。

  3. [指標の作成] ページで、次の操作を行います。

    1. [指標タイプ] で [カウンタ] を選択します。
    2. [ログベースの指標の名前] フィールドに「pipeline_logs」と入力します。
    3. [単位] フィールドに「1」と入力します。

    4. [フィルタの作成] フィールドに、次のように入力します。

      resource.type="cloud_dataproc_cluster"
log_name=~"projects/.*/logs/datafusion-pipeline-logs"

    5. [ラベル] セクションで [ラベルを追加] をクリックし、次のラベルを作成します。各ラベルを入力したら、[完了] をクリックし、もう一度 [ラベルを追加] をクリックして次のラベルを作成します。

      ラベル名 ラベル タイプ フィールド名
      Project STRING resource.labels.project_id
      Message STRING jsonPayload.message
      LoggerName STRING labels.loggerName
      ClusterName STRING resource.labels.cluster_name
      SparkPhase STRING labels.".workflowSparkId"
      Region STRING resource.labels.region
      Pipeline STRING labels.".applicationId"
      RunId STRING labels.".runId"
      Namespace STRING labels.".namespaceId"
      LogLevel STRING labels.levelName

    6. [指標を作成] をクリックします。

      新しく作成された指標がユーザー定義指標テーブルに表示されます。指標がすぐに表示されない場合は、ページを更新します。

      ダッシュボードには、次のグラフが含まれています。

      • すべてのパイプライン
      • 完了したパイプライン
      • 失敗したパイプライン
      • すべてのパイプライン実行
      • 完了したパイプライン実行
      • 失敗したパイプライン実行
      • 実行用の Dataproc クラスタ

      指標が作成されてから時系列データを表示するまでに、最大で 24 時間かかることがあります。

ダッシュボードをインストールする

  1. ローカルマシンに JSON ファイルをダウンロードします。

  2. Cloud Monitoring の [ダッシュボード] ページに移動します。

    [Monitoring ダッシュボード] に移動

  3. [CREATE DASHBOARD] をクリックします。

  4. [ダッシュボードの設定] > [JSON] > [JSON エディタ] をクリックします。

  5. テキスト エディタで、ダウンロードした JSON ファイルを開きます。

  6. ダウンロードした JSON ファイルの内容をコピーし、JSON エディタに貼り付けます。その際、JSON エディタがデフォルトで含まれている内容を置き換えます。

  7. [変更を適用] をクリックします。

    これにより、ダッシュボードが更新されます。指標の作成後に実行される Cloud Data Fusion パイプラインがダッシュボードに表示されます。指標の作成後にパイプラインが実行されなかった場合、ダッシュボードは空になります。

  8. 自動保存はデフォルトで有効になっています。自動保存が無効になっている場合は、[保存] をクリックしてダッシュボードを保存します。

  9. [エディタを閉じる] をクリックします。

    新しいダッシュボードが [Monitoring の概要] ページのダッシュボードのリストに表示されます。

クリーンアップ

このページで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、次の操作を行います。

Cloud Data Fusion インスタンスを削除する

手順に従って Cloud Data Fusion インスタンスを削除します。

プロジェクトの削除

課金をなくす最も簡単な方法は、チュートリアル用に作成したプロジェクトを削除することです。

プロジェクトを削除するには:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

次のステップ