Cloud Data Fusion のシステム、インスタンス、パイプラインの状態をモニタリングする

このガイドでは、Monitoring の Cloud Data Fusion モニタリング ダッシュボードを使用して Cloud Data Fusion インスタンスとパイプラインをモニタリングする方法について説明します。

Cloud Data Fusion ダッシュボードには、主要な指標のカスタマイズ可能なビューが表示されます。これらの指標を Monitoring で直接表示すると、指標のフィルタリングと集計をカスタマイズできます。

ダッシュボードには次のビューが表示されます。

  • 概要: Cloud Data Fusion システムの指標とログをモニタリングします。
  • インスタンス: プロジェクト内のすべての Cloud Data Fusion インスタンスをモニタリングします。
  • パイプライン: パイプラインの実行とパフォーマンスに関する情報を提供します。

任意のビューの指標の詳細については、ウィジェットにカーソルを合わせて [その他 > Metrics Explorer で表示] をクリックします。

始める前に

料金

Cloud Monitoring の使用には料金が発生します。詳細については、Google Cloud Observability の料金をご覧ください。

必要なロール

指標を表示するために必要な権限を取得するには、プロジェクトに対するモニタリング閲覧者 （roles/monitoring.viewer）IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

インスタンス ビュー ウィジェット

次の表に、[インスタンス] ビューのウィジェットを示します。

ウィジェット 説明
同時実行中のパイプライン数 同時に実行されているパイプラインの数。
起動済みの同時実行パイプライン数 プロビジョニング状態または開始状態のパイプラインの数。
受信した API リクエスト数 受信した API リクエストの累積数。
API レスポンス数 送信された API レスポンスの累積数。
承認チェック数 承認チェックの累積数。
承認チェック時間 認可チェックのレイテンシ。
デプロイしたパイプライン数 デプロイされたパイプラインの数。
ドラフト パイプラインの数 下書きパイプラインの数。
名前空間の数 Namespace の数。

パイプライン ビュー ウィジェット

次の表に、パイプライン ビューのウィジェットを示します。

ウィジェット 説明
成功したパイプライン実行 パイプラインの実行が成功した累積数。
失敗したパイプライン実行 失敗したパイプライン実行の累積数。
強制終了したパイプライン実行 強制終了されたパイプライン実行の累積数。
拒否されたパイプライン実行 拒否されたパイプライン実行の累積数。
正常に完了したパイプラインの実行時間 パイプラインの実行が正常に完了するまでに要した時間。
パイプライン開始のレイテンシ パイプライン実行が「実行中」状態になるまでに要した時間。
Dataproc プロビジョニングのレイテンシ Dataproc クラスタのプロビジョニングにかかった時間。
Dataproc API リクエスト数 Dataproc に対して行われた API リクエストの累積数。
プレビューの実行時間（成功） プレビューの実行が正常に完了するまでに要した時間。
プレビューの実行 プレビュー実行の数。
パイプラインの読み取りバイト数 パイプラインによって読み取られた累積バイト数。
パイプラインの書き込みバイト数 パイプラインによって書き込まれた累積バイト数。
パイプラインのシャッフルされたバイト数 パイプラインでシャッフルされたバイトの累積数。
処理されるプラグイン レコード数 プラグインに入力されたレコードの累積数。
処理済みのプラグイン レコード数 プラグインを終了したレコードの累積数。

指標を表示してフィルタする

Monitoring で指標を直接表示してフィルタリングします。

  1. Google Cloud コンソールで、Metrics Explorer のページに移動します。

    Metrics Explorer に移動

  2. Cloud Data Fusion モニタリング対象リソースを選択します。

  3. 指標を選択します。

  4. フィルタと集計を選択します。

次のステップ