このページでは、Cloud Data Fusion インスタンスとパイプラインの健全性とパフォーマンスのモニタリングに役立つ指標について説明します。Cloud Monitoring を使用してこれらの指標をモニタリングします。指標は、パイプライン実行、インスタンスの詳細、API リクエスト、認可チェックに関する分析情報を提供します。
指標は、パイプライン指標またはインスタンス指標のいずれかに分類されます。
- パイプライン指標は、実行ステータス、所要時間、レイテンシ、データ スループットなど、個々のパイプライン実行に関するデータを提供します。
- インスタンス指標は、サービス可用性、デプロイされたパイプラインの数、API リクエスト数など、インスタンス内のパイプラインに関する集計情報を提供します。
指標ラベルとモニタリング対象リソースラベルを使用して、Monitoring で Cloud Data Fusion パイプラインとインスタンスの指標をフィルタして集計します。指標ビューをカスタマイズするときに、これらのラベルタイプのいずれかまたは両方を使用できます。
Cloud Data Fusion パイプラインのモニタリング対象リソースラベル
次の Cloud Data Fusion パイプライン モニタリング対象リソースラベルを使用して、指標をフィルタして集計します。
| ラベル名 | 説明 |
|---|---|
resource_container |
顧客プロジェクトの ID。 |
org_id |
お客様のプロジェクトが属する組織の ID。 |
location |
インスタンスがホストされているゾーンまたはリージョン。 |
edition |
Cloud Data Fusion インスタンスのエディション。 |
is_private_ip_enabled |
インスタンスが内部 IP アドレスを使用するかどうか。 |
version |
インスタンスの Cloud Data Fusion データプレーンのバージョン。 |
instance_id |
Cloud Data Fusion インスタンス ID。 |
namespace |
パイプラインの名前空間。 |
pipeline_id |
パイプライン ID。 |
run_id |
パイプラインの実行 ID。 |
パイプライン指標ラベル
Monitoring で次の Cloud Data Fusion 指標ラベルを使用して、指標をフィルタして集計します。
| 名前 | 指標 | 説明 | 指標ラベル |
|---|---|---|---|
| パイプラインの実行ステータス | datafusion.googleapis.com/pipeline/v2/runs_completed_count |
実行を完了したパイプラインの累積数。 |
|
| パイプラインの実行時間 | datafusion.googleapis.com/pipeline/v2/pipeline_duration |
パイプラインの実行が完了するまでにかかった時間。 |
|
| パイプライン開始のレイテンシ | datafusion.googleapis.com/pipeline/v2/pipeline_start_latency |
パイプラインが 実行中状態になるまでに要した時間。 |
|
| プロビジョニングのレイテンシ | datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency |
Dataproc クラスタのプロビジョニング レイテンシ。 |
|
| Dataproc API リクエスト | datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count |
Dataproc API リクエストの累積数。 |
|
| パイプラインのプレビュー実行時間 | datafusion.googleapis.com/pipeline/v2/preview_duration |
プレビューの完了に要した時間。 |
|
| パイプラインの書き込みバイト数 | datafusion.googleapis.com/pipeline/v2/write_bytes_count |
パイプラインによって書き込まれた累積バイト数。 |
|
| パイプラインの読み取りバイト数 | datafusion.googleapis.com/pipeline/v2/read_bytes_count |
パイプラインによって読み取られた累積バイト数。 |
|
| パイプラインのシャッフルされたバイト数 | datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count |
パイプラインでシャッフルされたバイトの累積数。 |
|
| 処理されるプラグイン レコード数 | datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count |
プラグインに入力されたレコードの累積数。 |
|
| 処理済みのプラグイン レコード数 | datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count |
プラグインから終了したレコードの累積数。 |
|
Cloud Data Fusion インスタンスの monitored-resource ラベル
次の Cloud Data Fusion インスタンスのモニタリング対象リソースラベルを使用して、指標をフィルタして集計します。
| ラベル名 | 説明 |
|---|---|
resource_container |
顧客プロジェクトの ID。 |
org_id |
お客様のプロジェクトが属する組織の ID。 |
location |
インスタンスがホストされているゾーンまたはリージョン。 |
edition |
インスタンスのエディション。 |
is_private_ip_enabled |
インスタンスが内部 IP アドレスを使用するかどうか。 |
version |
インスタンスの Cloud Data Fusion データプレーンのバージョン。 |
instance_id |
Cloud Data Fusion インスタンス ID。 |
namespace |
名前空間名。 |
インスタンス指標ラベル
Monitoring で次の Cloud Data Fusion 指標ラベルを使用して、指標をフィルタして集計します。
| 名前 | 指標 | 説明 | 指標ラベル |
|---|---|---|---|
| サービスのステータス | datafusion.googleapis.com/instance/v2/service_available |
Cloud Data Fusion サービスの可用性。 |
|
| デプロイしたパイプライン数 | datafusion.googleapis.com/instance/v2/pipelines |
デプロイされたパイプラインの数。 |
|
| 同時実行中のパイプライン数 | datafusion.googleapis.com/instance/v2/concurrent_pipelines_running |
同時に実行されているパイプラインの数。 |
|
| 同時実行パイプラインの起動数 | datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched |
プロビジョニング中または開始中の状態のパイプラインの数。 |
|
| 受信した CDAP REST API リクエスト数 | datafusion.googleapis.com/instance/v2/api_request_count |
バックエンドのサービスが受信した REST API リクエストの累積数。 |
|
| 送信された CDAP REST API レスポンス | datafusion.googleapis.com/instance/v2/api_response_count |
バックエンドのサービスによって送信された REST API レスポンスの累積数。 |
|
| 承認チェック数 | datafusion.googleapis.com/instance/v2/authorization_check_count |
アクセス エンフォーサーによって行われた承認チェックの累積数。 |
|
| 承認チェック時間 | datafusion.googleapis.com/instance/v2/authorization_check_time |
アクセス エンフォーサーによって行われた認可チェックのレイテンシ。 |
|
| ドラフト パイプラインの数 | datafusion.googleapis.com/instance/v2/draft_pipelines |
下書きパイプラインの数。 |
|
| 名前空間の数 | datafusion.googleapis.com/instance/v2/namespaces |
Namespace の数。 |
|
次のステップ
- Monitoring で Cloud Data Fusion の指標を表示する方法について学習する。