Cloud Monitoring

Cloud Monitoring では、クラウドで実行されるアプリケーションのパフォーマンスや稼働時間、全体的な動作状況を確認できます。 Google Cloud Observability は、Dataproc Metastore サービスから指標、イベント、メタデータを収集して取り込み、ダッシュボードとグラフを使用して分析情報を生成します。

コストを確認するには、Monitoring の料金をご覧ください。
指標データの保存については、Monitoring の割り当てと制限をご覧ください。

Monitoring でサービスの指標にアクセスする

Dataproc Metastore サービスリソース指標は、Dataproc Metastore サービスで自動的に有効になります。Monitoring を使用してこれらの指標を表示できます。

Monitoring には Google Cloud コンソールから、または Monitoring API を使用してアクセスできます。

Console

Google Cloud コンソールで、[Cloud Monitoring] > [Metrics Explorer] ページに移動します。

[Metrics Explorer] ページに移動
[リソースタイプと指標を探す] プルダウンリストからリソース Dataproc Metastore Service を選択します。
入力ボックスをもう一度クリックし、プルダウンリストから指標を選択します。指標名にカーソルを合わせると、指標に関する情報が表示されます。

フィルタの選択、指標ラベルによるグループ化、集計の実行、グラフ表示オプションを選択できます。

REST

Monitoring の timeSeries.list API を使用して、filter 式で定義された指標を取得し、一覧表示できます。API ページの [Try this API] テンプレートを使用して、API リクエストを送信し、レスポンスを表示します。

Monitoring の Dataproc Metastore サービスの指標

Dataproc Metastore の指標。指標のリリースステージ: ベータ版 GA

次の表の「指標タイプ」の文字列には、metastore.googleapis.com/ という接頭辞を付ける必要があります。この接頭辞は表内で省略されています。ラベルをクエリする場合は、metric.labels. 接頭辞を使用します。例: metric.labels.LABEL="VALUE"。

指標タイプ ^{リリースステージ} （リソース階層レベル）表示名
種類、タイプ、単位モニタリング対象リソース	説明ラベル
`federation/health` ^ベータ版 *（プロジェクト）* 連携サービスの健全性
`GAUGE`、`INT64`、`1` metastore.googleapis.com/Federation	連携 Dataproc Metastore サービスの健全性。 `version`: サービスの Hive Metastore バージョン。
`federation/server/request_count` ^ベータ版 *（プロジェクト）* 連携サービスリクエスト数
`DELTA`、`INT64`、`{request}` metastore.googleapis.com/Federation	連携 Dataproc Metastore サービスに送信されたリクエストの数。 `method_name`: リクエストメソッドの名前。 `status`: リクエストの終了ステータス。[success、client_error、server_error] のいずれかになります。 `version`: サービスの Hive Metastore バージョン。
`service/grpc/finished_requests_count` ^ベータ版 *（プロジェクト）* gRPC リクエストの完了数
`DELTA`、`INT64`、`1` metastore.googleapis.com/Service	GRPC Dataproc Metastore サービスによって完了したリクエストの数。 `tier`: サービスのサービスティアまたはインスタンスサイズ（ENTERPRISE など）。 `version`: サービスの Hive Metastore バージョン。 `status`: リクエストのステータス（「BAD_REQUEST」など）。 `method_name`: リクエストメソッド名。
`service/grpc/received_bytes_count` ^ベータ版 *（プロジェクト）* gRPC の受信バイト数
`DELTA`、`INT64`、`By` metastore.googleapis.com/Service	Dataproc Metastore サービスが受信したバイト数。 `tier`: サービスのサービスティアまたはインスタンスサイズ。 `version`: サービスの Hive Metastore バージョン。
`service/grpc/request_latencies` ^ベータ版 *（プロジェクト）* gRPC リクエストのレイテンシ
`DELTA`、`DISTRIBUTION`、`ms` metastore.googleapis.com/Service	Dataproc Metastore サービスに対する gRPC リクエストのレイテンシの分布。 `tier`: サービスのサービスティアまたはインスタンスサイズ。 `version`: サービスの Hive Metastore バージョン。 `status`: リクエストのステータス（「BAD_REQUEST」など）。 `method_name`: リクエストメソッド名。
`service/grpc/sent_bytes_count` ^ベータ版 *（プロジェクト）* gRPC の送信バイト数
`DELTA`、`INT64`、`By` metastore.googleapis.com/Service	Dataproc Metastore サービスが送信したバイト数。 `tier`: サービスのサービスティアまたはインスタンスサイズ。 `version`: サービスの Hive Metastore バージョン。
`service/grpc/started_requests_count` ^ベータ版 *（プロジェクト）* gRPC リクエストの開始数
`DELTA`、`INT64`、`1` metastore.googleapis.com/Service	GRPC Dataproc Metastore サービスによって受信および開始されたリクエストの数。 `tier`: サービスのサービスティアまたはインスタンスサイズ。 `version`: サービスの Hive Metastore バージョン。 `method_name`: リクエストメソッドの名前。
`service/grpc_client/finished_requests_count` ^ベータ版 *（プロジェクト）* gRPC クライアントリクエストの完了数
`CUMULATIVE`、`INT64`、`1` metastore.googleapis.com/Service	成功か失敗かに関係なく、クライアントで完了した RPC の合計数。 `status`: リクエストのステータス（「BAD_REQUEST」など）。 `method_name`: リクエストメソッド名。
`service/grpc_client/received_bytes_count` ^ベータ版 *（プロジェクト）* gRPC クライアントの受信バイト数
`CUMULATIVE`、`INT64`、`By` metastore.googleapis.com/Service	gRPC クライアントが受信したバイト数。
`service/grpc_client/request_latencies` ^ベータ版 *（プロジェクト）* gRPC クライアントリクエストのレイテンシ
`CUMULATIVE`、`DISTRIBUTION`、`ms` metastore.googleapis.com/Service	Dataproc Metastore サービスに対する gRPC リクエストのレイテンシの分布。 `status`: リクエストのステータス（「BAD_REQUEST」など）。 `method_name`: リクエストメソッド名。
`service/grpc_client/sent_bytes_count` ^ベータ版 *（プロジェクト）* gRPC クライアントの送信バイト数
`CUMULATIVE`、`INT64`、`By` metastore.googleapis.com/Service	gRPC クライアントが送信したバイト数。
`service/grpc_client/started_requests_count` ^ベータ版 *（プロジェクト）* gRPC クライアントリクエストの開始数
`CUMULATIVE`、`INT64`、`1` metastore.googleapis.com/Service	gRPC クライアントが開始したリクエストの数。 `method_name`: リクエストメソッドの名前。
`service/health` ^GA *（プロジェクト）* サービスの健全性
`GAUGE`、`INT64`、`1` metastore.googleapis.com/Service	Dataproc Metastore サービスの健全性。 `tier`: サービスのサービスティアまたはインスタンスサイズ（ENTERPRISE など）。 `version`: サービスの Hive Metastore バージョン。 `release_tag`: Dataproc Metastore リリースタグ。サービスのバックエンドによって入力され、サービスの存続期間中に変更される可能性があります。
`service/metadata/bytes_used` ^ベータ版 *（プロジェクト）* Dataproc Metastore サービスに保存されるメタデータのサイズ。
`GAUGE`、`INT64`、`By` metastore.googleapis.com/Service	サービスのバックエンドデータベースに保存されているデータの量。 `version`: サービスの Hive Metastore バージョン。 `database_type`: データベースのタイプ（[SQL、Spanner] のいずれか）。
`service/migration/replication_lag` ^ベータ版 *（プロジェクト）* レプリケーションパイプラインの処理レイテンシ（秒単位）。
`GAUGE`、`DOUBLE`、`s` metastore.googleapis.com/Service	Dataproc Metastore にデータを複製するために要する現在の最大時間（秒）。 `migration_id`: 移行 ID。
`service/migration/write_throughput` ^ベータ版 *（プロジェクト）* 移行先データベースの書き込みスループット。
`GAUGE`、`DOUBLE`、`By/s` metastore.googleapis.com/Service	レプリケーションフェーズ中にデータがコピーされる Dataproc Metastore データベースでの現在の書き込みスループット。 `migration_id`: 移行 ID。
`service/multi_region/health` ^GA *（プロジェクト）* マルチリージョンサービスの健全性
`GAUGE`、`INT64`、`1` metastore.googleapis.com/Service	マルチリージョンの Dataproc Metastore サービスの健全性。 `version`: サービスの Hive Metastore バージョン。 `release_tag`: Dataproc Metastore リリースタグ。サービスのバックエンドによって入力され、サービスの存続期間中に変更される可能性があります。 `service_region`: Dataproc Metastore サービスがホストされている構成リージョン。 `scaling_factor`: サービスのスケーリングファクタ。[0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1.0、2.0、3.0、4.0、5.0、6.0] のいずれか。
`service/multi_region/request_count` ^GA *（プロジェクト）* マルチリージョンサービスのリクエスト数
`DELTA`、`INT64`、`{request}` metastore.googleapis.com/Service	マルチリージョン Dataproc Metastore サービスに送信されたリクエストの数。 `method_name`: リクエストメソッドの名前。 `version`: サービスの Hive Metastore バージョン。 `service_region`: Dataproc Metastore サービスがホストされている構成リージョン。 `scaling_factor`: サービスのスケーリングファクタ。[0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1.0、2.0、3.0、4.0、5.0、6.0] のいずれか。
`service/multi_region/request_latencies` ^GA *（プロジェクト）* マルチリージョンサービスリクエストのレイテンシ
`DELTA`、`DISTRIBUTION`、`ms` metastore.googleapis.com/Service	マルチリージョンの Dataproc Metastore サービスに送信されるリクエストのレイテンシ。 `method_name`: リクエストメソッドの名前。 `version`: サービスの Hive Metastore バージョン。 `service_region`: Dataproc Metastore サービスがホストされている構成リージョン。 `scaling_factor`: サービスのスケーリングファクタ。[0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1.0、2.0、3.0、4.0、5.0、6.0] のいずれか。
`service/query_metadata/request_count` ^ベータ版 *（プロジェクト）* 管理インターフェースのリクエスト数
`DELTA`、`INT64`、`{request}` metastore.googleapis.com/Service	管理インターフェースリクエストの数。 `database_type`: データベースのタイプ（[SQL、Spanner] のいずれか）。 `code`: gRPC ステータスコード。
`service/query_metadata/request_latencies` ^ベータ版 *（プロジェクト）* 管理インターフェースリクエストのレイテンシ
`DELTA`、`DISTRIBUTION`、`ms` metastore.googleapis.com/Service	管理インターフェースリクエストのエンドツーエンドリクエストのレイテンシ。 `database_type`: データベースのタイプ（[SQL、Spanner] のいずれか）。 `code`: gRPC ステータスコード。
`service/request_count` ^GA *（プロジェクト）* リクエスト数
`DELTA`、`INT64`、`{request}` metastore.googleapis.com/Service	Dataproc Metastore サービスに送信されたリクエストの数。 `method_name`: リクエストメソッドの名前。 `version`: サービスの Hive Metastore バージョン。
`service/scheduled_backups/backup_count` ^ベータ版 *（プロジェクト）* スケジュールバックアップの数
`DELTA`、`INT64`、`1` metastore.googleapis.com/Service	サービスに現在保存されているスケジュールバックアップの数。 `state`: バックアップの状態（[SUCCEEDED、FAILED、IN_PROGRESS] のいずれか）。 `database_type`: データベースのタイプ（[SQL、Spanner] のいずれか）。 `version`: サービスの Hive Metastore バージョン。
`service/scheduled_backups/last_backup_duration` ^ベータ版 *（プロジェクト）* スケジュールバックアップ - 前回のバックアップ期間
`GAUGE`、`INT64`、`s` metastore.googleapis.com/Service	前回成功したスケジュールバックアップの期間（秒）。60 秒ごとにサンプリングされます。サンプリング後、データは最長 120 秒間表示されません。 `state`: バックアップの状態（[SUCCEEDED、FAILED、IN_PROGRESS] のいずれか）。 `database_type`: データベースのタイプ（[SQL、Spanner] のいずれか）。 `version`: サービスの Hive Metastore バージョン。
`service/scheduled_backups/last_backup_size` ^ベータ版 *（プロジェクト）* スケジュールバックアップのリクエスト - 前回のバックアップサイズ
`GAUGE`、`INT64`、`By` metastore.googleapis.com/Service	前回成功したスケジュールバックアップのサイズ（バイト単位）。60 秒ごとにサンプリングされます。サンプリング後、データは最長 120 秒間表示されません。 `state`: バックアップの状態（[SUCCEEDED、FAILED、IN_PROGRESS] のいずれか）。 `database_type`: データベースのタイプ（[SQL、Spanner] のいずれか）。 `version`: サービスの Hive Metastore バージョン。

表の生成日時: 2024-10-16 13:48:08 UTC

カスタム Monitoring ダッシュボードを構築する

選択した Dataproc Metastore サービスの指標をグラフ表示するカスタム Monitoring ダッシュボードを構築できます。

Monitoring の [ダッシュボードの概要] ページから [+ Create Dashboard] を選択します。
ダッシュボードの名前を指定します。
右上のメニューで [グラフを追加] をクリックし、[グラフを追加] ウィンドウを開きます。
リソースタイプとして Dataproc Metastore Service を選択します。
1 つ以上の指標と、指標およびチャートのプロパティを選択し、[保存] をクリックしてグラフを保存します。
必要に応じてダッシュボードにグラフを追加します。
ダッシュボードを保存するには、[保存] をクリックします。そのタイトルが Monitoring の [ダッシュボードの概要] ページに表示されます。

ダッシュボードのグラフは、ダッシュボード表示ページから表示、更新、削除できます。

Monitoring アラートを使用する

Monitoring アラートを作成すると、Dataproc Metastore サービスやジョブの指標が指定されたしきい値を超えた場合に通知を受け取れます。

アラートの作成

Google Cloud コンソールで [モニタリング、アラート] を開きます。
[新しいアラートポリシーの作成] フォームを開くには、[+ CREATE POLICY] をクリックします。
アラートの条件、ポリシーのトリガー、通知チャネル、ドキュメントを追加してアラートを定義します。
[ADD CONDITION] を選択して、選択されている [Metric] タブでアラート条件フォームを開きます。
フィールドに入力してアラート条件を定義し、[ADD] をクリックします。
アラート条件を追加したら、通知チャネル、ポリシーのトリガー、ドキュメント、アラートポリシー名を設定してアラートポリシーを完成させます。

アラートを表示

指標しきい値条件によってアラートがトリガーされると、Monitoring によってインシデントと対応するイベントが作成されます。インシデントは、Google Cloud コンソールの Monitoring のアラートページから表示できます。アラートポリシーに通知メカニズム（メールや SMS 通知など）を定義した場合も、Monitoring によってインシデントの通知が送信されます。

次のステップ

Cloud Monitoring のドキュメント