Dataproc Metastore ジョブのログは、Cloud Logging で表示、検索、フィルタ、アーカイブを行えます。
費用については、Google Cloud Observability の料金をご覧ください。
ログの保持期間については、ログの保持期間をご覧ください。
すべてのログを無効にするか、Logging からログを除外するには、ログの除外をご覧ください。
Logging から Cloud Storage、BigQuery、Pub/Sub にログを転送するには、ルーティングとストレージの概要をご覧ください。
Logging のジョブのログにアクセスする
Dataproc Metastore を実行すると、Hive メタストア プロセスの出力が Google Cloud コンソールにストリーミングされます。
Logging にアクセスするには、Logging コンソール、gcloud logging コマンド、または Logging API を使用できます。
Console
Google Cloud コンソールで、[Cloud Logging] > [ログ](ログ エクスプローラ)のページに移動します。
既存の Dataproc Metastore Google Cloud プロジェクトを選択します。
[リソース] メニューで、
Dataproc Metastore Service
を選択します。[すべてのログ] メニューで、表示するログタイプを選択します。
gcloud
Google Cloud CLI にあるコマンドグループ gcloud logging
は、Cloud Logging API のコマンドライン インターフェースを提供します。ログエントリを読み取るには、次のコマンドを実行します。
gcloud logging read \ 'resource.type="metastore.googleapis.com/Service" resource.labels.location=LOCATION resource.labels.service_id=SERVICE_ID'
REST
API Explorer を使用し、Logging API の手順に従ってログエントリ(entries.list)を一覧表示します。
Logging の Dataproc Metastore サービスログ
Dataproc Metastore では、リクエストとシステムログが Cloud Logging にエクスポートされます。
ログタイプ | ログ名 | logName クエリ |
---|---|---|
ログのリクエスト | metastore.googleapis.com/requests | logName=(projects/$PROJECT_ID/logs/metastore.googleapis.com%2Frequests) |
システムログ | metastore.googleapis.com/system | logName=(projects/$PROJECT_ID/logs/metastore.googleapis.com%2Fsystem) |