您可以在 Cloud Logging 中查看、搜索、过滤和归档 Dataproc Metastore 作业日志。
如需了解您的费用,请参阅 Google Cloud Observability 价格。
如需了解日志保留,请参阅日志保留期限。
如需停用所有日志或从 Logging 中排除日志,请参阅日志排除。
如需将日志从 Logging 路由到 Cloud Storage、BigQuery 或 Pub/Sub,请参阅路由和存储概览。
访问 Logging 中的作业日志
运行 Dataproc Metastore 时,Hive Metastore 进程输出 会流式传输到 Google Cloud 控制台。
您可以使用 Logging 控制台、gcloud logging 命令或 Logging API 来访问 Logging。
控制台
在 Google Cloud 控制台中,前往 Cloud Logging >日志 (Logs Explorer) 页面:
选择现有的 Dataproc Metastore Google Cloud 项目。
在资源菜单下,选择
Dataproc Metastore Service
。在所有日志菜单下,选择您要查看的日志类型。
gcloud
Google Cloud CLI 有一组 gcloud logging
命令,用于为 Cloud Logging API 提供命令行界面。如需读取您的日志条目,请运行以下命令:
gcloud logging read \ 'resource.type="metastore.googleapis.com/Service" resource.labels.location=LOCATION resource.labels.service_id=SERVICE_ID'
REST
按照 Logging API 说明,使用 API Explorer 列出日志条目 (entries.list)。
Logging 中的 Dataproc Metastore 服务日志
Dataproc Metastore 会将请求和系统日志导出到 Cloud Logging。
日志类型 | 日志名称 | logName 查询 |
---|---|---|
该角色可以请求日志 | metastore.googleapis.com/requests | logName=(projects/$PROJECT_ID/logs/metastore.googleapis.com%2Frequests) |
系统日志 | metastore.googleapis.com/system | logName=(projects/$PROJECT_ID/logs/metastore.googleapis.com%2Fsystem) |