Cloud Logging

您可以在 Cloud Logging 中查看、搜索、过滤和归档 Dataproc Metastore 作业日志。

在 Logging 中访问作业日志

运行 Dataproc Metastore 时,Hive Metastore 进程输出会流式传输到 Cloud Console。

您可以使用 Logging 控制台gcloud logging 命令或 Logging API 来访问 Logging。

控制台

  1. 在 Cloud Console 中,转到 Cloud Logging > 日志(日志查看器)页面:

    转到“日志查看器”页面

  2. 选择现有的 Dataproc Metastore Cloud 项目。

  3. 资源菜单下,选择 Dataproc Metastore Service

  4. 所有日志菜单下,选择您要查看的日志类型。

gcloud

Cloud SDK 有一组 gcloud logging 命令,为 Cloud Logging API 提供命令行界面。如需读取您的日志条目,请运行以下命令:

gcloud logging read \
    'resource.type="metastore.googleapis.com/Service"
    resource.labels.location=LOCATION
    resource.labels.service_id=SERVICE_ID'

REST

按照 Logging API 说明,使用 API Explorer 列出日志条目 (entries.list)。

Logging 中的 Dataproc Metastore 服务日志

Dataproc Metastore 会将请求和系统日志导出到 Cloud Logging。

日志类型 日志名称 logName 查询
该角色可以请求日志 metastore.googleapis.com/requests logName=(projects/$PROJECT_ID/logs/metastore.googleapis.com%2Frequests)
系统日志 metastore.googleapis.com/system logName=(projects/$PROJECT_ID/logs/metastore.googleapis.com%2Fsystem)

后续步骤