Cloud Logging

É possível ver, pesquisar, filtrar e arquivar registros de jobs do metastore do Dataproc no Cloud Logging.

Acessar os registros de jobs no Logging

Quando você executa o metastore do Dataproc, uma saída de processo do metastore do Hive é transmitida para o console do Cloud.

Você pode acessar o Logging usando o console do Logging, o comando gcloud logging ou a API do Logging.

Console

  1. No Console do Cloud, acesse a página Registros do Cloud Logging (Explorador de registros):

    Acessar a página Explorador de registros

  2. Selecione um projeto existente do Dataproc Metastore Cloud.

  3. No menu Recursos, selecione Dataproc Metastore Service.

  4. No menu Todos os registros, selecione o tipo de registro que você quer ver.

gcloud

A CLI do Google Cloud tem um grupo de comandos, gcloud logging, que fornece uma interface de linha de comando para a API Cloud Logging. Para ler suas entradas de registro, execute o seguinte comando:

gcloud logging read \
    'resource.type="metastore.googleapis.com/Service"
    resource.labels.location=LOCATION
    resource.labels.service_id=SERVICE_ID'

REST

Siga as instruções da API Logging para listar entradas de registro (entries.list) usando o API Explorer.

Registros de serviço do metastore do Dataproc no Logging

O metastore do Dataproc exporta registros de solicitação e sistema para o Cloud Logging.

Tipo de registro Nome do log consulta logName
Solicitar registros metastore.googleapis.com/requests logName=(projects/$PROJECT_ID/logs/metastore.googleapis.com%2Frequests)
Registos do sistema metastore.googleapis.com/system logName=(projects/$PROJECT_ID/logs/metastore.googleapis.com%2Fsystem)

A seguir