É possível ver, pesquisar, filtrar e arquivar registros de jobs do metastore do Dataproc no Cloud Logging.
Consulte Preços do pacote de operações do Google Cloud para entender os custos.
Consulte Períodos de retenção dos registros para obter informações sobre retenção de registros.
Consulte Exclusões de registros para desativar todos os registros ou excluir registros do Logging.
Consulte Visão geral de roteamento e armazenamento para rotear registros do Logging para o Cloud Storage, BigQuery ou Pub/Sub.
Acessar os registros de jobs no Logging
Quando você executa o metastore do Dataproc, uma saída de processo do metastore do Hive é transmitida para o console do Cloud.
Você pode acessar o Logging usando o console do Logging, o comando gcloud logging ou a API do Logging.
Console
No Console do Cloud, acesse a página Registros do Cloud Logging (Explorador de registros):
Selecione um projeto existente do Dataproc Metastore Cloud.
No menu Recursos, selecione
Dataproc Metastore Service.No menu Todos os registros, selecione o tipo de registro que você quer ver.
gcloud
A CLI do Google Cloud tem um grupo de comandos, gcloud logging, que fornece uma
interface de linha de comando para a API Cloud Logging. Para ler suas entradas de registro, execute o seguinte comando:
gcloud logging read \
'resource.type="metastore.googleapis.com/Service"
resource.labels.location=LOCATION
resource.labels.service_id=SERVICE_ID'
REST
Siga as instruções da API Logging para listar entradas de registro (entries.list) usando o API Explorer.
Registros de serviço do metastore do Dataproc no Logging
O metastore do Dataproc exporta registros de solicitação e sistema para o Cloud Logging.
| Tipo de registro | Nome do log | consulta logName |
|---|---|---|
| Solicitar registros | metastore.googleapis.com/requests | logName=(projects/$PROJECT_ID/logs/metastore.googleapis.com%2Frequests) |
| Registos do sistema | metastore.googleapis.com/system | logName=(projects/$PROJECT_ID/logs/metastore.googleapis.com%2Fsystem) |