É possível ver, pesquisar, filtrar e arquivar registros de jobs do metastore do Dataproc no Cloud Logging.
Acesse os Preços de observabilidade do Google Cloud para entender os custos.
Consulte Períodos de retenção dos registros para obter informações sobre retenção de registros.
Consulte Exclusões de registros para desativar todos os registros ou excluir registros do Logging.
Consulte Visão geral de roteamento e armazenamento para rotear registros do Logging para o Cloud Storage, BigQuery ou Pub/Sub.
Acessar os registros de jobs no Logging
Quando você executa o metastore do Dataproc, a saída do processo do metastore do Hive é transmitida para o console do Google Cloud.
Você pode acessar o Logging usando o console do Logging, o comando gcloud logging ou a API do Logging.
Console
No Console do Google Cloud, acesse a página Cloud Logging > Registros (Análise de registros):
Selecione um projeto atual do Google Cloud do Dataproc Metastore.
No menu Recursos, selecione
Dataproc Metastore Service.No menu Todos os registros, selecione o tipo de registro que você quer ver.
gcloud
A CLI do Google Cloud tem um grupo de comandos, gcloud logging, que fornece uma
interface de linha de comando para a API Cloud Logging. Para ler suas entradas de registro, execute o seguinte comando:
gcloud logging read \
'resource.type="metastore.googleapis.com/Service"
resource.labels.location=LOCATION
resource.labels.service_id=SERVICE_ID'
REST
Siga as instruções da API Logging para listar entradas de registro (entries.list) usando o API Explorer.
Registros de serviço do metastore do Dataproc no Logging
O metastore do Dataproc exporta registros de solicitação e sistema para o Cloud Logging.
| Tipo de registro | Nome do log | consulta logName |
|---|---|---|
| Solicitar registros | metastore.googleapis.com/requests | logName=(projects/$PROJECT_ID/logs/metastore.googleapis.com%2Frequests) |
| Registos do sistema | metastore.googleapis.com/system | logName=(projects/$PROJECT_ID/logs/metastore.googleapis.com%2Fsystem) |