Esta página foi traduzida pela API Cloud Translation.

Monitorar registros do Dataplex

Os registros de jobs do Dataplex podem ser visualizados, pesquisados, filtrados e arquivados no Cloud Logging.

Para entender os custos, consulte Preços da Google Cloud Observability.

Para mais informações sobre a retenção de registros, consulte Períodos de retenção dos registros.

Para desativar todos os registros ou excluir registros do Logging, consulte Filtros de exclusão.

Para rotear registros do Logging para o Cloud Storage, BigQuery ou Pub/Sub, consulte Visão geral de roteamento e armazenamento.

Acessar registros de serviço do Dataplex no Logging

O Dataplex publica os seguintes registros de serviço no Cloud Logging.

Tipo de registro	Nome do registro	Consulta `logName`	Descrição do registro
Registros de eventos de verificação de dados	`dataplex.googleapis.com/data_scan`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan)`	Registros de eventos para jobs de verificação de dados que indicam o estado, os resultados e as estatísticas do job
Registros de resultados da regra de verificação de qualidade de dados	`dataplex.googleapis.com/data_quality_scan_rule_result`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result)`	Resultados das regras de verificação de qualidade de dados em um job de qualidade de dados
Registros de descoberta	`dataplex.googleapis.com/discovery`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery)`	Descoberta de progresso e atualizações em recursos de uma zona
Registros de jobs de metadados	`dataplex.googleapis.com/metadata_job`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job)`	Registros sobre jobs de importação de metadados e itens de importação no arquivo de importação de metadados
Registros de processo	`dataplex.googleapis.com/process`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess)`	Execuções de jobs resultantes de tarefas de processamento de dados

Substitua:

PROJECT_ID: ID do projeto

Para acessar o Logging, use o Explorador de registros no console do Google Cloud , os comandos gcloud logging ou a API Logging.

Consultar registros de eventos de verificação de dados

Quando você usa o Dataplex para criar e executar uma verificação de dados, um registro de eventos de verificação de dados é produzido no Logging para o job resultante.

Console

No console do Google Cloud , acesse a página Análise de registros.

Acessar o "Explorador de registros"
Na visualização Análise de registros, encontre a guia Consulta.
Clique no menu Recurso.
Selecione DataScan do Cloud Dataplex. Clique em Aplicar.
Clique no menu Nome do registro.
No campo Pesquisar nomes de registros, insira dataplex.googleapis.com%2Fdata_scan. Selecione data_scan e clique em Aplicar.
Opcional: filtre os registros para um ID ou local de verificação de dados específico adicionando os seguintes filtros na consulta de registro:
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
Clique em Executar consulta.

gcloud

Para ler as entradas de registro de eventos de verificação de dados, use o comando gcloud logging read com a seguinte consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Para listar entradas de registro, use o método entries.list.

Consultar registros de resultados de regras de verificação de qualidade de dados

Quando você usa o Dataplex para criar e executar uma verificação de qualidade de dados, um registro de resultado de regra de verificação de qualidade de dados é produzido no recurso de registro para o job resultante.

Console

No console do Google Cloud , acesse a página Análise de registros.

Acessar o "Explorador de registros"
Na visualização Análise de registros, encontre a guia Consulta.
Clique no menu Recurso.
Selecione DataScan do Cloud Dataplex. Clique em Aplicar.
Clique no menu Nome do registro.
No campo Pesquisar nomes de registros, insira dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Selecione data_quality_scan_rule_result e clique em Aplicar.
Opcional: filtre os registros para um ID ou local de verificação de dados específico adicionando os seguintes filtros na consulta de registro:
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
Clique em Executar consulta.

gcloud

Para ler as entradas de registro do resultado da verificação de regras de qualidade de dados, use o comando gcloud logging read com a seguinte consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Para listar entradas de registro, use o método entries.list.

Consultar registros de descoberta

Quando você usa o Dataplex para descobrir dados em recursos, um registro de descoberta é produzido no Logging.

Console

No console do Google Cloud , acesse a página Análise de registros.

Acessar o "Explorador de registros"
Na visualização Análise de registros, encontre a guia Consulta.
Clique no menu Recurso.
Selecione Zona do Cloud Dataplex. Clique em Aplicar.
Clique no menu Nome do registro.
No campo Pesquisar nomes de registros, insira dataplex.googleapis.com%2Fdiscovery. Selecione discovery e clique em Apply.

Opcional: adicione os seguintes filtros à consulta de registro para filtrar os registros de um recurso específico:

resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

Clique em Executar consulta.

gcloud

Para ler as entradas de registro de descoberta, use o comando gcloud logging read com a seguinte consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Para listar entradas de registro, use o método entries.list.

Consultar logs de jobs de metadados

Quando você executa um job de importação de metadados, os registros de job de metadados são produzidos no Logging.

Console

No console do Google Cloud , acesse a página Análise de registros.

Acessar o "Explorador de registros"
Na visualização Análise de registros, encontre a guia Consulta.
Clique no menu Recurso.
Selecione Job de metadados do Cloud Dataplex.
Opcional: para filtrar os registros para um local ou ID do job de metadados específico, selecione um local ou ID do job.
Clique em Aplicar.
Clique no menu Nome do registro.
Digite dataplex.googleapis.com%2Fmetadata_job e selecione metadata_job.
Clique em Aplicar.

gcloud

Para ler as entradas de registro de jobs de metadados, use o comando gcloud logging read com a seguinte consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

Para listar entradas de registro, use o método entries.list.

Consultar registros de processos

Quando você usa o Dataplex para programar e executar tarefas, um registro de processo é produzido no Logging para o job resultante.

Console

No console do Google Cloud , acesse a página Análise de registros.

Acessar o "Explorador de registros"
Na visualização Análise de registros, encontre a guia Consulta.
Clique no menu Recurso.
Selecione Tarefa do Cloud Dataplex. Clique em Aplicar.
Clique no menu Nome do registro.
No campo Pesquisar nomes de registros, insira dataplex.googleapis.com%2Fprocess. Selecione process e clique em Apply.
Opcional: adicione os seguintes filtros à consulta de registro para filtrar os registros a uma tarefa específica:
```
resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"
```
Clique em Executar consulta.

gcloud

Para ler as entradas de registro do processo, use o comando gcloud logging read com a seguinte consulta:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Para listar entradas de registro, use o método entries.list.

A seguir

Saiba mais sobre o Cloud Logging.
Saiba mais sobre o monitoramento do Dataplex.