Acessar registros do pipeline no Cloud Logging

Nesta página, explicamos como ativar o Cloud Logging para sua instância do Cloud Data Fusion e como visualizar registros de pipeline.

Antes de começar

Crie uma instância do Cloud Data Fusion. O processo de criação da instância leva até 30 minutos para ser concluído.

Observação:ao usar o Cloud Data Fusion, você utiliza o console do Google Cloud e a IU separada do Cloud Data Fusion. No console do Google Cloud, é possível criar um projeto do Google Cloud, criar e excluir instâncias do Cloud Data Fusion e visualizar detalhes da instância. Na IU do Cloud Data Fusion, é possível usar as várias páginas, como o Pipeline Studio ou o Administrador, para usar a funcionalidade do Cloud Data Fusion.

Ativar o Cloud Logging

Para usar o Cloud Logging com o pipeline do Cloud Data Fusion, ative o Cloud Logging ao criar a instância do Cloud Data Fusion.

1. No console do Google Cloud, abra a página Instâncias.
2. Clique em Criar instância.
3. Clique em Exibir opções avançadas.

4. Em Logging and monitoring, clique em Ativar serviço de registro do Stackdriver.

   

Depois de criar a instância, não será possível ativar o Cloud Logging no console do Google Cloud. Em vez disso, execute este comando da CLI gcloud:

gcloud beta data-fusion instances update INSTANCE_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --enable_stackdriver_logging

Ver registros

Cada execução do pipeline do Cloud Data Fusion recebe um RunID exclusivo. Depois de implantar e executar o pipeline, encontre o RunID dele. Em seguida, no Logging, use o RunID para ver os registros do pipeline.

Acessar o RunID do pipeline

1. Acesse sua instância:

   1. No console do Google Cloud, acesse a página do Cloud Data Fusion.

   2. Para abrir a instância na interface da Web do Cloud Data Fusion, clique em Instâncias e depois em Ver instância.

      Acesse "Instâncias"

2. Clique em Resumo > Tabela.

3. Clique no link RunId para copiar.

   

Conferir os registros na Análise de registros

1. Acesse a página Cloud Logging > Análise de registros no console do Google Cloud:

   Análise de registros do Go

2. Nos menus de filtro, selecione Cluster do Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID.

   

Opcional: filtrar os registros

Use os menus de filtro para filtrar os registros. É possível filtrar por vários níveis de gravidade de registro ou por componentes como datafusion-pipeline-logs.

Opcional: fazer o download dos registros

Clique em Fazer o download de registros.

Para mais informações, consulte a documentação do Cloud Logging para fazer o download de entradas de registro.

A seguir

• Saiba como ver os registros de auditoria
• Saiba como ver os registros do pipeline no Cloud Data Fusion Pipeline Studio.