Conferir os registros de pipeline no Cloud Logging

Nesta página, explicamos como ativar o Cloud Logging para sua instância do Cloud Data Fusion e como visualizar registros de pipeline.

Antes de começar

Crie uma instância do Cloud Data Fusion. O processo de criação da instância leva até 30 minutos para ser concluído.

Ativar Cloud Logging

Para usar o Cloud Logging com o pipeline do Cloud Data Fusion, ative o Cloud Logging ao criar a instância do Cloud Data Fusion.

  1. No console do Google Cloud, abra a página Instâncias.
  2. Clique em Criar instância.
  3. Clique em Exibir opções avançadas.

  4. Em Logging and monitoring, clique em Ativar serviço de registro do Stackdriver.

    Ativar o Cloud Logging.

Depois de criar a instância, não será possível ativar o Cloud Logging no console do Google Cloud. Em vez disso, execute este comando da CLI gcloud:

gcloud beta data-fusion instances update INSTANCE_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --enable_stackdriver_logging

Ver registros

Cada execução do pipeline do Cloud Data Fusion recebe um RunID exclusivo. Depois de implantar e executar o pipeline, encontre o RunID dele. Em seguida, no Logging, use o RunID para ver os registros do pipeline.

Conseguir o RunID do pipeline

  1. Acesse sua instância:

    1. In the Google Cloud console, go to the Cloud Data Fusion page.

    2. To open the instance in the Cloud Data Fusion Studio, click Instances, and then click View instance.

      Go to Instances

  2. Clique em Resumo > Tabela.

  3. Clique no link RunId para copiar.

    Copie o RunID.

Conferir os registros no Explorador de registros

  1. Acesse a página Cloud Logging > Explorador de registros no console do Google Cloud:

    Acessar a Análise de registros

  2. Nos menus de filtro, selecione Cluster do Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID.

    Acesse o Cloud Logging.

Opcional: filtrar os registros

Use os menus de filtro para filtrar os registros. É possível filtrar por vários níveis de gravidade de registro ou por componentes, como datafusion-pipeline-logs.

Opcional: fazer o download dos registros

Clique em Fazer o download de registros.

Para mais informações, consulte a documentação do Cloud Logging para fazer o download de entradas de registro.

A seguir