Este documento descreve como aceder e ver os registos de pipelines e os registos de serviços do Cloud Data Fusion.
A partir da versão 6.11 do Cloud Data Fusion, os registos de pipelines e os registos de serviços estão disponíveis no Cloud Logging.
Acerca dos tipos de registos
O Cloud Data Fusion gera vários tipos de registos para ajudar a monitorizar e resolver problemas dos processos de integração de dados:
Preços
A utilização do Cloud Logging e do Cloud Monitoring incorre em cobranças. Para mais informações, consulte os preços da observabilidade do Google Cloud.
Opcional: importe o painel de controlo do registo do Cloud Data Fusion
Para ver os registos de pipelines e os registos de serviços através do painel de controlo de registos do Cloud Data Fusion, importe o painel de controlo:
Na Google Cloud consola, aceda à página Painéis de controlo do Cloud Monitoring.
Clique em Ver modelos de painéis de controlo.
Pesquise Registo do Cloud Data Fusion e selecione o painel de controlo.
Clique em Adicionar painel de controlo de registo do Cloud Data Fusion à sua lista.
Veja os registos do pipeline
Pode ver os registos do pipeline através do painel de controlo de registo do Cloud Data Fusion ou diretamente no Logs Explorer.
Veja os registos do pipeline através do painel de controlo
Se ainda não o fez, importe o painel de controlo Registo do Cloud Data Fusion.
Na secção Os meus painéis de controlo, clique em Registo do Cloud Data Fusion.
Na secção Registos do pipeline, veja a lista de registos do pipeline. Pode filtrar os registos por gravidade, nomes de campos e valores.
Para refinar a pesquisa através de consultas, use o Explorador de registos.
Veja os registos de pipelines no Explorador de registos
Na Google Cloud consola, aceda à página Explorador de registos.
Introduza a seguinte consulta:
resource.type="datafusion.googleapis.com/PipelineV2"É apresentada a lista de registos do pipeline. Pode usar filtros para refinar os resultados.
Filtre registos de pipelines
Pode filtrar os registos do pipeline por ID da execução, ID da instância, ID do pipeline, localização, espaço de nomes ou etiquetas personalizadas.
A cada execução do pipeline do Cloud Data Fusion é atribuído um RunID exclusivo.
Depois de implementar e executar o pipeline, pode encontrar o RunID do pipeline e ver os registos do pipeline correspondentes.
Para filtrar registos de pipelines por RunID, siga estes passos:
Na Google Cloud consola, aceda à página Explorador de registos.
Introduza a seguinte consulta:
resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
Veja registos de serviço
Pode ver os registos de serviços através do painel de controlo de registo do Cloud Data Fusion ou no Explorador de registos.
Veja registos de serviço através do painel de controlo
Se ainda não o fez, importe o painel de controlo Registo do Cloud Data Fusion.
Na secção Os meus painéis de controlo, clique em Registo do Cloud Data Fusion.
Na secção Registos de serviços, veja a lista de registos de serviços. Pode filtrar os registos por gravidade, nomes de campos e valores.
Para refinar a pesquisa através de consultas, use o Explorador de registos.
Veja registos de serviço no Explorador de registos
Na Google Cloud consola, aceda à página Explorador de registos.
Encontre os registos de serviço introduzindo a consulta específica desse serviço.
Nome do serviço Consulta do registo Appfabric resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric"
Processador do AppFabric resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric.processor"
Executor do conjunto de dados resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="dataset.executor"
Poupança de registos resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="log.saver"
Serviço de metadados resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metadata.service"
Métrica resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metrics"
Pipeline Studio resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".userserviceid"="studio"
Tempo de execução resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="runtime"
Serviço Wrangler resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".applicationId"="dataprep" labels.".userserviceid"="service"
Registo configurável no Cloud Data Fusion
O Cloud Data Fusion 6.11.0 oferece registo configurável, com o Cloud Logging ativado por predefinição. Embora seja possível desativar o Cloud Logging, recomendamos vivamente que o mantenha ativado para garantir que tem acesso a registos críticos de pipelines e instâncias.
Para desativar o Cloud Logging, execute o seguinte comando:
echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
--data @- \
"https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"
Substitua o seguinte:
PROJECT_ID: o Google Cloud ID do projetoLOCATION: a localização da sua instânciaINSTANCE_ID: o ID da sua instância do Cloud Data Fusion
O que se segue?
- Saiba mais sobre o registo de auditoria do Cloud Data Fusion.
- Saiba como ver registos de pipeline avançados.