Visualizza i log delle pipeline in Cloud Logging

Questa pagina spiega come abilitare Cloud Logging per la tua istanza Cloud Data Fusion e come visualizzare i log delle pipeline.

Prima di iniziare

Crea un'istanza di Cloud Data Fusion. Il completamento del processo di creazione dell'istanza richiede fino a 30 minuti.

Nota: quando utilizzi Cloud Data Fusion, utilizzi sia la console Google Cloud sia la UI separata di Cloud Data Fusion. Nella console Google Cloud puoi creare un progetto Google Cloud, creare ed eliminare istanze di Cloud Data Fusion e visualizzare i dettagli delle istanze. Nell'interfaccia utente di Cloud Data Fusion, puoi utilizzare le varie pagine, ad esempio Pipeline Studio o Wrangler, per utilizzare la funzionalità di Cloud Data Fusion.

Abilita Cloud Logging

Per utilizzare Cloud Logging con la tua pipeline di Cloud Data Fusion, abilita Cloud Logging quando crei la tua istanza Cloud Data Fusion.

1. Nella console Google Cloud, apri la pagina Istanze.
2. Fai clic su Crea istanza.
3. Fai clic su Mostra opzioni avanzate.

4. In Logging e monitoraggio, fai clic su Abilita servizio di logging Stackdriver.

   

Dopo aver creato l'istanza, non puoi abilitare Cloud Logging nella console Google Cloud. Esegui invece questo comando gcloud CLI:

gcloud beta data-fusion instances update INSTANCE_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --enable_stackdriver_logging

Visualizza i log

A ogni esecuzione di pipeline di Cloud Data Fusion viene assegnato un valore RunID univoco. Dopo aver eseguito il deployment e aver eseguito la pipeline, trova il relativo RunID. Quindi, in Logging, utilizza RunID per visualizzare i log della pipeline.

Recupero RunID della pipeline

1. Vai all'istanza:

   1. Nella console Google Cloud, vai alla pagina Cloud Data Fusion.

   2. Per aprire l'istanza nell'interfaccia web di Cloud Data Fusion, fai clic su Istanze, quindi fai clic su Visualizza istanza.

      Vai alle istanze

2. Fai clic su Riepilogo > Tabella.

3. Fai clic sul link RunId da copiare.

   

Visualizza i log in Esplora log

1. Vai alla pagina Cloud Logging > Esplora log nella console Google Cloud:

   Vai a Esplora log

2. Nei menu del filtro, seleziona Cluster Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID.

   

(Facoltativo) Filtra i log

Utilizza i menu del filtro per filtrare i log. Puoi filtrare in base a vari livelli di gravità dei log o in base a componenti come datafusion-pipeline-logs.

(Facoltativo) Scarica i log

Fai clic su Scarica log.

Per ulteriori informazioni, consulta la documentazione di Cloud Logging per il download delle voci di log.

Passaggi successivi

• Scopri come visualizzare i log di controllo.
• Scopri come visualizzare i log delle pipeline da Cloud Data Fusion Pipeline Studio.