Pipelinelogs in Cloud Logging ansehen

Auf dieser Seite wird erläutert, wie Sie Cloud Logging für eine Cloud Data Fusion-Instanz aktivieren und Pipelinelogs anzeigen.

Hinweise

Erstellen Sie eine Cloud Data Fusion-Instanz. Es kann bis zu 30 Minuten dauern, bis die Instanz erstellt ist.

Hinweis: Wenn Sie Cloud Data Fusion verwenden, verwenden Sie sowohl die Google Cloud Console als auch die separate Cloud Data Fusion-UI. In der Google Cloud Console können Sie ein Google Cloud-Projekt erstellen, Cloud Data Fusion-Instanzen erstellen und löschen sowie Instanzdetails aufrufen. In der Benutzeroberfläche von Cloud Data Fusion können Sie die verschiedenen Seiten wie Pipeline Studio oder Wrangler nutzen, um die Funktionen von Cloud Data Fusion zu nutzen.

Cloud Logging aktivieren

Damit Sie Cloud Logging mit Ihrer Cloud Data Fusion-Pipeline verwenden können, aktivieren Sie Cloud Logging beim Erstellen Ihrer Cloud Data Fusion-Instanz.

1. Öffnen Sie in der Google Cloud Console die Seite Instanzen.
2. Klicken Sie auf Instanz erstellen.
3. Klicken Sie auf Show advanced options.

4. Klicken Sie unter Logging und Monitoring auf Stackdriver Logging-Dienst aktivieren.

   

Nachdem Sie die Instanz erstellt haben, können Sie Cloud Logging in der Google Cloud Console nicht mehr aktivieren. Führen Sie stattdessen diesen gcloud CLI-Befehl aus:

gcloud beta data-fusion instances update INSTANCE_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --enable_stackdriver_logging

Logs ansehen

Jeder Cloud Data Fusion-Pipelineausführung wird eine eindeutige RunID zugewiesen. Nachdem Sie Ihre Pipeline bereitgestellt und ausgeführt haben, suchen Sie nach dem RunID. Verwenden Sie anschließend in Logging den RunID, um Ihre Pipelinelogs aufzurufen.

RunID der Pipeline abrufen

1. Rufen Sie die Instanz auf:

   1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

   2. Klicken Sie zum Öffnen der Instanz in der Cloud Data Fusion-Weboberfläche auf Instanzen und dann auf Instanz ansehen.

      Zur Seite „VM-Instanzen“

2. Klicken Sie auf Zusammenfassung > Tabelle.

3. Klicken Sie zum Kopieren auf den Link RunId.

   

Logs im Log-Explorer ansehen

1. Rufen Sie in der Google Cloud Console die Seite Cloud Logging > Log-Explorer auf:

   Go-Log-Explorer

2. Wählen Sie in den Filtermenüs Cloud Dataproc-Cluster > cdap-PIPELINE_NAME-YOUR_RUNID aus.

   

Optional: Logs filtern

Verwenden Sie die Filtermenüs, um Ihre Logs zu filtern. Sie können nach verschiedenen Log-Schweregraden oder nach Komponenten wie datafusion-pipeline-logs filtern.

Optional: Protokolle herunterladen

Klicken Sie auf Logs herunterladen.

Weitere Informationen finden Sie in der Cloud Logging-Dokumentation unter Logeinträge herunterladen.

Nächste Schritte

• Audit-Logs aufrufen
• Pipelinelogs aus Cloud Data Fusion Pipeline Studio ansehen