Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Auf dieser Seite wird beschrieben, wie Sie Cloud Logging für Ihre Cloud Data Fusion-Dataproc-Cluster aktivieren und auf erweiterte Pipeline-Logs zugreifen.
Dataproc Cloud Logging aktivieren
Wenn Sie Pipeline- und Clusterprobleme in Cloud Logging sehen möchten, aktivieren Sie erweiterte Protokolle in neuen oder vorhandenen Cloud Data Fusion-Instanzen. So aktivieren Sie erweiterte Protokolle in einer vorhandenen Instanz:
Rufen Sie in der Google Cloud Console die Seite Cloud Data Fusion-Instanzen auf.
Klicken Sie im Bereich Erweitertes Monitoring und Logging neben Dataproc Cloud Logging auf editBearbeiten.
Klicken Sie im Fenster Cloud Logging das Kästchen Cloud Logging aktivieren an.
Klicken Sie auf Speichern.
Logs ansehen
Jeder Cloud Data Fusion-Pipelineausführung wird eine eindeutige RunID zugewiesen.
Nachdem Sie Ihre Pipeline bereitgestellt und ausgeführt haben, suchen Sie nach dem RunID. Verwenden Sie anschließend in Logging den RunID, um Ihre Pipelinelogs aufzurufen.
Ausführungs-ID der Pipeline abrufen
Rufen Sie Ihre Instanz auf:
Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.
Wenn Sie die Instanz in Cloud Data Fusion Studio öffnen möchten, klicken Sie auf Instanzen und dann auf Instanz anzeigen.
Wählen Sie im Drop-down-Menü Alle Ressourcen die Option Cloud Dataproc-Cluster >cdap-PIPELINE_NAME-YOUR_RUNID aus.
Optional: Logs filtern
Verwenden Sie die Filtermenüs, um Ihre Protokolle zu filtern. Sie können nach verschiedenen Logebenen oder nach Komponenten wie datafusion-pipeline-logs filtern.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-09-04 (UTC)."],[[["\u003cp\u003eThis guide explains how to enable Cloud Logging for Cloud Data Fusion Dataproc clusters, allowing you to view pipeline and cluster logs.\u003c/p\u003e\n"],["\u003cp\u003eYou can enable advanced logging on new or existing Cloud Data Fusion instances by editing the "Dataproc Cloud Logging" settings in the instance details.\u003c/p\u003e\n"],["\u003cp\u003eEach pipeline run is assigned a unique RunID, which is used to locate specific pipeline logs within Cloud Logging.\u003c/p\u003e\n"],["\u003cp\u003eTo view logs, you must go to the Cloud Logging Logs Explorer, select the correct Dataproc Cluster resource, and then can filter it down by severity or components.\u003c/p\u003e\n"],["\u003cp\u003eLogs can be downloaded directly from the Cloud Logging interface if needed.\u003c/p\u003e\n"]]],[],null,["# View advanced pipeline logs in Cloud Logging\n\nThis page describes how to enable Cloud Logging for your\nCloud Data Fusion Dataproc clusters and access advanced\npipeline logs.\n\nEnable Dataproc Cloud Logging\n-----------------------------\n\nTo view pipeline and cluster issues in Cloud Logging, enable advanced logs\nin new or existing Cloud Data Fusion instances. To enable advanced logs in\nan existing instance, do the following:\n\n1. In the Google Cloud console, go to the Cloud Data Fusion\n **Instances** page.\n\n [Go to Instances](https://console.cloud.google.com/data-fusion/locations/-/instances)\n2. Click the instance name.\n\n3. In the **Advanced monitoring and logging** section, for\n **Dataproc Cloud Logging** , click\n edit **Edit**.\n\n4. In the **Cloud Logging** window, select the\n **Enable Cloud Logging** checkbox.\n\n5. Click **Save**.\n\nView logs\n---------\n\nEvery Cloud Data Fusion pipeline run is assigned a unique `RunID`.\nAfter you deploy and run your pipeline, find its `RunID`. Then, in\nLogging, use the `RunID` to view your pipeline\nlogs.\n\n### Get the pipeline's RunID\n\n1. Go to your instance:\n 1. In the Google Cloud console, go to the Cloud Data Fusion page.\n\n 2. To open the instance in the Cloud Data Fusion Studio,\n click **Instances** , and then click **View instance**.\n\n [Go to Instances](https://console.cloud.google.com/data-fusion/locations/-/instances)\n2. Click **List**.\n3. Click the pipeline for which you want to get the Run ID.\n4. Click **Summary**.\n5. In the **Run history** section, click **Table**.\n6. To copy the Run ID, right-click the **RunID** , and click **Copy**.\n\n### View the logs in Logs Explorer\n\n1. In the Google Cloud console, go to the\n **Cloud Logging \\\u003e Logs Explorer** page:\n\n [Go Logs Explorer](https://console.cloud.google.com/logs/query)\n2. In the **All resources** drop-down,\n select\n **Cloud Dataproc Cluster \\\u003e **`cdap-`\u003cvar translate=\"no\"\u003ePIPELINE_NAME\u003c/var\u003e`-`\u003cvar translate=\"no\"\u003eYOUR_RUNID\u003c/var\u003e****.\n\n### Optional: Filter the logs\n\nUse the filter menus to filter your logs. You can filter by various log\nseverity levels\nor by components such as `datafusion-pipeline-logs`.\n\n### Optional: Download the logs\n\nClick **Download logs**.\n\nFor more information, see\n[downloading log entries](/logging/docs/view/logs-explorer-interface#download_logs).\n\nWhat's next\n-----------\n\n- Learn how to [view audit logs](/data-fusion/docs/how-to/audit-logging).\n- Learn how to [view pipeline logs from the Cloud Data Fusion Pipeline Studio](/data-fusion/docs/how-to/view-and-download-pipeline-logs)."]]
