Cloud Logging für Dataform aufrufen

In diesem Dokument erfahren Sie, wie Sie Cloud Logging-Logs für Workflowaufrufe in Dataform aufrufen.

Jede Aufrufung eines Dataform-Workflows wird mit Cloud Logging protokolliert. Das Logging wird automatisch für Dataform-Workflowaufrufe aktiviert. Dies kann zu Abrechnungskosten für Cloud Logging führen. Weitere Informationen finden Sie unter Dataform-Preise.

Berechtigungen und Rollen

Die Rolle „Log-Betrachter“ (roles/logging.viewer) bietet Ihnen Lesezugriff auf alle Logging-Features. Weitere Informationen zu den IAM-Berechtigungen und -Rollen, die für Cloud Logging-Daten gelten, finden Sie in der Anleitung zur Zugriffssteuerung für Cloud Logging.

Logs ansehen

Um Logs anzuzeigen, öffnen Sie den Log-Explorer.

Zu „Log-Explorer“

Informationen zum Filtern von Cloud Logging-Logs im Log-Explorer finden Sie unter Logs mit dem Log-Explorer ansehen.

Dataform-Protokolle werden vom Dataform-Repository indexiert.

Logformat

Dataform sendet Protokollmeldungen zur Workflowausführung im folgenden Format:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

Was wird protokolliert?

Dataform-Logeinträge enthalten Informationen, die für das Monitoring und die Fehlerbehebung bei Workflowaufrufen nützlich sind.

Folgende Informationen sind in Ihnen enthalten:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: kann INFO, WARNING oder ERROR sein.
  • terminalState: kann SUCCEEDED, CANCELED oder FAILED sein.
  • timestamp
  • @type

Messwerte und Benachrichtigungen mit Cloud Monitoring konfigurieren

Mit Cloud Monitoring können Sie Trends in Ihren Logs beobachten und sich benachrichtigen lassen, wenn von Ihnen beschriebene Bedingungen auftreten.

Um Cloud Monitoring Daten aus Ihren Logs bereitzustellen, bietet Cloud Logging Folgendes:

  • Logbasierte Messwerte, die für folgende Zwecke verwendet werden können:
    • Zum Erstellen von Benachrichtigungsrichtlinien, die Sie über Änderungen im Laufe der Zeit benachrichtigen.
    • Zum Erstellen von Diagrammen, die Änderungen im Zeitverlauf darstellen.
  • Logbasierte Benachrichtigungen, die Sie informieren, sobald ein bestimmtes Ereignis in einem Log auftaucht.

Weitere Informationen zu logbasierten Messwerten und logbasierten Benachrichtigungen finden Sie unter Logs überwachen.

Informationen zum Konfigurieren von logbasierten Benachrichtigungen für Dataform-Workflowaufrufe finden Sie unter Benachrichtigungen für fehlgeschlagene Workflowaufrufe konfigurieren.

Nächste Schritte