Cloud Logging für Dataform ansehen

In diesem Dokument wird beschrieben, wie Sie Cloud Logging-Logs für Dataform-Workflowaufrufe aufrufen.

Jeder Aufruf eines Dataform-Workflows wird mithilfe von Cloud Logging protokolliert. Logging ist für Dataform-Workflowaufrufe automatisch aktiviert, für die Gebühren für Cloud Logging anfallen können. Weitere Informationen finden Sie unter Dataform-Preise.

Berechtigungen und Rollen

Die Rolle „Log-Betrachter“ (roles/logging.viewer) bietet Ihnen Lesezugriff auf alle Logging-Features. Weitere Informationen zu den IAM-Berechtigungen und -Rollen, die für Cloud Logging-Daten gelten, finden Sie in der Anleitung zur Zugriffssteuerung von Cloud Logging.

Logs ansehen

Um Logs anzuzeigen, öffnen Sie den Log-Explorer.

Zu „Log-Explorer“

Informationen zum Filtern von Cloud Logging-Logs im Log-Explorer finden Sie unter Logs mit dem Log-Explorer ansehen.

Dataform-Logs werden vom Dataform-Repository indexiert.

Logformat

Dataform sendet Workflowaufruf-Lognachrichten im folgenden Format:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

Was wird protokolliert?

Dataform-Logeinträge enthalten Informationen, die für das Monitoring und die Fehlerbehebung bei Workflowaufrufen hilfreich sind.

Folgende Informationen sind in Ihnen enthalten:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: kann INFO, WARNING oder ERROR sein
  • terminalState: kann SUCCEEDED, CANCELED oder FAILED sein.
  • timestamp
  • @type

Messwerte und Benachrichtigungen mit Cloud Monitoring konfigurieren

Mit Cloud Monitoring können Sie Trends in Ihren Logs beobachten und sich benachrichtigen lassen, wenn von Ihnen beschriebene Bedingungen eintreten.

Damit Cloud Monitoring Daten aus Ihren Logs bereitstellen kann, bietet Cloud Logging Folgendes:

  • Logbasierte Messwerte, die für folgende Zwecke verwendet werden können:
    • Zum Erstellen von Benachrichtigungsrichtlinien, die Sie über Änderungen im Laufe der Zeit benachrichtigen.
    • Zum Erstellen von Diagrammen, die Änderungen im Zeitverlauf darstellen.
  • Logbasierte Benachrichtigungen, die Sie informieren, sobald ein bestimmtes Ereignis in einem Log auftaucht.

Weitere Informationen zu logbasierten Messwerten und logbasierten Benachrichtigungen finden Sie unter Logs überwachen.

Informationen zum Konfigurieren logbasierter Benachrichtigungen für Dataform-Workflowaufrufe finden Sie unter Benachrichtigungen für fehlgeschlagene Workflowaufrufe konfigurieren.

Nächste Schritte