Afficher Cloud Logging pour Dataform

Ce document vous explique comment afficher les journaux Cloud Logging pour les appels de workflow Dataform.

Chaque appel de workflow Dataform est consigné à l'aide de Cloud Logging. Logging est automatiquement activé pour les appels de workflow Dataform, ce qui peut entraîner des frais de facturation Cloud Logging. Pour en savoir plus, consultez les tarifs de Dataform.

Autorisations et rôles

Le rôle Lecteur de journaux (roles/logging.viewer) vous donne un accès en lecture seule à toutes les fonctionnalités de Logging. Pour en savoir plus sur les autorisations et les rôles IAM qui s'appliquent aux données Cloud Logging, consultez le guide du contrôle des accès de Cloud Logging.

Afficher les journaux

Pour afficher les journaux, accédez à l'explorateur de journaux.

Accéder à l'explorateur de journaux

Pour en savoir plus sur le filtrage des journaux Cloud Logging dans l'explorateur de journaux, consultez la page Afficher les journaux à l'aide de l'explorateur de journaux.

Les journaux Dataform sont indexés par le dépôt Dataform.

Format du journal

Dataform envoie des messages de journal d'appel de workflow au format suivant:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

Contenu consigné

Les entrées de journal Dataform contiennent des informations utiles pour surveiller et déboguer les appels de votre workflow.

Il s'agit des types d'informations suivants :

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: il peut s'agir de INFO, WARNING ou ERROR.
  • terminalState : il peut s'agir de SUCCEEDED, ​CANCELED ou FAILED.
  • timestamp
  • @type

Configurer des métriques et des alertes avec Cloud Monitoring

Vous pouvez utiliser Cloud Monitoring pour observer les tendances dans vos journaux et vous avertir lorsque les conditions que vous décrivez se produisent.

Pour fournir à Cloud Monitoring des données issues de vos journaux, Cloud Logging vous propose les fonctionnalités suivantes:

  • Les métriques basées sur les journaux, que vous pouvez utiliser comme suit :
    • Créer des règles d'alerte qui vous informent des modifications au fil du temps.
    • Créer des graphiques qui affichent les modifications au fil du temps.
  • Des alertes basées sur les journaux, qui vous avertissent chaque fois qu'un événement spécifique apparaît dans un journal.

Pour en savoir plus sur les métriques et les alertes basées sur les journaux, consultez Surveiller vos journaux.

Pour savoir comment configurer des alertes basées sur les journaux pour les appels de workflow Dataform, consultez Configurer des alertes en cas d'échec d'appel de workflow.

Étapes suivantes