Afficher Cloud Logging pour Dataform

Ce document explique comment afficher les journaux Cloud Logging pour les invocations de workflow Dataform.

Chaque appel de workflow Dataform est consigné à l'aide de Cloud Logging. La journalisation est automatiquement activée pour les invocations de workflow Dataform, ce qui peut entraîner des frais de facturation Cloud Logging. Pour en savoir plus, consultez la page Tarifs de Dataform.

Autorisations et rôles

Le rôle Lecteur de journaux (roles/logging.viewer) vous donne un accès en lecture seule à toutes les fonctionnalités de Logging. Pour en savoir plus sur les autorisations et les rôles IAM qui s'appliquent aux données Cloud Logging, consultez le guide du contrôle des accès de Cloud Logging.

Afficher les journaux

Pour afficher les journaux, accédez à l'explorateur de journaux.

Accéder à l'explorateur de journaux

Pour en savoir plus sur le filtrage des journaux Cloud Logging dans l'explorateur de journaux, consultez la page Afficher les journaux à l'aide de l'explorateur de journaux.

Les journaux Dataform sont indexés par le dépôt Dataform.

Format du journal

Dataform envoie des messages de journal d'appel de workflow au format suivant:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

Contenu consigné

Les entrées de journal Dataform contiennent des informations utiles pour surveiller et déboguer vos appels de workflow.

Il s'agit des types d'informations suivants :

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: il peut s'agir de INFO, WARNING ou ERROR.
  • terminalState : il peut s'agir de SUCCEEDED, ​CANCELED ou FAILED.
  • timestamp
  • @type

Configurer des métriques et des alertes avec Cloud Monitoring

Vous pouvez utiliser Cloud Monitoring pour observer les tendances dans vos journaux et vous avertir lorsque les conditions que vous décrivez apparaissent.

Pour fournir à Cloud Monitoring des données provenant de vos journaux, Cloud Logging vous offre les avantages suivants:

  • Les métriques basées sur les journaux, que vous pouvez utiliser comme suit :
    • Créer des règles d'alerte qui vous informent des modifications au fil du temps.
    • Créer des graphiques qui affichent les modifications au fil du temps.
  • Des alertes basées sur les journaux, qui vous avertissent chaque fois qu'un événement spécifique apparaît dans un journal.

Pour en savoir plus sur les métriques et les alertes basées sur les journaux, consultez la page Surveiller vos journaux.

Pour savoir comment configurer des alertes basées sur les journaux pour les invocations de workflow Dataform, consultez Configurer des alertes pour les invocations de workflow ayant échoué.

Étape suivante