Afficher les journaux de pipeline dans Cloud Logging

Cette page explique comment activer Cloud Logging pour votre instance Cloud Data Fusion et comment afficher les journaux de pipeline.

Avant de commencer

Créez une instance Cloud Data Fusion. Le processus de création de l'instance peut prendre jusqu'à 30 minutes.

Activer Cloud Logging

Pour utiliser Cloud Logging avec votre pipeline Cloud Data Fusion, activez Cloud Logging lorsque vous créez votre instance Cloud Data Fusion.

  1. Dans la console Google Cloud, ouvrez la page Instances.
  2. Cliquez sur Créer une instance.
  3. Cliquez sur Afficher les options avancées.

  4. Sous Journalisation et surveillance, cliquez sur Activer le service Stackdriver Logging.

    Activez Cloud Logging.

Après avoir créé votre instance, vous ne pouvez pas activer Cloud Logging dans le console Google Cloud. Exécutez plutôt cette commande gcloud CLI:

gcloud beta data-fusion instances update INSTANCE_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --enable_stackdriver_logging

Voir les journaux

Chaque exécution de pipeline Cloud Data Fusion se voit attribuer un RunID unique. Après avoir déployé et exécuté votre pipeline, recherchez son RunID. Ensuite, dans Logging, utilisez le RunID pour afficher les journaux de votre pipeline.

Obtenir l'ID d'exécution du pipeline

  1. Accédez à votre instance:

    1. Dans la console Google Cloud, accédez à la page Cloud Data Fusion.

    2. Pour ouvrir l'instance dans Cloud Data Fusion Studio, Cliquez sur Instances, puis sur Afficher l'instance.

      Accéder à la page "Instances"

  2. Cliquez sur Récapitulatif > Tableau.

  3. Cliquez sur le lien RunId pour copier.

    Copier RunID.

Afficher les journaux dans l'explorateur de journaux

  1. Accédez à la page Cloud Logging > Explorateur de journaux dans la console Google Cloud :

    Explorateur de journaux Go

  2. Dans les menus de filtre, Sélectionnez Cluster Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID

    Accéder à Cloud Logging.

Facultatif: Filtrer les journaux

Utilisez les menus de filtre pour filtrer vos journaux. Vous pouvez filtrer selon différents journaux niveaux de gravité ou par des composants tels que datafusion-pipeline-logs.

Facultatif: Télécharger les journaux

Cliquez sur Télécharger les journaux.

Pour plus d'informations, consultez la section de la documentation Cloud Logging traitant du téléchargement des entrées de journal.

Étape suivante