Afficher les journaux de pipeline dans Cloud Logging

Cette page explique comment activer Cloud Logging pour votre instance Cloud Data Fusion et comment afficher les journaux de pipeline.

Avant de commencer

Créez une instance Cloud Data Fusion. Le processus de création de l'instance peut prendre jusqu'à 30 minutes.

Remarque : Lorsque vous utilisez Cloud Data Fusion, vous utilisez à la fois Cloud Console et l'interface utilisateur distincte Cloud Data Fusion. Dans Cloud Console, vous pouvez créer un projet Google Cloud, créer et supprimer des instances Cloud Data Fusion, et afficher les détails des instances. Dans l'interface utilisateur de Cloud Data Fusion, vous pouvez utiliser les différentes pages telles que Pipeline Studio ou Wrangler pour utiliser les fonctionnalités de Cloud Data Fusion.

Activer Cloud Logging

Pour utiliser Cloud Logging avec votre pipeline Cloud Data Fusion, activez Cloud Logging lorsque vous créez votre instance Cloud Data Fusion. Une fois votre instance créée, vous ne pourrez plus activer Cloud Logging.

1. Dans Cloud Console, ouvrez la page Instances.
2. Cliquez sur Créer une instance.
3. Cliquez sur Afficher les options avancées.

4. Sous Journalisation et surveillance, cliquez sur Activer le service de journalisation Stackdriver.

   

Afficher les journaux

Chaque exécution de pipeline Cloud Data Fusion se voit attribuer un RunID unique. Après avoir déployé et exécuté votre pipeline, recherchez son RunID. Ensuite, dans Logging, utilisez le RunID pour afficher les journaux de votre pipeline.

Obtenir votre ID d'exécution de pipeline

1. Accédez à Pipeline Studio dans l'interface utilisateur Cloud Data Fusion.
2. Cliquez sur Résumé.
3. Sur la page Résumé, cliquez sur l'onglet Tableau.

4. Cliquez sur le lien RunId pour copier.

   

Afficher les journaux

1. Accédez à la page Cloud Logging > Visionneuse de journaux dans Cloud Console :

   Accéder à la page Visionneuse de journaux

2. Dans le menu déroulant Ressources auditées , sélectionnez Cluster Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID.

   

Filtrer les journaux

Utilisez la flèche de menus déroulants de filtre pour filtrer vos journaux. Vous pouvez filtrer selon plusieurs niveaux de journalisation ou en fonction de composants tels que datafusion-pipeline-logs.

Téléchargement des journaux

Cliquez sur Télécharger les journaux.

Pour en savoir plus, consultez la documentation Cloud Logging concernant le téléchargement des entrées de journal.

Étape suivante

• Apprenez à afficher les journaux d'audit.
• Découvrez comment afficher les journaux de pipeline à partir de Cloud Data Fusion Pipeline Studio.