Cette page explique comment activer Cloud Logging pour votre instance Cloud Data Fusion et comment afficher les journaux de pipeline.
Avant de commencer
Créez une instance Cloud Data Fusion. Le processus de création de l'instance peut prendre jusqu'à 30 minutes.
Activer Cloud Logging
Pour utiliser Cloud Logging avec votre pipeline Cloud Data Fusion, activez Cloud Logging lorsque vous créez votre instance Cloud Data Fusion.
- Dans la console Google Cloud, ouvrez la page Instances.
- Cliquez sur Créer une instance.
- Cliquez sur Afficher les options avancées.
Sous Journalisation et surveillance, cliquez sur Activer le service Stackdriver Logging.
Une fois votre instance créée, vous ne pouvez pas activer Cloud Logging dans la console Google Cloud. Exécutez plutôt la commande gcloud CLI suivante:
gcloud beta data-fusion instances update INSTANCE_NAME \
--project=PROJECT_ID \
--location=LOCATION \
--enable_stackdriver_logging
Afficher les journaux
Chaque exécution de pipeline Cloud Data Fusion se voit attribuer un RunID
unique. Après avoir déployé et exécuté votre pipeline, recherchez son RunID
. Ensuite, dans Logging, utilisez le RunID
pour afficher les journaux de votre pipeline.
Obtenir l'ID d'exécution du pipeline
- Accédez à votre instance :
Dans la console Google Cloud, accédez à la page "Cloud Data Fusion".
Pour ouvrir l'instance dans l'interface Web de Cloud Data Fusion, cliquez sur Instances, puis sur Afficher l'instance.
- Cliquez sur Récapitulatif > Tableau.
Cliquez sur le lien
RunId
pour copier.
Afficher les journaux dans l'explorateur de journaux
Accédez à la page Cloud Logging > Explorateur de journaux dans la console Google Cloud:
Dans les menus de filtre, sélectionnez Cluster Cloud Dataproc >
cdap-PIPELINE_NAME-YOUR_RUNID
.
Facultatif: Filtrer les journaux
Utilisez les menus de filtrage pour filtrer vos journaux. Vous pouvez filtrer par différents niveaux de gravité des journaux ou par composants tels que datafusion-pipeline-logs
.
Facultatif: Télécharger les journaux
Cliquez sur Télécharger les journaux.
Pour plus d'informations, consultez la section de la documentation Cloud Logging traitant du téléchargement des entrées de journal.
Étapes suivantes
- Découvrez comment afficher les journaux d'audit.
- Découvrez comment afficher les journaux de pipeline à partir de Cloud Data Fusion Pipeline Studio.