Afficher les journaux Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Cette page explique comment accéder aux journaux Apache Airflow pour Cloud Composer et les afficher.

À propos des types de journaux

Cloud Composer inclut les journaux Airflow suivants :

• Journaux de streaming Ces journaux contiennent des journaux de tâches Airflow, ainsi que des journaux des composants Airflow de votre environnement, tels que les planificateurs et les nœuds de calcul Airflow.

  Pour en savoir plus sur Cloud Logging et Cloud Monitoring pour votre environnement Cloud Composer, consultez la section Surveiller des environnements.

• Journaux de tâches Airflow dans le bucket de l'environnement Ces journaux sont associés à des tâches DAG uniques. Si vous activez l'enregistrement des journaux dans le bucket de l'environnement, Cloud Composer enregistre les fichiers avec les journaux de tâches Airflow dans le dossier /logs.

• Cloud Composer génère des journaux d'audit, tels que les journaux d'activité des administrateurs. Pour en savoir plus, consultez la section Afficher les journaux d'audit.

Avant de commencer

• Votre compte Google doit disposer d'un rôle permettant d'afficher des objets dans des buckets d'environnement. Pour plus d'informations, consultez la section Contrôle des accès.

• Les journaux stockés dans le bucket de l'environnement utilisent la règle du bucket. Cloud Composer crée des buckets avec la règle par défaut qui conserve les données pour toujours. Pour les journaux stockés dans Cloud Logging, Cloud Composer utilise _Default et les périodes de conservation des journaux définies par l'utilisateur.

• Pour éviter toute perte de données, les journaux enregistrés dans le bucket de l'environnement ne sont pas supprimés après la suppression de votre environnement. Vous devez supprimer manuellement les journaux du bucket de votre environnement.

Afficher les journaux de streaming

Pour afficher les journaux de streaming dans Cloud Logging:

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

3. Accédez à l'onglet Journaux.

Afficher les journaux de streaming dans Cloud Logging

Pour afficher les journaux de streaming dans Cloud Logging:

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, recherchez votre environnement.

3. Dans la colonne Journaux, cliquez sur le lien Journaux.

Afficher les journaux de tâches Airflow dans le bucket de l'environnement

Remarque :Vous pouvez consulter les journaux des tâches Airflow dans l'interface utilisateur Airflow.

Pour afficher les journaux de tâches Airflow dans le bucket de votre environnement:

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, recherchez une ligne portant le nom de votre environnement, puis dans la colonne Dossier des DAG, cliquez sur le lien DAG. La page Informations sur le bucket s'ouvre.

3. Dans le volet Navigateur de dossiers, cliquez sur /logs.

   Remarque :Si ce dossier est vide, l'enregistrement des journaux dans le bucket de l'environnement peut être désactivé pour votre environnement.

Étape suivante

• Surveiller des environnements
• Obtenez davantage d'informations sur les journaux d'audit Cloud Composer.