Cloud Composer 1 | Cloud Composer 2
Cette page explique comment obtenir des informations sur les DAG de votre environnement.
Afficher les informations sur les DAG
Cloud Composer propose plusieurs façons d'obtenir des informations détaillées sur les DAG de votre environnement:
- L'UI DAG est une section de l'interface de la console Google Cloud pour Cloud Composer, dédiée à l'affichage et à la surveillance des DAG, des exécutions de DAG et des tâches individuelles.
- L'interface utilisateur Airflow est l'interface Web intégrée à Airflow.
- La CLI Airflow est l'interface de ligne de commande d'Airflow. Pour obtenir des informations sur les DAG, exécutez des commandes de la CLI Airflow avec
gcloud.
À propos de l'interface utilisateur des DAG Cloud Composer
L'UI DAG est une section de l'interface de la console Google Cloud pour Cloud Composer, dédiée à l'affichage et à la surveillance des DAG, des exécutions de DAG et des tâches individuelles.
Dans l'interface utilisateur des DAG, vous pouvez:
Affichez la liste des DAG de votre environnement, y compris les intervalles de programmation, les états des DAG et les descriptions.
Interrompre, réactiver et déclencher des DAG
Affichez les détails de l'exécution du DAG, y compris les exécutions réussies, actives et ayant échoué, depuis la dernière exécution terminée. Pour chaque DAG, vous pouvez voir l'historique des exécutions du DAG et des instances de tâches associées à ce DAG, y compris les journaux des tâches exécutées.
Filtrer les détails de l'exécution du DAG Par exemple, vous pouvez choisir un intervalle de temps et créer des requêtes pour sélectionner les informations dont vous avez besoin.
Affichez des informations détaillées sur les DAG et les tâches individuels. Vous y trouverez des schémas du DAG visualisés, des informations sur les tâches contenues dans un DAG, le code source du DAG et des informations supplémentaires sur les DAG.
Avant de commencer
- L'interface utilisateur du DAG est compatible avec Cloud Composer 2.0.1 et versions ultérieures.
Afficher la liste des DAG pour votre environnement
Console
L'onglet DAG de votre environnement affiche la liste des DAG, ainsi que les détails d'exécution de chaque DAG.
Pour afficher la liste des DAG, procédez comme suit:
Dans la console Google Cloud, accédez à la page Environnements.
Dans la colonne Liste des DAG, cliquez sur le lien DAG correspondant à votre environnement.
Vous pouvez utiliser des filtres pour n'afficher les détails que de certains DAG ou de certaines conditions. Exemple :
- Sélectionnez le champ Filtres.
- Dans la liste déroulante, sélectionnez la propriété ID du DAG.
- Spécifiez l'identifiant du DAG. Les résultats ne montrent que les détails du DAG sélectionné.
- (Facultatif) Pour inclure d'autres DAG, ajoutez des opérateurs
ORsuivis des ID des DAG. - (Facultatif) Pour filtrer sur d'autres conditions, ajoutez d'autres propriétés dans le champ Filtres. Par exemple, vous pouvez filtrer les DAG avec des exécutions ayant échoué en spécifiant
Failed runs:>0.
Interface utilisateur d'Airflow
Pour afficher la liste des DAG dans l'interface Web Airflow, procédez comme suit:
Dans la console Google Cloud, accédez à la page Environnements.
Dans la colonne Serveur Web Airflow, cliquez sur le lien Airflow correspondant à votre environnement.
Connectez-vous avec le compte Google disposant des autorisations appropriées.
Dans l'interface Web Airflow, la page DAG affiche la liste des DAG de votre environnement.
gcloud
Exécutez la commande CLI Airflow dags list:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list -- -o plain
Remplacez :
ENVIRONMENT_NAMEpar le nom de l'environnement.LOCATIONpar la région dans laquelle se trouve l'environnement.
Afficher l'historique des exécutions et des tâches du DAG
Console
L'onglet Exécutions de la page Détails du DAG affiche l'historique des exécutions du DAG pour un DAG individuel.
Pour afficher l'historique des exécutions du DAG:
Dans la console Google Cloud, accédez à la page Environnements.
Dans la colonne Liste des DAG, cliquez sur le lien DAG correspondant à votre environnement.
Sélectionnez un DAG.
Sur la page Détails du DAG, accédez à l'onglet Exécutions.
Sélectionnez une exécution de DAG dans la liste pour en afficher les détails, tels que l'état des instances de tâche pour cette exécution du DAG, le nombre de tentatives et la durée d'exécution. Vous pouvez sélectionner des tâches individuelles pour afficher les journaux de l'instance de tâche.
Interface utilisateur d'Airflow
Pour afficher la liste des DAG dans l'interface Web Airflow, procédez comme suit:
Dans la console Google Cloud, accédez à la page Environnements.
Dans la colonne Serveur Web Airflow, cliquez sur le lien Airflow correspondant à votre environnement.
Connectez-vous avec le compte Google disposant des autorisations appropriées.
Dans le menu de l'interface Web Airflow, sélectionnez Browse (Parcourir) > DAG Runs (Exécuter le DAG). La page Exécutions DAG affiche les exécutions du DAG pour votre environnement. Vous pouvez suivre le lien figurant dans la colonne Run ID (ID d'exécution) pour obtenir des informations supplémentaires sur les tâches.
gcloud
Exécutez la commande CLI Airflow dags list-runs:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list-runs -- -d DAG_ID
Remplacez :
ENVIRONMENT_NAMEpar le nom de l'environnement.LOCATIONpar la région dans laquelle se trouve l'environnement.DAG_IDpar le nom du DAG.
Pour obtenir des informations supplémentaires sur les instances de tâche, exécutez les commandes CLI Airflow tasks state et tasks states-for-dag-run.
Pour en savoir plus, consultez la page Accéder à la CLI Airflow et la documentation de référence de la CLI Airflow.
Afficher les schémas du DAG
Console
L'onglet Diagram de la page Détails du DAG montre la visualisation d'un DAG avec des dépendances de tâches.
Pour afficher le schéma d'un DAG, procédez comme suit:
Dans la console Google Cloud, accédez à la page Environnements.
Dans la colonne Liste des DAG, cliquez sur le lien DAG correspondant à votre environnement.
Sélectionnez un DAG.
Sur la page Détails du DAG, accédez à l'onglet Diagramme.
(Facultatif) Pour afficher des informations supplémentaires sur les tâches, sélectionnez des tâches individuelles sur le diagramme.
Interface utilisateur d'Airflow
Pour afficher le schéma des DAG dans l'interface Web Airflow, procédez comme suit:
Dans la console Google Cloud, accédez à la page Environnements.
Dans la colonne Serveur Web Airflow, cliquez sur le lien Airflow correspondant à votre environnement.
Connectez-vous avec le compte Google disposant des autorisations appropriées.
Dans l'interface Web Airflow, la page DAG affiche la liste des DAG de votre environnement.
Pour votre DAG, suivez le lien Graph View (Vue graphique) dans la colonne Links (Liens).
Afficher le code source des DAG et des informations supplémentaires sur les DAG
Console
Vous pouvez afficher le code source de vos DAG ainsi que des informations supplémentaires telles que les identifiants des DAG et des liens vers les fichiers de définition du DAG dans le bucket de l'environnement.
Dans la console Google Cloud, accédez à la page Environnements.
Dans la colonne Liste des DAG, cliquez sur le lien DAG correspondant à votre environnement.
Sélectionnez un DAG.
Pour afficher le code source du DAG, accédez à l'onglet Diagramme.
Pour afficher des informations supplémentaires sur le DAG, accédez à l'onglet Source.
Interface utilisateur d'Airflow
Pour afficher le schéma des DAG dans l'interface Web Airflow, procédez comme suit:
Dans la console Google Cloud, accédez à la page Environnements.
Dans la colonne Serveur Web Airflow, cliquez sur le lien Airflow correspondant à votre environnement.
Connectez-vous avec le compte Google disposant des autorisations appropriées.
Dans l'interface Web Airflow, sur la page DAG, cliquez sur le nom de votre DAG.
Sur la page des détails du DAG, accédez aux onglets disponibles pour afficher des informations supplémentaires sur le DAG.