Afficher les DAG, les exécutions de DAG et les tâches

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Cette page explique comment obtenir des informations sur les DAG de votre environnement.

Méthodes d'affichage des informations sur les DAG

Cloud Composer propose plusieurs façons d'obtenir des informations détaillées sur les DAG de votre environnement:

  • L'UI de DAG est une section de l'interface de la console Google Cloud permettant Cloud Composer, dédié à l'affichage et à la surveillance des DAG, des exécutions de DAG et des tâches individuelles.
  • L'interface utilisateur Airflow est l'interface Web intégrée d'Airflow.
  • La CLI Airflow est l'interface de ligne de commande d'Airflow. Toi peut obtenir des informations sur les DAG en exécutant des commandes de CLI Airflow avec gcloud

À propos de l'UI du DAG Cloud Composer

L'UI de DAG est une section de l'interface de la console Google Cloud permettant Cloud Composer, dédié à l'affichage et à la surveillance des DAG, des exécutions de DAG et des tâches individuelles.

Dans l'UI du DAG, vous pouvez:

  • Afficher la liste des DAG de votre environnement, y compris les intervalles de programmation et les DAG états et descriptions.

  • Mettre en veille, réactiver et déclencher des DAG

  • Afficher les détails d'une exécution DAG, y compris les exécutions réussies, actives et ayant échoué, et la durée depuis la dernière exécution. Pour chaque DAG, vous pouvez consulter son historique exécutions et instances de tâche associées à ce DAG spécifique, y compris les journaux pour les tâches exécutées.

  • Filtrer les détails de l'exécution du DAG Par exemple, vous pouvez choisir un intervalle de temps et créer des requêtes pour sélectionner les informations dont vous avez besoin.

  • Affichez des informations détaillées sur les tâches et les DAG individuels. Cela inclut diagrammes de DAG, informations sur les tâches d'un DAG, DAG le code source et les informations supplémentaires sur les DAG.

Avant de commencer

  • Assurez-vous que votre compte dispose d'un rôle permettant d'accéder à l'UI du DAG et d'afficher le DAG plus de détails. Pour plus d'informations, consultez la section Contrôle des accès.

  • L'interface utilisateur du DAG nécessite une sérialisation DAG activée.

  • L'UI du DAG est compatible avec Cloud Composer 1.17.8 et versions ultérieures versions.

Afficher la liste des DAG pour votre environnement

Console

L'onglet DAG de votre environnement affiche la liste des DAG et les DAG les détails d'exécution de chaque DAG.

Pour afficher la liste des DAG:

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la colonne Liste des DAG, cliquez sur le lien DAG correspondant à votre environnement.

Vous pouvez utiliser des filtres pour n'afficher les détails que pour certains DAG ou pour certaines conditions. Exemple :

  1. Sélectionnez le champ Filtres.
  2. Dans la liste déroulante, sélectionnez la propriété DAG id.
  3. Spécifiez l'identifiant du DAG. Les résultats n'affichent que les détails le DAG sélectionné.
  4. (Facultatif) Pour inclure d'autres DAG, ajoutez des opérateurs OR suivis des ID des DAG.
  5. (Facultatif) Pour appliquer un filtre en fonction d'autres conditions, ajoutez d'autres propriétés dans le champ Filtres. Par exemple, vous pouvez filtrer les DAG dont les erreurs s'exécute en spécifiant Failed runs:>0.

Interface utilisateur d'Airflow

Pour afficher la liste des DAG dans l'interface Web Airflow, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la colonne Serveur Web Airflow, cliquez sur le lien Airflow correspondant à votre environnement.

  3. Connectez-vous avec le compte Google disposant des autorisations appropriées.

  4. Dans l'interface Web d'Airflow, sur la page DAG, une liste des DAG pour votre environnement s'affiche.

gcloud

Dans Airflow 1.10.*, exécutez la commande de CLI Airflow list_dags :

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dags

Dans Airflow 2, exécutez la commande de CLI Airflow dags list :

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

Remplacez :

  • ENVIRONMENT_NAME par le nom de l'environnement.
  • LOCATION par la région dans laquelle se trouve l'environnement.

Afficher l'historique des exécutions et des tâches du DAG

Console

L'onglet Exécutions de la page Détails du DAG affiche l'historique des exécutions du DAG pour un DAG individuel.

Pour afficher l'historique des exécutions du DAG:

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la colonne Liste des DAG, cliquez sur le lien DAG correspondant à votre environnement.

  3. Sélectionnez un DAG.

  4. Sur la page Détails du DAG, accédez à l'onglet Exécutions.

  5. Sélectionnez une exécution de DAG dans la liste pour afficher les détails de cette exécution, comme la l'état des instances de tâche pour cette exécution du DAG, le nombre d'essais la durée d'exécution. Vous pouvez sélectionner des tâches individuelles à afficher les journaux d'instance de tâche.

Interface utilisateur d'Airflow

Pour afficher la liste des DAG dans l'interface Web Airflow, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la colonne Serveur Web Airflow, cliquez sur le lien Airflow correspondant à votre environnement.

  3. Connectez-vous avec le compte Google disposant des autorisations appropriées.

  4. Dans le menu de l'interface Web Airflow, sélectionnez Parcourir > Exécutions DAG. La page Exécutions DAG affiche Exécutions DAG pour votre environnement. Vous pouvez suivre le lien dans l'ID d'exécution. pour obtenir des informations supplémentaires sur les tâches.

gcloud

Dans Airflow 1.10.*, exécutez la commande de CLI Airflow list_dag_runs :

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dag_runs -- DAG_ID

Dans Airflow 2, exécutez la commande de CLI Airflow dags list-runs :

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

Remplacez :

  • ENVIRONMENT_NAME par le nom de l'environnement.
  • LOCATION par la région dans laquelle se trouve l'environnement.
  • DAG_ID par le nom du DAG.

Vous pouvez obtenir des informations supplémentaires sur les instances de tâche en exécutant les commandes de CLI Airflow tasks state et tasks states-for-dag-run.

Pour en savoir plus, consultez les pages Accéder à la CLI Airflow et le Documentation de référence sur la CLI Airflow pour Airflow 1 et Airflow 2.

Afficher les diagrammes des DAG

Console

L'onglet Diagram (Diagramme) de la page Détails du DAG affiche la visualisation d'un DAG avec des dépendances de tâches

Pour afficher le schéma d'un DAG:

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la colonne Liste des DAG, cliquez sur le lien DAG correspondant à votre environnement.

  3. Sélectionnez un DAG.

  4. Sur la page Détails du DAG, accédez à l'onglet Diagramme.

  5. (Facultatif) Pour afficher des informations supplémentaires sur les tâches, sélectionnez des tâches individuelles dans le diagramme.

Interface utilisateur d'Airflow

Pour afficher le schéma d'un DAG dans l'interface Web Airflow, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la colonne Serveur Web Airflow, cliquez sur le lien Airflow correspondant à votre environnement.

  3. Connectez-vous avec le compte Google disposant des autorisations appropriées.

  4. Dans l'interface Web d'Airflow, sur la page DAG, une liste des DAG pour votre environnement s'affiche.

  5. Dans la colonne Liens de votre DAG, cliquez sur le lien Vue graphique.

Afficher le code source des DAG et des informations supplémentaires sur les DAG

Console

Vous pouvez afficher le code source de vos DAG et d'autres informations telles que Identifiants des DAG et liens vers les fichiers de définition des DAG dans le bucket.

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la colonne Liste des DAG, cliquez sur le lien DAG correspondant à votre environnement.

  3. Sélectionnez un DAG.

  4. Pour afficher le code source du DAG, accédez à l'onglet Diagram (Diagramme).

  5. Pour afficher des informations supplémentaires sur le DAG, accédez à l'onglet Source.

Interface utilisateur d'Airflow

Pour afficher le schéma d'un DAG dans l'interface Web Airflow, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la colonne Serveur Web Airflow, cliquez sur le lien Airflow correspondant à votre environnement.

  3. Connectez-vous avec le compte Google disposant des autorisations appropriées.

  4. Sur la page DAG de l'interface Web Airflow, cliquez sur le nom votre DAG.

  5. Sur la page contenant les détails du DAG, accédez aux onglets disponibles pour les afficher. des informations supplémentaires sur le DAG.

Étape suivante