Orchestrer des DAG Airflow

Pour demander de l'aide ou envoyer des commentaires concernant cette fonctionnalité, envoyez un e-mail à l'adresse bigquery-orchestration-tab-feedback@google.com.

Ce document explique comment orchestrer des graphes orientés acycliques (DAG) Airflow à partir de Cloud Composer 3 (Preview) sur la page Orchestration de BigQuery. Il explique également comment déclencher des DAG manuellement et afficher l'historique et les journaux des exécutions de DAG précédentes.

À propos des DAG Airflow dans BigQuery

La page Orchestration de BigQuery fournit des outils pour orchestrer les DAG Airflow exécutés dans vos environnements Cloud Composer 3.

Les DAG Airflow que vous orchestrez dans BigQuery sont exécutés dans un ou plusieurs environnements Cloud Composer de votre projet. La page Orchestration de BigQuery combine les informations de tous les DAG Airflow de votre projet.

Lors d'une exécution de DAG, Airflow planifie et exécute les tâches individuelles qui composent un DAG dans une séquence définie par le DAG. Sur la page Orchestration de BigQuery, vous pouvez afficher l'état des exécutions de DAG précédentes, explorer les journaux détaillés de toutes les exécutions de DAG et de toutes les tâches de ces exécutions, et afficher des informations sur les DAG.

Pour en savoir plus sur les concepts fondamentaux d'Airflow, tels que les DAG Airflow, les exécutions de DAG, les tâches ou les opérateurs, consultez la page Concepts fondamentaux dans la documentation Airflow.

Pour en savoir plus sur les environnements Cloud Composer, consultez la page Présentation de Cloud Composer 3 dans la documentation Cloud Composer.

Avant de commencer

  1. Enable the Cloud Composer API.

    Enable the API

  2. Assurez-vous que votre projet Google Cloud dispose d'au moins un environnement Cloud Composer 3, avec au moins un fichier DAG déjà importé:

Autorisations requises

Pour obtenir les autorisations nécessaires pour orchestrer des DAG Airflow, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet:

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour orchestrer les DAG Airflow. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour orchestrer des DAG Airflow:

  • Pour afficher les DAG Airflow et leurs détails : composers.dags.list, composer.environments.list
  • Pour déclencher et suspendre des DAG Airflow : composers.dags.list, composer.environments.list, composer.dags.execute

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur IAM Cloud Composer 3, consultez la section Contrôle des accès avec IAM dans la documentation Cloud Composer.

Déclencher manuellement un DAG

Lorsque vous déclenchez manuellement un DAG Airflow, Airflow exécute le DAG une seule fois, indépendamment de la planification spécifiée pour le DAG.

Pour déclencher manuellement un DAG Airflow sélectionné, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Orchestration.

    Accéder à la page Orchestration

  2. Effectuez l'une des opérations suivantes :

    • Cliquez sur le nom du DAG sélectionné, puis sur la page Détails du DAG, cliquez sur Déclencher le DAG.

    • Sur la ligne contenant le DAG sélectionné, cliquez sur Afficher les actions dans la colonne Actions, puis sur Déclencher le DAG.

Afficher les journaux et les détails des exécutions de DAG

Pour afficher les détails d'un DAG Airflow sélectionné, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Orchestration.

    Accéder à la page Orchestration

  2. Cliquez sur le nom du DAG sélectionné.

  3. Sur la page Détails du DAG, sélectionnez l'onglet Détails.

  4. Pour afficher les exécutions de DAG précédentes, sélectionnez l'onglet Exécutions.

    1. Facultatif: L'onglet Exécutions affiche les exécutions de DAG des 10 derniers jours par défaut. Pour filtrer les exécutions de DAG par une autre période, sélectionnez une période dans le menu déroulant 10 jours, puis cliquez sur OK.

    2. Facultatif: Pour afficher des colonnes supplémentaires avec des détails sur l'exécution du DAG dans la liste de toutes les exécutions du DAG, cliquez sur Options d'affichage des colonnes, puis sélectionnez les colonnes et cliquez sur OK.

    3. Pour afficher les détails et les journaux d'une exécution de DAG sélectionnée, sélectionnez-la.

  5. Pour afficher une visualisation du DAG avec les dépendances de tâche, sélectionnez l'onglet Diagram (Diagramme).

    1. Pour afficher les détails d'une tâche, sélectionnez-la dans le diagramme.

  6. Pour afficher le code source du DAG, sélectionnez l'onglet Code.

  7. Facultatif: Pour actualiser les données affichées, cliquez sur Actualiser.

Afficher tous les DAG

Pour afficher les DAG Airflow de tous les environnements Cloud Composer 3 de votre projet Google Cloud, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Orchestration.

    Accéder à la page Orchestration

  2. Facultatif: Pour afficher des colonnes supplémentaires avec des informations sur le DAG, cliquez sur Options d'affichage des colonnes, puis sélectionnez les colonnes et cliquez sur OK.

Suspendre un DAG

Pour mettre en pause un DAG Airflow sélectionné, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Orchestration.

    Accéder à la page Orchestration

  2. Effectuez l'une des opérations suivantes :

    • Cliquez sur le nom du DAG sélectionné, puis sur la page Détails du DAG, cliquez sur Suspendre le DAG.

    • Sur la ligne contenant le DAG sélectionné, cliquez sur Afficher les actions dans la colonne Actions, puis sur Mettre en veille le DAG.

Dépannage

Pour savoir comment résoudre les problèmes liés aux DAG Airflow, consultez la section Dépannage des DAG Airflow de la documentation Cloud Composer.

Étape suivante