Exécuter un DAG Apache Airflow dans Cloud Composer 1
Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Ce guide de démarrage rapide explique comment créer un environnement Cloud Composer et exécuter un DAG Apache Airflow dans Cloud Composer 1.
Si vous ne connaissez pas Airflow, consultez la Tutoriel sur les concepts Airflow dans Apache Airflow pour en savoir plus sur les concepts, les objets et leur utilisation.
Si vous préférez utiliser la Google Cloud CLI, consultez Exécuter un DAG Apache Airflow dans Cloud Composer (Google Cloud CLI).
Si vous souhaitez créer un environnement à l'aide de Terraform, consultez Créer des environnements (Terraform)
Avant de commencer
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Cloud Composer API.
-
Pour obtenir les autorisations nécessaires pour suivre ce guide de démarrage rapide, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet :
-
Pour afficher, créer et gérer l'environnement Cloud Composer :
-
Administrateur de l'environnement et des objets Storage (
roles/composer.environmentAndStorageObjectAdmin
) -
Utilisateur du compte de service (
roles/iam.serviceAccountUser
)
-
Administrateur de l'environnement et des objets Storage (
-
Pour afficher les journaux :
Lecteur de journaux (
roles/logging.viewer
)
Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.
Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.
-
Pour afficher, créer et gérer l'environnement Cloud Composer :
Créez un environnement
Dans la console Google Cloud, accédez à la page Créer un environnement.
Dans le champ Nom, saisissez
example-environment
.Dans la liste déroulante Emplacement, sélectionnez une région pour l'environnement Cloud Composer. Ce guide utilise la région
us-central1
.Pour les autres options de configuration de l'environnement, utilisez les valeurs par défaut fournies.
Cliquez sur Créer et attendez que l'environnement soit créé.
Une fois l'opération terminée, une coche verte s'affiche à côté du nom de l'environnement.
Créer un fichier DAG
Un DAG Airflow est un ensemble de tâches organisées que vous souhaitez programmer et exécuter. Les DAG sont définis dans des fichiers Python standards.
Ce guide utilise un exemple de DAG Airflow défini dans le fichier quickstart.py
.
Le code Python de ce fichier effectue les opérations suivantes:
- Il crée un DAG,
composer_sample_dag
, Ce DAG s'exécute tous les jours. - Il exécute une tâche,
print_dag_run_conf
, qui imprime la configuration de l'exécution du DAG à l'aide de l'opérateur bash.
Enregistrez une copie du fichier quickstart.py
sur votre ordinateur local :
Importez le fichier DAG dans le bucket de votre environnement.
Chaque environnement Cloud Composer dispose d'un bucket Cloud Storage
au bucket qui lui est associé. Planifications Airflow dans Cloud Composer uniquement
DAG situés dans le dossier /dags
de ce bucket.
Pour planifier votre DAG, importez quickstart.py
depuis votre ordinateur local vers votre
dossier /dags
de l'environnement:
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement,
example-environment
. La page Détails de l'environnement s'ouvre.Cliquez sur Ouvrir le dossier des DAG. La page Informations sur le bucket s'ouvre.
Cliquez sur Importer des fichiers, puis sélectionnez votre copie de
quickstart.py
.Pour importer le fichier, cliquez sur Ouvrir.
Afficher le DAG
Une fois le fichier DAG importé, Airflow effectue les opérations suivantes :
- Analyse le fichier DAG que vous avez importé. L'opération peut prendre quelques minutes DAG pour être mis à la disposition d'Airflow
- Ajoute le DAG à la liste des DAG disponibles.
- Exécute le DAG selon la planification que vous avez indiquée dans le fichier DAG.
Pour vérifier que votre DAG est traité sans erreur et qu'il est disponible dans Airflow, procédez comme suit : dans l'UI du DAG. L'UI DAG est l'interface Cloud Composer permettant d'afficher les informations sur les DAG dans la console Google Cloud. Cloud Composer fournit aussi un accès à l'interface utilisateur Airflow, qui est une interface Web Airflow native ; de commande.
Attendez environ cinq minutes pour laisser à Airflow le temps de traiter le fichier DAG que vous avez importé précédemment, et pour terminer la première exécution du DAG (expliqué plus tard).
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement,
example-environment
. La page Détails de l'environnement s'ouvre.Accédez à l'onglet DAG.
Vérifier que le DAG
composer_quickstart
est présent dans la liste des DAG.
Afficher les détails de l'exécution du DAG
Une seule exécution d'un DAG est appelée exécution DAG. Airflow exécute immédiatement une exécution DAG pour l'exemple de DAG, car la date de début du fichier DAG est définie sur hier. De cette façon, Airflow rattrape les programmation.
L'exemple de DAG contient une tâche, print_dag_run_conf
, qui exécute la commande echo
dans la console. Cette commande affiche des méta-informations sur le DAG
(identifiant numérique de l'exécution du DAG).
Dans l'onglet DAG, cliquez sur
composer_quickstart
. L'onglet Exécutions de la Le DAG s'ouvre.Dans la liste des exécutions du DAG, cliquez sur la première entrée.
Les détails de l'exécution du DAG s'affichent, avec des informations sur les tâches individuelles de l'exemple de DAG.
La section Journaux de l'exécution du DAG répertorie les journaux de toutes les tâches de l'exécution du DAG. Vous pouvez voir le résultat de la commande
echo
dans les journaux.
Effectuer un nettoyage
Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud, procédez comme suit :
Supprimez les ressources utilisées dans ce tutoriel :
Supprimez l'environnement Cloud Composer.
Dans la console Google Cloud, accédez à la page Environnements.
Sélectionnez
example-environment
, puis cliquez sur Supprimer.Attendez que l'environnement soit supprimé.
Supprimez le bucket de votre environnement. La suppression de l'environnement Cloud Composer ne supprime pas son bucket.
Dans la console Google Cloud, accédez à la page Stockage > Navigateur.
Sélectionnez le bucket de l'environnement, puis cliquez sur Supprimer. Par exemple, ce bucket peut être nommé
us-central1-example-environ-c1616fe8-bucket
.
Supprimez le disque persistant de la file d'attente Redis de votre environnement. La suppression de l'environnement Cloud Composer ne supprime pas son disque persistant.
Dans la console Google Cloud, accédez à Compute Engine > Disques :
Sélectionnez le disque persistant de la file d'attente Redis de l'environnement, puis cliquez sur Supprimer.
Par exemple, ce disque peut être nommé
gke-us-central1-exampl-pvc-b12055b6-c92c-43ff-9de9-10f2cc6fc0ee
. Les disques pour Cloud Composer 1 ont toujours le typeStandard persistent disk
et la taille de 2 Go.
Étape suivante