Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Ce tutoriel explique comment utiliser Cloud Composer pour créer un DAG Apache Airflow. Le DAG joint les données d'un ensemble de données public BigQuery et d'un fichier CSV stocké dans un bucket Cloud Storage, puis exécute une tâche par lot Dataproc sans serveur pour traiter les données jointes.
L'ensemble de données public BigQuery de ce tutoriel est ghcn_d, une base de données intégrée de résumés climatiques à travers le monde. Le fichier CSV contient des informations sur les dates et les noms des jours fériés américains de 1997 à 2021.
La question à laquelle nous voulons répondre à l'aide du DAG est la suivante: "Quelle température a-t-il fait à Chicago le jour de Thanksgiving au cours des 25 dernières années ?"
Objectifs
- Créer un environnement Cloud Composer avec la configuration par défaut
- Créer un ensemble de données BigQuery vide
- Créer un bucket Cloud Storage
- Créez et exécutez un DAG comprenant les tâches suivantes :
- Charger un ensemble de données externe de Cloud Storage vers BigQuery
- Associer deux ensembles de données dans BigQuery
- Exécuter un job PySpark d'analyse de données
Avant de commencer
Activer les API
Activez les API suivantes :
Console
Enable the Dataproc, Cloud Composer, BigQuery, Cloud Storage APIs.
gcloud
Enable the Dataproc, Cloud Composer, BigQuery, Cloud Storage APIs:
gcloud services enable dataproc.googleapis.comcomposer.googleapis.com bigquery.googleapis.com storage.googleapis.com
Octroyer des autorisations
Attribuez les rôles et autorisations suivants à votre compte utilisateur:
Accordez des rôles pour gérer les environnements et les buckets d'environnement Cloud Composer.
Attribuez le rôle Propriétaire de données BigQuery (
roles/bigquery.dataOwner
) pour créer un ensemble de données BigQuery.Attribuez le rôle Storage Admin (
roles/storage.admin
) pour créer un bucket Cloud Storage.
Créer et préparer votre environnement Cloud Composer
Créez un environnement Cloud Composer avec les paramètres par défaut:
- Choisissez une région située aux États-Unis.
- Sélectionnez la dernière version de Cloud Composer.
Attribuez les rôles suivants au compte de service utilisé dans votre environnement Cloud Composer afin que les nœuds de calcul Airflow puissent exécuter correctement les tâches DAG:
- Utilisateur BigQuery (
roles/bigquery.user
) - Propriétaire de données BigQuery (
roles/bigquery.dataOwner
) - Utilisateur du compte de service (
roles/iam.serviceAccountUser
) - Éditeur Dataproc (
roles/dataproc.editor
) - Nœud de calcul Dataproc (
roles/dataproc.worker
)
- Utilisateur BigQuery (
Créer des ressources associées
Créez un ensemble de données BigQuery vide avec les paramètres suivants:
- Nom :
holiday_weather
- Région :
US
- Nom :
Créez un bucket Cloud Storage dans la multirégion
US
.Exécutez la commande suivante pour activer l'accès privé à Google sur le sous-réseau par défaut de la région dans laquelle vous souhaitez exécuter Dataproc sans serveur afin de répondre aux exigences réseau. Nous vous recommandons d'utiliser la même région que votre environnement Cloud Composer.
gcloud compute networks subnets update default \ --region DATAPROC_SERVERLESS_REGION \ --enable-private-ip-google-access
Traitement des données à l'aide de Dataproc sans serveur
Explorer l'exemple de tâche PySpark
Le code ci-dessous est un exemple de tâche PySpark qui convertit la température en dixièmes de degré Celsius en degrés Celsius. Cette tâche convertit les données de température de l'ensemble de données dans un autre format.
Importer des fichiers justificatifs dans Cloud Storage
Pour importer le fichier PySpark et l'ensemble de données stockés dans holidays.csv
:
Enregistrez data_analytics_process.py sur votre machine locale.
Enregistrez holidays.csv sur votre ordinateur local.
Dans la console Google Cloud, accédez à la page du Navigateur Cloud Storage:
Cliquez sur le nom du bucket que vous avez créé précédemment.
Dans l'onglet Objets du bucket, cliquez sur le bouton Importer des fichiers, sélectionnez
data_analytics_process.py
etholidays.csv
dans la boîte de dialogue qui s'affiche, puis cliquez sur Ouvrir.
DAG d'analyse de données
Explorer l'exemple de DAG
Le DAG utilise plusieurs opérateurs pour transformer et unifier les données:
GCSToBigQueryOperator
ingère le fichier holidays.csv à partir de Cloud Storage dans une nouvelle table de l'ensemble de donnéesholidays_weather
BigQuery que vous avez créé précédemment.DataprocCreateBatchOperator
crée et exécute un job par lot PySpark à l'aide de Dataproc sans serveur.BigQueryInsertJobOperator
joint les données de holidays.csv dans la colonne "Date" aux données météorologiques de l'ensemble de données public BigQuery ghcn_d. Les tâchesBigQueryInsertJobOperator
sont générées dynamiquement à l'aide d'une boucle for. Elles se trouvent dans unTaskGroup
pour une meilleure lisibilité dans la vue Graphique de l'interface utilisateur Airflow.
Ajouter des variables via l'interface utilisateur d'Airflow
Dans Airflow, les variables sont un moyen universel de stocker et de récupérer des paramètres ou des configurations arbitraires en tant que simple magasin de clés-valeurs. Ce DAG utilise des variables Airflow pour stocker des valeurs courantes. Pour les ajouter à votre environnement:
Accédez à l'interface utilisateur d'Airflow à partir de la console Cloud Composer.
Accédez à Administration > Variables.
Ajoutez les variables suivantes :
gcp_project
: ID de votre projet.gcs_bucket
: nom du bucket que vous avez créé précédemment (sans le préfixegs://
).gce_region
: région dans laquelle vous souhaitez que votre tâche Dataproc réponde aux exigences de mise en réseau Dataproc sans serveur. Il s'agit de la région dans laquelle vous avez activé l'accès privé à Google précédemment.dataproc_service_account
: compte de service de votre environnement Cloud Composer. Vous trouverez ce compte de service dans l'onglet "Configuration de l'environnement" de votre environnement Cloud Composer.
Importer le DAG dans le bucket de votre environnement
Cloud Composer programme les DAG qui se trouvent dans le dossier /dags
du bucket de votre environnement. Pour importer le DAG à l'aide de la console Google Cloud:
Sur votre machine locale, enregistrez data_analytics_dag.py.
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, dans la colonne Dossier des DAG, cliquez sur le lien DAG. Le dossier des DAG de votre environnement s'ouvre.
Cliquez sur Importer des fichiers.
Sélectionnez
data_analytics_dag.py
sur votre machine locale, puis cliquez sur Ouvrir.
Déclencher le DAG
Dans votre environnement Cloud Composer, cliquez sur l'onglet DAG.
Cliquez sur l'ID de DAG
data_analytics_dag
.Cliquez sur Déclencher le DAG.
Attendez environ cinq à dix minutes jusqu'à ce qu'une coche verte s'affiche, indiquant que les tâches ont bien été effectuées.
Vérifier la réussite du DAG
Dans la console Google Cloud, accédez à la page BigQuery.
Dans le panneau Explorateur, cliquez sur le nom de votre projet.
Cliquez sur
holidays_weather_joined
.Cliquez sur "Aperçu" pour afficher le tableau obtenu. Notez que les nombres de la colonne "Valeur" sont exprimés en dixièmes de degré Celsius.
Cliquez sur
holidays_weather_normalized
.Cliquez sur "Aperçu" pour afficher le tableau obtenu. Notez que les nombres de la colonne "Valeur" sont exprimés en degrés Celsius.
Présentation détaillée de Dataproc sans serveur (facultatif)
Vous pouvez essayer une version avancée de ce DAG avec un flux de traitement des données PySpark plus complexe. Consultez l'extension Dataproc pour l'exemple d'analyse de données sur GitHub.
Nettoyage
Supprimez les ressources individuelles que vous avez créées pour ce tutoriel:
Supprimez le bucket Cloud Storage que vous avez créé pour ce tutoriel.
Supprimez l'environnement Cloud Composer, y compris en supprimant manuellement le bucket de l'environnement.
Étape suivante
- Exécutez un DAG d'analyse de données dans Google Cloud Utiliser les données d'AWS.
- Exécuter un DAG d'analyse de données dans Azure