Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Ce tutoriel est une modification de la section Exécuter un DAG d'analyse de données dans Google Cloud qui montre comment connecter votre environnement Cloud Composer à Microsoft Azure pour utiliser les données qui y sont stockées. Elle explique comment utiliser Cloud Composer pour créer un DAG Apache Airflow. Le DAG joint les données d'un ensemble de données public BigQuery à un fichier CSV stocké dans un stockage Blob Azure, puis exécute une job par lot Dataproc sans serveur pour traiter les données jointes.
L'ensemble de données public BigQuery de ce tutoriel est ghcn_d, une base de données intégrée de résumés climatiques du monde entier. Le fichier CSV contient des informations sur les dates et les noms des jours fériés américains de 1997 à 2021.
La question à laquelle nous voulons répondre à l'aide du DAG est la suivante: "Était-il chaud à Chicago à Thanksgiving au cours des 25 dernières années ?".
Objectifs
- Créer un environnement Cloud Composer dans la configuration par défaut
- Créer un blob dans Azure
- Créer un ensemble de données BigQuery vide
- Créer un bucket Cloud Storage
- Créer et exécuter un DAG comprenant les tâches suivantes :
- Charger un ensemble de données externe à partir d'Azure Blob Storage vers Cloud Storage
- Charger un ensemble de données externe de Cloud Storage vers BigQuery
- Joindre deux ensembles de données dans BigQuery
- Exécuter un job d'analyse de données PySpark
Avant de commencer
Activer les API
Activez les API suivantes :
Console
Activer les API Dataproc, Cloud Composer, BigQuery, Cloud Storage.
gcloud
Activer les API Dataproc, Cloud Composer, BigQuery, Cloud Storage :
gcloud services enable dataproc.googleapis.comcomposer.googleapis.com bigquery.googleapis.com storage.googleapis.com
Octroyer des autorisations
Accordez les rôles et autorisations suivants à votre compte utilisateur:
Accordez des rôles pour gérer les environnements Cloud Composer et les buckets d'environnement.
Accordez le rôle Propriétaire de données BigQuery (
roles/bigquery.dataOwner
) pour créer un ensemble de données BigQuery.Accordez le rôle Administrateur Storage (
roles/storage.admin
) pour créer un bucket Cloud Storage.
Créer et préparer votre environnement Cloud Composer
Créez un environnement Cloud Composer avec les paramètres par défaut:
- Choisissez une région basée aux États-Unis.
- Choisissez la dernière version de Cloud Composer.
Attribuez les rôles suivants au compte de service utilisé dans votre environnement Cloud Composer pour que les nœuds de calcul Airflow puissent exécuter les tâches DAG:
- Utilisateur BigQuery (
roles/bigquery.user
) - Propriétaire de données BigQuery (
roles/bigquery.dataOwner
) - Utilisateur du compte de service (
roles/iam.serviceAccountUser
) - Éditeur Dataproc (
roles/dataproc.editor
) - Nœud de calcul Dataproc (
roles/dataproc.worker
)
- Utilisateur BigQuery (
Créer et modifier des ressources associées dans Google Cloud
Installez le package PyPI
apache-airflow-providers-microsoft-azure
dans votre environnement Cloud Composer.Créez un ensemble de données BigQuery vide avec les paramètres suivants:
- Nom :
holiday_weather
- Région :
US
- Nom :
Créez un bucket Cloud Storage dans l'emplacement multirégional
US
.Exécutez la commande suivante pour activer l'accès privé à Google sur le sous-réseau par défaut de la région où vous souhaitez exécuter Dataproc sans serveur pour répondre aux exigences de mise en réseau. Nous vous recommandons d'utiliser la même région que votre environnement Cloud Composer.
gcloud compute networks subnets update default \ --region DATAPROC_SERVERLESS_REGION \ --enable-private-ip-google-access
Créer des ressources associées dans Azure
Créez un compte de stockage avec les paramètres par défaut.
Obtenez la clé d'accès et la chaîne de connexion pour votre compte de stockage.
Créez un conteneur avec des options par défaut dans le compte de stockage que vous venez de créer.
Accordez le rôle de délégué d'objets blob du stockage pour le conteneur créé à l'étape précédente.
Importez le fichier holidays.csv pour créer un blob de bloc avec des options par défaut dans le portail Azure.
Créez un jeton SAS pour le blob de bloc que vous avez créé à l'étape précédente sur le portail Azure.
- Méthode de signature: clé de délégation de l'utilisateur
- Autorisations: Lecture
- Adresse IP autorisée: aucune
- Protocoles autorisés: HTTPS uniquement
Se connecter à Azure depuis Cloud Composer
Ajoutez votre connexion Microsoft Azure à l'aide de l'interface utilisateur Airflow:
Accédez à Admin > Connexions.
Créez une connexion en utilisant la configuration suivante:
- ID de connexion:
azure_blob_connection
- Type de connexion:
Azure Blob Storage
- Blob Storage Login (Connexion au stockage Blob) : nom de votre compte de stockage
- Blob Storage Key (Clé de stockage Blob) : clé d'accès de votre compte de stockage.
- Chaîne de connexion au compte de stockage Blob:chaîne de connexion au compte de stockage
- Jeton SAS:jeton SAS généré à partir de votre blob
- ID de connexion:
Traitement des données à l'aide de Dataproc sans serveur
Explorer l'exemple de job PySpark
Le code ci-dessous est un exemple de tâche PySpark qui convertit la température en degrés Celsius en degrés Celsius. Cette tâche convertit les données de température de l'ensemble de données dans un format différent.
Importer le fichier PySpark dans Cloud Storage
Pour importer le fichier PySpark dans Cloud Storage:
Enregistrez data_analytics_process.py sur votre ordinateur local.
Dans la console Google Cloud, accédez à la page du navigateur Cloud Storage:
Cliquez sur le nom du bucket que vous avez créé précédemment.
Dans l'onglet Objets du bucket, cliquez sur le bouton Importer des fichiers, sélectionnez
data_analytics_process.py
dans la boîte de dialogue qui s'affiche, puis cliquez sur Ouvrir.
DAG d'analyse de données
Explorer l'exemple de DAG
Le DAG utilise plusieurs opérateurs pour transformer et unifier les données:
Le fichier
AzureBlobStorageToGCSOperator
transfère le fichier holidays.csv de votre blob de bloc Azure vers votre bucket Cloud Storage.Le
GCSToBigQueryOperator
ingère le fichier holidays.csv de Cloud Storage dans une nouvelle table de l'ensemble de données BigQueryholidays_weather
que vous avez créé précédemment.Le
DataprocCreateBatchOperator
crée et exécute une job par lot PySpark à l'aide de Dataproc sans serveur.Le
BigQueryInsertJobOperator
joint les données du fichier holidays.csv dans la colonne "Date" aux données météorologiques de l'ensemble de données public ghcn_d de BigQuery. Les tâchesBigQueryInsertJobOperator
sont générées de manière dynamique à l'aide d'une boucle For. Elles se trouvent dans un élémentTaskGroup
pour une meilleure lisibilité dans la vue graphique de l'interface utilisateur d'Airflow.
Utiliser l'interface utilisateur d'Airflow pour ajouter des variables
Dans Airflow, les variables constituent un moyen universel de stocker et de récupérer des paramètres ou configurations arbitraires sous la forme d'un simple magasin de paires clé-valeur. Ce DAG stocke les valeurs communes à l'aide de variables Airflow. Pour les ajouter à votre environnement:
Accédez à l'interface utilisateur d'Airflow à partir de la console Cloud Composer.
Accédez à Administration > Variables.
Ajoutez les variables suivantes :
gcp_project
: ID de votre projet.gcs_bucket
: nom du bucket que vous avez créé précédemment (sans le préfixegs://
).gce_region
: région dans laquelle vous souhaitez que votre tâche Dataproc réponde aux exigences de mise en réseau sans serveur de Dataproc. Il s'agit de la région dans laquelle vous avez précédemment activé l'accès privé à Google.dataproc_service_account
: compte de service de votre environnement Cloud Composer. Vous trouverez ce compte de service dans l'onglet de configuration de l'environnement de votre environnement Cloud Composer.azure_blob_name
: nom du blob que vous avez créé précédemment.azure_container_name
: nom du conteneur que vous avez créé précédemment.
Importer le DAG dans le bucket de votre environnement
Cloud Composer planifie les DAG situés dans le dossier /dags
du bucket de votre environnement. Pour importer le DAG à l'aide de la console Google Cloud, procédez comme suit:
Sur votre ordinateur local, enregistrez azureblobstoretogcsoperator_tutorial.py.
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, dans la colonne Dossier DAG, cliquez sur le lien DAG. Le dossier des DAG de votre environnement s'ouvre.
Cliquez sur Importer des fichiers.
Sélectionnez
azureblobstoretogcsoperator_tutorial.py
sur votre ordinateur local, puis cliquez sur Open (Ouvrir).
Déclencher le DAG
Dans votre environnement Cloud Composer, cliquez sur l'onglet DAG.
Cliquez sur l'ID de DAG
azure_blob_to_gcs_dag
.Cliquez sur Trigger DAG (Déclencher le DAG).
Attendez environ cinq à dix minutes jusqu'à ce qu'une coche verte s'affiche, indiquant que les tâches ont bien été effectuées.
Valider la réussite du DAG
Dans la console Google Cloud, accédez à la page BigQuery.
Dans le panneau Explorateur, cliquez sur le nom de votre projet.
Cliquez sur
holidays_weather_joined
.Cliquez sur "Aperçu" pour afficher la table obtenue. Notez que les chiffres de la colonne "value" sont exprimés en dixièmes de degré Celsius.
Cliquez sur
holidays_weather_normalized
.Cliquez sur "Aperçu" pour afficher la table obtenue. Notez que les valeurs de la colonne sont exprimées en degrés Celsius.
Nettoyage
Supprimez les ressources individuelles que vous avez créées pour ce tutoriel:
Supprimez le bucket Cloud Storage que vous avez créé pour ce tutoriel.
Supprimez l'environnement Cloud Composer, y compris en supprimant manuellement le bucket de l'environnement.
Étapes suivantes
- Exécutez un DAG d'analyse de données dans Google Cloud.
- Exécutez un DAG d'analyse de données dans AWS.