Cette page a été traduite par l'API Cloud Translation.
Switch to English

Qu'est-ce que Cloud Composer ?

Cette page présente Cloud Composer, la solution de Google Cloud permettant de créer et de déployer des workflows avec Apache Airflow.

Pourquoi utiliser Cloud Composer ?

Cloud Composer est un service d'orchestration de workflows entièrement géré, qui vous permet de créer des workflows s'étendant à la fois dans des clouds et des centres de données sur site. Basé sur le projet Open Source populaire Apache Airflow et sur le langage de programmation Python, Cloud Composer est facile à utiliser et permet le libre choix du fournisseur. En utilisant Cloud Composer au lieu d'une instance locale d'Apache Airflow, les utilisateurs peuvent profiter du meilleur d'Airflow sans coûts d'installation ni de gestion.

Workflows, DAG et tâches

En analyse de données, un workflow représente une série de tâches pour l'ingestion, la transformation, l'analyse ou l'utilisation de données. Dans Airflow, les workflows sont créés à l'aide de "graphes orientés acycliques" (DAG, Directed Acyclic Graph).

Un DAG est un ensemble de tâches que vous souhaitez programmer et exécuter, organisées de manière à refléter leurs relations et leurs dépendances. Les DAG sont créés dans des scripts Python, qui définissent leur structure (les tâches et leurs dépendances) à l'aide de code.

Chaque tâche d'un DAG peut représenter presque n'importe quoi. Par exemple, une tâche peut effectuer l'une des fonctions suivantes :

  • Préparer des données pour l'ingestion
  • Surveiller une API
  • Envoyer un e-mail
  • Exécuter un pipeline

Un DAG ne doit pas être lié à la fonction de chaque tâche qui le constitue : son but est de s'assurer que chaque tâche est exécutée au bon moment, dans le bon ordre ou avec la méthode appropriée de gestion des problèmes.

Pour en savoir plus sur les DAG et les tâches, consultez la documentation Apache Airflow.

Environnements

Pour exécuter des workflows, vous devez d'abord créer un environnement. Airflow dépend de l'exécution de nombreux microservices. Par conséquent, Cloud Composer provisionne des composants Google Cloud pour exécuter vos workflows. Ces composants sont collectivement désignés sous le nom d'environnement Cloud Composer.

Les environnements sont des déploiements Airflow autonomes basés sur Google Kubernetes Engine. Ils fonctionnent avec d'autres services Google Cloud à l'aide de connecteurs intégrés à Airflow. Vous pouvez créer un ou plusieurs environnements dans un même projet Google Cloud, à l'aide de n'importe quelle région compatible. Vous pouvez créer des environnements Cloud Composer dans n'importe quelle région compatible.

Consultez la page Architecture des environnements Cloud Composer pour en savoir plus sur les composants d'un environnement.

Étape suivante