Cette section décrit les options Google Cloud que vous pouvez utiliser pour planifier des workflows.
Modèles de flux de travail Dataproc
Les modèles de workflows Dataproc offrent un procédé souple et convivial pour gérer et exécuter des workflows. Un modèle de workflow est une configuration de workflow réutilisable. Il définit un graphe des tâches avec des informations sur leur emplacement d'exécution.
Cloud Scheduler
Cloud Scheduler est un planificateur de tâches Cron entièrement géré, spécialement conçu pour les entreprises. Il vous permet de planifier pratiquement n'importe quelle tâche, y compris les tâches par lots, celles de big data et les opérations d'infrastructure cloud. Il permet une planification temporelle simple, par jour ou par heure, sans avoir à écrire de code.
Avantages :
Permet l'instanciation temporelle des modèles de workflow basés sur des expressions Cron familières
Aucun code à écrire
Tutoriel : Workflow utilisant Cloud Scheduler
Cloud Functions
Cloud Functions est une solution de calcul légère qui vous permet de créer des fonctions autonomes à usage unique qui répondent aux événements Cloud sans avoir à gérer de serveur ni d'environnement d'exécution. Vous pouvez utiliser Cloud Functions pour lancer des workflows en réponse à des événements Pub/Sub ou des modifications de fichiers dans Cloud Storage. Vous pouvez utiliser Cloud Functions avec Cloud Scheduler pour les workflows nécessitant le calcul des paramètres temporels.
Avantages :
Permet d'instancier les workflows en réponse à des événements de données, tels que de nouveaux fichiers dans Cloud Storage ou des événements Pub/Sub.
Nécessite un codage minimal à l'aide des bibliothèques clientes Dataproc Go, Node.js ou Python
Génère dynamiquement des workflows et des paramètres de workflow
Tutoriel : Workflow utilisant Cloud Functions
Cloud Composer
Cloud Composer est un service géré basé sur Apache Airflow qui vous permet de créer, planifier, surveiller et gérer des workflows.
Avantages :
Compatible avec la planification basée sur l'heure et sur des événements
Appels simplifiés à Dataproc à l'aide d'opérateurs
Génère dynamiquement des workflows et des paramètres de workflow
Crée des flux de données couvrant plusieurs produits Google Cloud
Tutoriel : Workflow utilisant Cloud Composer