Cette section décrit les options Google Cloud que vous pouvez utiliser pour planifier des workflows.
Modèles de flux de travail Dataproc
Les modèles de workflows Dataproc offrent un procédé souple et convivial pour gérer et exécuter des workflows. Un modèle de workflow est une configuration de workflow réutilisable. Il définit un graphe des tâches avec des informations sur leur emplacement d'exécution.
Cloud Scheduler
Cloud Scheduler est un planificateur de tâches Cron entièrement géré, spécialement conçu pour les entreprises. Il vous permet de planifier pratiquement n'importe quelle tâche, y compris les tâches par lots, celles de big data et les opérations d'infrastructure cloud. Il permet une planification temporelle simple, par jour ou par heure, sans avoir à écrire de code.
Avantages :
Permet l'instanciation temporelle des modèles de workflow basés sur des expressions Cron familières
Aucun code à écrire
Tutoriel : Workflow utilisant Cloud Scheduler
Cloud Functions
Cloud Run Functions est une solution de calcul légère qui vous permet de créer des fonctions autonomes à usage unique qui répondent aux événements Cloud sans avoir à gérer de serveur ni d'environnement d'exécution. Vous pouvez utiliser des fonctions Cloud Run pour lancer des workflows en réponse à Pub/Sub ; ou des modifications de fichiers dans Cloud Storage. Vous pouvez utiliser des fonctions Cloud Run avec Cloud Scheduler pour les workflows qui nécessitent le calcul de paramètres temporels.
Avantages :
Permet d'instancier les workflows en réponse à des événements de données, tels que de nouveaux fichiers dans Cloud Storage ou des événements Pub/Sub.
Un codage minimal avec Dataproc est nécessaire. Go, Node.js ou Python bibliothèques clientes
Génère dynamiquement des workflows et des paramètres de workflow
Tutoriel : Workflow utilisant des fonctions Cloud Run
Cloud Composer
Cloud Composer est un service géré basé sur Apache Airflow qui vous permet de créer, planifier, surveiller et gérer des workflows.
Avantages :
Compatible avec la planification basée sur l'heure et sur des événements
Appels simplifiés à Dataproc à l'aide d'opérateurs
Génère dynamiquement des workflows et des paramètres de workflow
Crée des flux de données couvrant plusieurs produits Google Cloud
Tutoriel : Workflow utilisant Cloud Composer