Solutions de planification des workflows

Cette section décrit les options Google Cloud que vous pouvez utiliser pour planifier des workflows.

Modèles de flux de travail Dataproc

Les modèles de workflows Dataproc offrent un procédé souple et convivial pour gérer et exécuter des workflows. Un modèle de workflow est une configuration de workflow réutilisable. Il définit un graphe des tâches avec des informations sur leur emplacement d'exécution.

Cloud Scheduler

Cloud Scheduler est un planificateur de tâches Cron entièrement géré, spécialement conçu pour les entreprises. Il vous permet de planifier pratiquement n'importe quelle tâche, y compris les tâches par lots, celles de big data et les opérations d'infrastructure cloud. Il permet une planification temporelle simple, par jour ou par heure, sans avoir à écrire de code.

Avantages :

  • Permet l'instanciation temporelle des modèles de workflow basés sur des expressions Cron familières

  • Aucun code à écrire

Tutoriel : Workflow utilisant Cloud Scheduler

Cloud Functions

Cloud Run Functions est une solution de calcul légère qui vous permet de créer des fonctions autonomes à usage unique qui répondent aux événements Cloud sans avoir à gérer de serveur ni d'environnement d'exécution. Vous pouvez utiliser des fonctions Cloud Run pour lancer des workflows en réponse à Pub/Sub ; ou des modifications de fichiers dans Cloud Storage. Vous pouvez utiliser des fonctions Cloud Run avec Cloud Scheduler pour les workflows qui nécessitent le calcul de paramètres temporels.

Avantages :

  • Permet d'instancier les workflows en réponse à des événements de données, tels que de nouveaux fichiers dans Cloud Storage ou des événements Pub/Sub.

  • Un codage minimal avec Dataproc est nécessaire. Go, Node.js ou Python bibliothèques clientes

  • Génère dynamiquement des workflows et des paramètres de workflow

Tutoriel : Workflow utilisant des fonctions Cloud Run

Cloud Composer

Cloud Composer est un service géré basé sur Apache Airflow qui vous permet de créer, planifier, surveiller et gérer des workflows.

Avantages :

  • Compatible avec la planification basée sur l'heure et sur des événements

  • Appels simplifiés à Dataproc à l'aide d'opérateurs

  • Génère dynamiquement des workflows et des paramètres de workflow

  • Crée des flux de données couvrant plusieurs produits Google Cloud

Tutoriel : Workflow utilisant Cloud Composer