Solutions de planification des workflows

Cette section décrit les options Google Cloud que vous pouvez utiliser pour planifier des workflows.

Modèles de flux de travail Dataproc

Les modèles de workflows Dataproc offrent un procédé souple et convivial pour gérer et exécuter des workflows. Un modèle de workflow est une configuration de workflow réutilisable. Il définit un graphe des tâches avec des informations sur leur emplacement d'exécution.

Cloud Scheduler

Cloud Scheduler est un planificateur de tâches Cron entièrement géré, spécialement conçu pour les entreprises. Il vous permet de planifier pratiquement n'importe quelle tâche, y compris les tâches par lots, celles de big data et les opérations d'infrastructure cloud. Il permet une planification temporelle simple, par jour ou par heure, sans avoir à écrire de code.

Avantages :

  • Permet l'instanciation temporelle des modèles de workflow basés sur des expressions Cron familières

  • Aucun code à écrire

Tutoriel : Workflow utilisant Cloud Scheduler

Cloud Functions

Cloud Functions est une solution de calcul légère qui vous permet de créer des fonctions autonomes à usage unique qui répondent aux événements Cloud sans avoir à gérer de serveur ni d'environnement d'exécution. Vous pouvez utiliser Cloud Functions pour lancer des workflows en réponse à des événements Pub/Sub ou des modifications de fichiers dans Cloud Storage. Vous pouvez utiliser Cloud Functions avec Cloud Scheduler pour les workflows nécessitant le calcul des paramètres temporels.

Avantages :

  • Permet d'instancier les workflows en réponse à des événements de données, tels que de nouveaux fichiers dans Cloud Storage ou des événements Pub/Sub.

  • Nécessite un codage minimal à l'aide des bibliothèques clientes Dataproc Go, Node.js ou Python

  • Génère dynamiquement des workflows et des paramètres de workflow

Tutoriel : Workflow utilisant Cloud Functions

Cloud Composer

Cloud Composer est un service géré basé sur Apache Airflow qui vous permet de créer, planifier, surveiller et gérer des workflows.

Avantages :

  • Compatible avec la planification basée sur l'heure et sur des événements

  • Appels simplifiés à Dataproc à l'aide d'opérateurs

  • Génère dynamiquement des workflows et des paramètres de workflow

  • Crée des flux de données couvrant plusieurs produits Google Cloud