Planifier des pipelines

Cette page explique comment créer une planification. pour les exécutions de pipeline. Par exemple, vous pouvez programmer l'exécution d'un pipeline tous les jours à 1h UTC.

Avant de commencer

Pour créer la planification, vous devez disposer d'un pipeline déployé dans Cloud Data Fusion. Si vous n'en avez pas, vous pouvez créer un pipeline en suivant le guide de démarrage rapide.

Pour créer, modifier ou suspendre une planification, ouvrez votre pipeline dans Cloud Data Fusion :

  1. Accédez à votre instance:

    1. Dans la console Google Cloud, accédez à la page Cloud Data Fusion.

    2. Pour ouvrir l'instance dans Cloud Data Fusion Studio, Cliquez sur Instances, puis sur Afficher l'instance.

      Accéder à la page "Instances"

  2. Accédez à la page Liste de Cloud Data Fusion.

  3. Dans l'onglet Deployed (Déployé), choisissez un pipeline.

    La page Pipeline s'ouvre. Vous pouvez créer, modifier ou suspendre une planification pour votre pipeline.

Créer la programmation

Sur la page Pipeline de Cloud Data Fusion Studio, cliquez sur Programmation.

Vous pouvez utiliser l'onglet Basique ou Avancé pour définir votre planification.

Standard

  1. Dans l'onglet Basic, saisissez les informations suivantes concernant votre programmation:

    • Fréquence, par exemple Every 5 minutes et Repeats every 30 days.
    • Heure de début, en UTC.
    • Nombre maximal d'exécutions simultanées: choisissez jusqu'à 10 exécutions. S'il y a déjà 10 pipelines en cours d'exécution, l'exécution planifiée que vous créez run.
    • Profil Compute Engine: choisissez un profil de calcul. La valeur par défaut est Profil de calcul Dataproc.

  2. Cliquez sur Enregistrer et démarrer la planification (ou sur Enregistrer la planification si vous souhaitez la démarrer ultérieurement).

Avancé

  1. Dans l'onglet Advanced (Avancé), définissez votre planification dans une syntaxe Cron.
  2. Dans le champ Nombre maximal d'exécutions simultanées, choisissez jusqu'à 10 exécutions. Si il y a déjà 10 pipelines en cours d'exécution, l'exécution planifiée que vous créez run.
  3. Cliquez sur Enregistrer et démarrer la planification (ou sur Enregistrer la planification si vous souhaitez la démarrer ultérieurement).

Modifier ou suspendre la planification

  • Vous pouvez modifier, démarrer ou suspendre une planification de pipeline à partir de l'onglet Pipeline. de Cloud Data Fusion Studio.

  • Pour suspendre la planification, cliquez sur Annuler la planification.