Planifier des pipelines

Cette page explique comment créer une programmation pour l'exécution de votre pipeline. Par exemple, vous pouvez programmer l'exécution d'un pipeline tous les jours à 1h UTC.

Avant de commencer

Pour créer la planification, vous devez disposer d'un pipeline déployé dans Cloud Data Fusion. Si vous n'en avez pas, vous pouvez créer un pipeline en suivant le guide de démarrage rapide.

Pour créer, modifier ou suspendre une planification, ouvrez votre pipeline dans Cloud Data Fusion :

  1. Accédez à votre instance :

    1. Dans la console Google Cloud , accédez à la page Cloud Data Fusion.

    2. Pour ouvrir l'instance dans Cloud Data Fusion Studio, cliquez sur Instances, puis sur Afficher l'instance.

      Accéder à la page "Instances"

  2. Accédez à la page Liste de Cloud Data Fusion.

  3. Dans l'onglet Déployé, choisissez un pipeline.

    La page Pipeline s'ouvre. Vous pouvez créer, modifier ou suspendre une planification pour votre pipeline.

Créer la programmation

Sur la page Pipeline de Cloud Data Fusion Studio, cliquez sur Programmer.

Vous pouvez utiliser l'onglet Basique ou Avancé pour définir votre planification.

De base

  1. Dans l'onglet Basique, saisissez les informations suivantes concernant votre planification:

    • Fréquence, par exemple Every 5 minutes et Repeats every 30 days.
    • Heure de début, au format UTC.
    • Nombre maximal d'exécutions simultanées: choisissez jusqu'à 10 exécutions. Si dix pipelines sont déjà en cours d'exécution, l'exécution programmée que vous créez ne s'exécutera pas.
    • Profil Compute Engine: choisissez un profil de calcul. La valeur par défaut est le profil de calcul Dataproc.
  2. Cliquez sur Enregistrer et démarrer la planification (ou sur Enregistrer la planification si vous souhaitez la démarrer ultérieurement).

Avancé

  1. Dans l'onglet Avancé, définissez votre planification dans la syntaxe Cron.
  2. Dans le champ Nombre maximal d'exécutions simultanées, choisissez jusqu'à 10 exécutions. Si dix pipelines sont déjà en cours d'exécution, l'exécution programmée que vous créez ne s'exécutera pas.
  3. Cliquez sur Enregistrer et démarrer la planification (ou sur Enregistrer la planification si vous souhaitez la démarrer ultérieurement).

Modifier ou suspendre la planification

  • Vous pouvez modifier, démarrer ou suspendre une planification de pipeline à partir de la page Pipeline de Cloud Data Fusion Pipeline Studio.

  • Pour suspendre la planification, cliquez sur Annuler la planification.