Planifier des pipelines

Cette page explique comment créer une programmation pour l'exécution de votre pipeline. Par exemple, vous pouvez programmer l'exécution d'un pipeline tous les jours à 1h UTC.

Avant de commencer

Pour créer la planification, vous devez disposer d'un pipeline déployé dans Cloud Data Fusion. Si vous n'en avez pas, vous pouvez créer un pipeline en suivant le guide de démarrage rapide.

Pour créer, modifier ou suspendre une planification, ouvrez votre pipeline dans Cloud Data Fusion :

  1. Accédez à votre instance :

    1. Dans la console Google Cloud, accédez à la page Cloud Data Fusion.

    2. Pour ouvrir l'instance dans Cloud Data Fusion Studio, Cliquez sur Instances, puis sur Afficher l'instance.

      Accéder à la page "Instances"

  2. Accédez à la page Liste de Cloud Data Fusion.

  3. Dans l'onglet Deployed (Déployé), choisissez un pipeline.

    La page Pipeline s'ouvre. Vous pouvez créer, modifier ou suspendre une planification pour votre pipeline.

Créer la programmation

Sur la page Pipeline de Cloud Data Fusion Studio, cliquez sur Programmation.

Vous pouvez utiliser l'onglet Basique ou Avancé pour définir votre planification.

De base

  1. Dans l'onglet Basique, saisissez les informations suivantes concernant votre planification :

    • Fréquence, par exemple Every 5 minutes et Repeats every 30 days.
    • Heure de début, au format UTC.
    • Nombre maximal d'exécutions simultanées : choisissez jusqu'à 10 exécutions. Si dix pipelines sont déjà en cours d'exécution, l'exécution programmée que vous créez ne s'exécutera pas.
    • Profil Compute Engine : choisissez un profil de calcul. La valeur par défaut est le profil de calcul Dataproc.

  2. Cliquez sur Enregistrer et démarrer la planification (ou sur Enregistrer la planification si vous souhaitez la démarrer ultérieurement).

Avancé

  1. Dans l'onglet Advanced (Avancé), définissez votre planification dans une syntaxe Cron.
  2. Dans le champ Nombre maximal d'exécutions simultanées, choisissez jusqu'à 10 exécutions. Si dix pipelines sont déjà en cours d'exécution, l'exécution programmée que vous créez ne s'exécutera pas.
  3. Cliquez sur Enregistrer et démarrer la planification (ou sur Enregistrer la planification si vous souhaitez la démarrer ultérieurement).

Modifier ou suspendre la planification

  • Vous pouvez modifier, démarrer ou suspendre une planification de pipeline à partir de l'onglet Pipeline. de Cloud Data Fusion Studio.

  • Pour suspendre la planification, cliquez sur Annuler la planification.