Planifier des pipelines

Cette page explique comment créer une programmation pour l'exécution de votre pipeline. Par exemple, vous pouvez programmer l'exécution d'un pipeline tous les jours à 1h UTC.

Avant de commencer

Pour créer la planification, vous devez disposer d'un pipeline déployé dans Cloud Data Fusion. Si vous n'en avez pas, vous pouvez créer un pipeline en suivant le guide de démarrage rapide.

Pour créer, modifier ou suspendre une planification, ouvrez votre pipeline dans Cloud Data Fusion :

  1. Dans Google Cloud Console, accédez à la page Instances.

    Accéder à la page "Instances"

  2. Cliquez sur Afficher l'instance.

    L'interface utilisateur de Cloud Data Fusion s'ouvre.

  3. Accédez à la page Liste de Cloud Data Fusion.

  4. Dans l'onglet Déployé, sélectionnez le pipeline souhaité.

    La page Pipeline s'ouvre. Vous pouvez créer, modifier ou suspendre une planification pour votre pipeline.

Créer la programmation

Sur la page Pipeline de l'interface utilisateur de Cloud Data Fusion, cliquez sur Programmer.

Vous pouvez utiliser l'onglet Basique ou Avancé pour définir votre planification. L'onglet Advanced (Avancé) vous permet de définir des planifications complexes à l'aide du format unix-cron.

De base

  1. Dans l'onglet Basique, saisissez les informations suivantes concernant votre planification :

    • Fréquence
    • Heure de début, spécifiée au format UTC.
    • Facultatif: Date
    • Nombre maximal d'exécutions simultanées (jusqu'à 10 exécutions). Si dix pipelines sont déjà en cours d'exécution, l'exécution programmée que vous créez ne s'exécutera pas.
    • Facultatif: profil Compute Engine Si vous laissez ce champ vide, le profil Dataproc par défaut est utilisé.
  2. Cliquez sur Enregistrer et démarrer la planification (ou sur Enregistrer la planification si vous souhaitez la démarrer ultérieurement).

Avancé

  1. Dans l'onglet Avancé, définissez la planification au format unix-cron.

    Vous pouvez planifier l'exécution de vos pipelines plusieurs fois par jour, ou certains jours et mois spécifiques.

    Le tableau suivant présente le format et les valeurs possibles pour les différents champs de temps :

    Champ Format des valeurs valides
    Minute 0-59
    Heure 0-23
    jour du mois 1-31
    Mois 1-12
    Jour de la semaine 06 (dimanche : 0, lundi : 1)
  2. Cliquez sur Enregistrer et démarrer la planification (ou sur Enregistrer la planification si vous souhaitez la démarrer ultérieurement).

Modifier ou suspendre la planification

Vous pouvez modifier ou suspendre une planification de pipeline à partir de la page Pipeline de l'interface utilisateur de Cloud Data Fusion.

  • Pour modifier la programmation, cliquez sur Configurer et mettez à jour les champs.

  • Pour suspendre la planification, cliquez sur Annuler la planification.