Planifier des pipelines

Cette page explique comment créer une planification pour vos exécutions de pipeline. Par exemple, vous pouvez planifier l'exécution quotidienne d'un pipeline à 1h UTC.

Avant de commencer

Pour créer la programmation, vous devez disposer d'un pipeline déployé dans Cloud Data Fusion. Si vous n'en avez pas, vous pouvez en créer un en suivant le guide de démarrage rapide.

Pour créer, modifier ou suspendre une planification, ouvrez votre pipeline dans Cloud Data Fusion:

  1. Dans Google Cloud Console, accédez à la page Instances.

    Accéder à la page "Instances"

  2. Cliquez sur Afficher l'instance.

    L'interface utilisateur de Cloud Data Fusion s'ouvre.

  3. Accédez à la page Liste de Cloud Data Fusion.

  4. Dans l'onglet Déployé, sélectionnez le pipeline souhaité.

    La page Pipeline s'ouvre, dans laquelle vous pouvez créer, modifier ou suspendre une planification pour votre pipeline.

Créer la programmation

Sur la page Pipeline de l'interface utilisateur de Cloud Data Fusion, cliquez sur Schedule (Planifier).

Vous pouvez utiliser l'onglet Basique ou Avancé pour définir votre planification. L'onglet Advanced (Avancé) vous permet de définir des planifications complexes à l'aide du format unix-cron.

Basic

  1. Dans l'onglet Basique, saisissez les informations suivantes sur votre planification:

    • Fréquence
    • Heure de début, spécifiée au format UTC.
    • (Facultatif) Date
    • Nombre maximal d'exécutions simultanées (jusqu'à 10 exécutions). Si dix pipelines sont déjà en cours d'exécution, l'exécution programmée que vous créez ne s'exécutera pas.
    • (Facultatif) Profil Compute Engine. Si vous laissez ce champ vide, le profil Dataproc par défaut est utilisé.
  2. Cliquez sur Enregistrer et démarrer la planification (ou sur Enregistrer la planification si vous souhaitez la démarrer plus tard).

Avancé

  1. Dans l'onglet Advanced (Avancé), définissez votre planification à l'aide du format unix-cron.

    Vous pouvez planifier l'exécution de vos pipelines plusieurs fois par jour, ou certains jours et mois de votre choix.

    Les champs de type temps présentent le format et les valeurs possibles indiquées dans le tableau suivant:

    Champ Format des valeurs valides
    Minute 0-59
    Heure 0-23
    jour du mois 1-31
    Mois 1-12
    Jour de la semaine 0-6 (dimanche : 0, lundi 1)
  2. Cliquez sur Enregistrer et démarrer la planification (ou sur Enregistrer la planification si vous souhaitez la démarrer plus tard).

Modifier ou suspendre la programmation

Vous pouvez modifier ou suspendre la programmation d'un pipeline à partir de la page Pipeline de l'interface utilisateur de Cloud Data Fusion.

  • Pour modifier la programmation, cliquez sur Configurer et mettez à jour les champs.

  • Pour suspendre la planification, cliquez sur Annuler la planification.