Vous trouverez sur cette page la procédure à suivre pour créer et utiliser un déclencheur pour votre pipeline Cloud Data Fusion. Vous créez un déclencheur sur un pipeline de données, appelé pipeline en aval, pour qu'il soit exécuté à la fin d'un autre pipeline, appelé pipeline en amont. Lors de la création d'un déclencheur, vous choisissez les cas d'exécution du pipeline en aval. Lorsque l'exécution du pipeline en amont réussit, échoue, s'arrête ou toute combinaison de ces déclencheurs.
Les déclencheurs sont utiles dans les cas suivants :
- Nettoyage des données une seule fois et mise à disposition de plusieurs pipelines en aval
- Partager des informations, telles que des arguments d'exécution et des configurations de plug-ins, entre les pipelines C'est ce qu'on appelle la configuration de la charge utile.
- Disposer d'un ensemble de pipelines dynamiques pouvant s'exécuter à l'aide des données de l'heure/jour/semaine/mois, au lieu d'un pipeline statique qui doit être mis à jour à chaque exécution.
Avant de commencer
Dans Pipeline Studio, déployez les pipelines qui sont vos pipelines en amont et en aval.
Facultatif: définir les arguments d'exécution de votre pipeline en amont
Si vous souhaitez transmettre la configuration de la charge utile en tant qu'arguments d'exécution, définissez les arguments d'exécution de votre pipeline en amont.
Accédez à la page Liste. Dans l'onglet Déployé, cliquez sur le nom du pipeline en amont. La vue "Déployer" de ce pipeline s'affiche.
Cliquez sur la flèche située à droite du bouton Exécuter.
Cliquez sur le bouton + et renseignez les champs Clé et Valeur de votre argument d'exécution.
Cliquez sur Enregistrer.
Créer un déclencheur entrant sur un pipeline en aval
Créez un déclencheur sur le pipeline en aval afin qu'il s'exécute à la fin du pipeline en amont.
Accédez à la page Liste. Dans l'onglet Déployé, cliquez sur le nom du pipeline en aval. La vue "Déployer" de ce pipeline s'affiche.
Au milieu de la page, cliquez sur Déclencheurs entrants. La liste des pipelines disponibles s'affiche.
Cliquez sur le pipeline en amont. Sélectionnez un ou plusieurs états d'achèvement du pipeline en amont (Réussite, Échec ou Arrêts) comme condition de le pipeline en aval doit s'exécuter.
Si vous souhaitez que le pipeline en amont partage des informations (appelé configuration de la charge utile) avec le pipeline en aval, cliquez sur Configuration du déclencheur, puis suivez les étapes pour Transmettre la configuration de la charge utile en tant qu'arguments d'exécution. Sinon, cliquez sur Activer le déclencheur.
Transmettre la configuration de la charge utile en tant qu'arguments d'exécution
La configuration de la charge utile permet de partager des informations du pipeline en amont dans le pipeline en aval. Ces informations peuvent être, par exemple, le répertoire de sortie, le format des données ou le jour de l'exécution du pipeline. Ces informations sont ensuite utilisées par le pipeline en aval pour prendre des décisions telles que la détermination de l'ensemble de données approprié à lire.
Pour transmettre des informations du pipeline en amont au pipeline en aval, vous devez définir les arguments d'exécution du pipeline en aval avec les valeurs des arguments d'exécution ou la configuration de n'importe quel plug-in dans le pipeline en amont.
Chaque fois que le pipeline en aval est exécuté (est déclenché), sa configuration de charge utile est définie à l'aide des arguments d'exécution du pipeline en amont qui a déclenché le pipeline en aval.
Pour transmettre la configuration de la charge utile en tant qu'arguments d'exécution :
Reprenez là où vous en étiez dans la section Créer un déclencheur entrant, après avoir cliqué sur Configuration du déclencheur, tous les arguments d'exécution que vous avez définis précédemment pour le pipeline en amont. Sélectionnez les arguments d'exécution que vous souhaitez transmettre du pipeline en amont au pipeline en aval lorsque ce déclencheur est exécuté.
Cliquez sur l'onglet Configuration du plug-in pour afficher la liste des éléments qui seront transmis de votre pipeline en amont à votre pipeline en aval lorsqu'il est déclenché.
Cliquez sur Configurer et activer le déclencheur.
Tester le déclencheur de pipeline en aval
Pour tester votre déclencheur, procédez comme suit :
Accédez à la page Liste. Dans l'onglet Déployé, cliquez sur le nom du pipeline en amont. La vue "Déployer" de ce pipeline s'affiche.
Cliquez sur Exécuter.
Patientez jusqu'à la fin de l'exécution du pipeline en amont. Dans la vue Liste, accédez au pipeline en aval. Vous devriez le voir s'exécuter en raison du déclencheur que vous avez créé.