Cette page décrit les principes de base du déploiement et de l'exécution de pipelines dans Cloud Data Fusion.
Déployer des pipelines
Une fois que vous avez terminé de concevoir et de déboguer un pipeline de données et que vous êtes satisfait des données que vous voyez dans l'aperçu, vous êtes prêt à déployer le pipeline.
Lorsque vous déployez le pipeline, Cloud Data Fusion Studio crée le workflow et les tâches Apache Spark correspondantes en arrière-plan.
Exécuter des pipelines
Après avoir déployé un pipeline, vous pouvez l'exécuter de différentes manières:
- Pour exécuter un pipeline à la demande, ouvrez un pipeline déployé et cliquez sur Run (Exécuter).
- Pour planifier l'exécution du pipeline à une heure précise, ouvrez un pipeline déployé et cliquez sur Programmer.
- Pour déclencher le pipeline lorsqu'un autre pipeline est terminé, ouvrez un pipeline déployé et cliquez sur Déclencheurs entrants.
Pipeline Studio enregistre l'historique d'un pipeline à chaque exécution. Vous pouvez basculer entre différentes versions d'exécution du pipeline.
Si le pipeline comporte des macros, définissez les arguments d'exécution pour chaque macro. Vous pouvez également examiner et modifier les configurations du pipeline avant d'exécuter le pipeline déployé. Vous pouvez observer le changement d'état au cours des phases d'exécution du pipeline, telles que Provisionnement, Démarrage, Exécution et Réussie. Vous pouvez également arrêter le pipeline à tout moment.
Si vous activez l'instrumentation, vous pouvez explorer les métriques générées par le pipeline en cliquant sur Properties (Propriétés) sur n'importe quel nœud de votre pipeline, tel qu'une source, une transformation ou un récepteur.
Pour en savoir plus sur les exécutions du pipeline, cliquez sur Résumé.
Étapes suivantes
- Apprenez-en plus sur les configurations de pipelines.