Modifier les pipelines

Cette page explique comment modifier des pipelines de traitement par lot déployés dans Cloud Data Fusion.

La modification d'un pipeline vous permet d'effectuer les opérations suivantes:

  • Ajoutez progressivement des fonctionnalités à un pipeline déployé sans créer de doublons. Par exemple, vous pouvez ajouter, supprimer ou modifier des plug-ins, puis redéployer le pipeline. La modification d'un pipeline crée une nouvelle version du même pipeline, ce qui évite une prolifération de pipelines et permet une meilleure organisation. La duplication d'un pipeline crée un pipeline portant un nom différent.
  • conserver un historique des versions modifiées ;
  • Afficher et restaurer les anciennes versions d'un pipeline
  • modifier n'importe quelle partie du pipeline, telle que sa structure, sa configuration, ses métadonnées, ses préférences et ses commentaires ;
  • Exportez un fichier JSON modifié pour un pipeline déployé.

Lorsque vous modifiez le pipeline, Cloud Data Fusion crée un brouillon qui devient la dernière version. Le nom du pipeline reste le même. Vous développez le pipeline de manière itérative, sans créer de pipelines en double avec des noms uniques. La dernière version conserve les déclencheurs, les configurations de pipeline, les arguments d'exécution, les métadonnées, les commentaires et les planifications de la version précédente. La dernière version est la version active du pipeline: elle peut être exécutée ou programmée pour s'exécuter.

Avant de commencer

  • Cloud Data Fusion permet de modifier les pipelines de traitement par lot déployés à partir de la version 6.9.1. Pour effectuer la mise à niveau vers la dernière version, consultez Mettre à niveau votre environnement Cloud Data Fusion.
  • Cloud Data Fusion ne permet pas de modifier des pipelines déployés en temps réel ni des tâches de réplication.

Modifier le pipeline

Pour modifier un pipeline par lot déployé dans Cloud Data Fusion, procédez comme suit:

  1. Accédez à votre instance :

    1. Dans la console Google Cloud, accédez à la page Cloud Data Fusion.

    2. Pour ouvrir l'instance dans Cloud Data Fusion Studio, Cliquez sur Instances, puis sur Afficher l'instance.

      Accéder à la page "Instances"

  2. Cliquez sur Liste > Déployé.

  3. Accédez au pipeline que vous souhaitez modifier, puis cliquez sur More > Edit (Plus > Modifier).

    Un nouveau brouillon du pipeline apparaît sur la page Studio.

  4. Modifiez votre pipeline. Par exemple, ajoutez un nouveau nœud d'analyse ou modifiez les propriétés d'une source.

  5. Facultatif: Pour terminer la modification du pipeline ultérieurement, cliquez sur Enregistrer.

  6. Une fois que vous avez terminé de modifier le pipeline, cliquez sur Déployer.

  7. Dans la boîte de dialogue Saisir un résumé des modifications, saisissez une description des modifications que vous avez apportées au pipeline, puis cliquez sur Déployer. Le pipeline déployé s'ouvre sur la page Pipeline.

Afficher ou restaurer une version précédente du pipeline

Pour afficher ou déployer une version précédente d'un pipeline de traitement par lot, procédez comme suit:

  1. Ouvrez votre instance dans l'interface Cloud Data Fusion.
  2. Cliquez sur Liste > Déployé.
  3. Sélectionnez un pipeline. Le pipeline apparaît sur la page Pipeline.

  4. Cliquez sur Historique.

    Une liste de l'historique des versions s'affiche.

  5. Facultatif: Pour afficher une version précédente d'un pipeline, cliquez sur Afficher.

  6. Facultatif: Pour restaurer une ancienne version du pipeline vers la dernière version, cliquez sur Restaurer.

    Cloud Data Fusion crée une nouvelle version du pipeline et l'ouvre sur la page Pipeline. Il s'agit désormais de la dernière version.

Exporter une version modifiée d'un pipeline déployé

Vous pouvez exporter la version modifiée d'un pipeline déployé sous forme de fichier JSON pour la partager avec d'autres développeurs, l'ajouter au contrôle des versions, ou la déplacer d'un environnement de développement vers un environnement de test ou de production. Par exemple, après avoir modifié un pipeline pendant les phases de développement et de débogage, vous exportez le fichier JSON, puis vous l'importez et le déployez dans un environnement de production.

Exporter la dernière version

Pour exporter la dernière version du pipeline, procédez comme suit:

  1. Ouvrez votre instance dans l'interface Cloud Data Fusion.
  2. Cliquez sur Liste > Déployé.

  3. Sélectionnez le pipeline que vous souhaitez exporter, puis cliquez sur Plus > Exporter.

    Un fichier JSON contenant les configurations de pipeline de la dernière version est enregistré localement.

Exporter une version précédente

Pour exporter les versions précédentes du pipeline, procédez comme suit:

  1. Ouvrez votre instance dans l'interface Cloud Data Fusion.
  2. Cliquez sur Liste > Déployé.
  3. Sélectionnez le pipeline. La dernière version s'ouvre sur la page Pipelines.
  4. Cliquez sur Historique.
  5. Sélectionnez la version du pipeline que vous souhaitez exporter, puis cliquez sur Afficher > Actions > Exporter.

Importer une version modifiée d'un pipeline déployé

Tous les pipelines sont exportés à l'état Draft. Les versions modifiées d'un pipeline déployé sont également importées à l'état Draft. Pour en savoir plus, consultez la section Importer un pipeline.

Supprimer une version modifiée d'un pipeline

Lorsque vous supprimez la dernière version d'un pipeline déployé, toutes les versions du pipeline déployé sont supprimées. Les versions brouillon ne sont pas supprimées.

Au lieu de cela, la version brouillon du pipeline passe à l'état Orphaned (Orphelin). Pour résoudre ce problème, déployez le brouillon de pipeline. Cloud Data Fusion crée la dernière version du pipeline.

États des pipelines modifiés

Lorsque vous modifiez des pipelines, les états suivants peuvent apparaître sur la page Brouillons de pipeline.

État Description
En cours Vous avez enregistré les modifications apportées au pipeline.
Orphelin La dernière version du pipeline a été supprimée et les brouillons associés n'appartiennent plus à un pipeline existant. Cet état peut s'afficher si quelqu'un supprime le pipeline avec le point de terminaison suivant : DELETE/v3/namespaces/NAMESPACE_ID/apps/APP_ID .
Obsolète Une version plus récente a été déployée alors que des modifications étaient en cours. Cet état peut s'afficher si un autre développeur déploie le pipeline avant que vous ayez terminé de modifier le document. Identique à l'état Brouillon obsolète qui apparaît sur la page "Pipeline".

Lorsque vous modifiez des pipelines, les états suivants peuvent apparaître sur la page Studio.

État Description
Modification en cours Vous modifiez un brouillon de pipeline.
Brouillon orphelin Quelqu'un a déployé une version plus récente pendant que vous modifiiez le pipeline.

Étapes suivantes