Modifier des pipelines

Cette page explique comment modifier les pipelines par lots déployés dans Cloud Data Fusion.

Lorsque vous modifiez un pipeline, vous pouvez effectuer les opérations suivantes:

  • Ajoutez des fonctionnalités de manière incrémentielle à un pipeline déployé sans créer de doublons. Par exemple, vous pouvez ajouter, supprimer ou modifier des plug-ins, puis redéployer le pipeline. La modification d'un pipeline crée une nouvelle version du même pipeline, ce qui évite la prolifération de pipelines et permet une meilleure organisation. Dupliquer un pipeline crée un pipeline avec un nom différent.
  • conserve un historique des versions modifiées ;
  • Afficher et restaurer d'anciennes versions d'un pipeline
  • Modifiez n'importe quelle partie du pipeline, comme sa structure, sa configuration, ses métadonnées, ses préférences et ses commentaires.
  • Exportez un fichier JSON modifié pour un pipeline déployé.

Lorsque vous modifiez le pipeline, Cloud Data Fusion crée un nouveau brouillon, qui devient la dernière version. Le nom du pipeline reste inchangé. Vous développez le pipeline de manière itérative, sans créer de pipelines en double avec des noms uniques. La dernière version conserve les déclencheurs, les configurations de pipeline, les arguments d'exécution, les métadonnées, les commentaires et les planifications de la version précédente. La dernière version est la version active du pipeline: elle peut être exécutée ou planifiée.

Avant de commencer

  • Cloud Data Fusion permet de modifier les pipelines de traitement par lots déployés à partir de la version 6.9.1. Pour passer à la dernière version, consultez la page Mettre à niveau votre environnement Cloud Data Fusion.
  • Cloud Data Fusion ne permet pas de modifier les pipelines en temps réel déployés ni les tâches de réplication.

Modifier le pipeline

Pour modifier un pipeline par lot déployé dans Cloud Data Fusion, procédez comme suit:

  1. Accédez à votre instance :

    1. Dans la console Google Cloud, accédez à la page Cloud Data Fusion.

    2. Pour ouvrir l'instance dans Cloud Data Fusion Studio, cliquez sur Instances, puis sur Afficher l'instance.

      Accéder à la page "Instances"

  2. Cliquez sur Liste > Déployé.

  3. Accédez au pipeline que vous souhaitez modifier, puis cliquez sur Plus > Modifier.

    Une nouvelle version du pipeline s'affiche sur la page Studio.

  4. Modifiez votre pipeline. Par exemple, ajoutez un nœud d'analyse ou modifiez les propriétés d'une source.

  5. Facultatif: Pour terminer de modifier le pipeline plus tard, cliquez sur Enregistrer.

  6. Une fois que vous avez terminé de modifier le pipeline, cliquez sur Déployer.

  7. Dans la boîte de dialogue Enter change summary (Saisir un résumé des modifications), saisissez une description des modifications que vous avez apportées au pipeline, puis cliquez sur Deploy (Déployer). Le pipeline déployé s'ouvre sur la page Pipeline.

Afficher ou restaurer une version précédente du pipeline

Pour afficher ou déployer une version précédente d'un pipeline par lot, procédez comme suit:

  1. Ouvrez votre instance dans l'interface Cloud Data Fusion.
  2. Cliquez sur Liste > Déployé.
  3. Sélectionnez un pipeline. Le pipeline apparaît sur la page Pipeline.

  4. Cliquez sur Historique.

    La liste de l'historique des versions s'affiche.

  5. Facultatif: Pour afficher une version précédente d'un pipeline, cliquez sur Afficher.

  6. Facultatif: Pour restaurer une ancienne version du pipeline vers la dernière version, cliquez sur Restaurer.

    Cloud Data Fusion crée une nouvelle version du pipeline et l'ouvre sur la page Pipeline. Il s'agit désormais de la dernière version.

Exporter une version modifiée d'un pipeline déployé

Vous pouvez exporter la version modifiée d'un pipeline déployé en tant que fichier JSON pour le partager avec d'autres développeurs, l'ajouter au contrôle des versions ou le déplacer d'un environnement de développement vers un environnement de test ou de production. Par exemple, après avoir modifié un pipeline pendant les phases de développement et de débogage, vous exportez le fichier JSON, puis l'importez et le déployez dans un environnement de production.

Exporter la dernière version

Pour exporter la dernière version du pipeline, procédez comme suit:

  1. Ouvrez votre instance dans l'interface Cloud Data Fusion.
  2. Cliquez sur Liste > Déployé.

  3. Sélectionnez le pipeline que vous souhaitez exporter, puis cliquez sur Plus> Exporter.

    Un fichier JSON contenant les configurations de pipeline de la dernière version est enregistré localement.

Exporter une version précédente

Pour exporter des versions précédentes du pipeline, procédez comme suit:

  1. Ouvrez votre instance dans l'interface Cloud Data Fusion.
  2. Cliquez sur Liste > Déployé.
  3. Sélectionnez le pipeline. La dernière version s'ouvre sur la page Pipelines.
  4. Cliquez sur Historique.
  5. Sélectionnez la version du pipeline que vous souhaitez exporter, puis cliquez sur Afficher> Actions > Exporter.

Importer une version modifiée d'un pipeline déployé

Tous les pipelines sont exportés à l'état Draft. Les versions modifiées d'un pipeline déployé sont également importées à l'état Draft. Pour en savoir plus, consultez la page Importer un pipeline.

Supprimer une version modifiée d'un pipeline

Lorsque vous supprimez la dernière version d'un pipeline déployé, toutes les versions du pipeline déployé sont supprimées. Les versions brouillons ne sont pas supprimées.

À la place, la version du pipeline en brouillon affiche l'état Orphaned (Orphelin). Pour résoudre ce problème, déployez le pipeline d'ébauche. Cloud Data Fusion crée un nouveau pipeline, qui est la dernière version.

États des pipelines modifiés

Lorsque vous modifiez des pipelines, les états suivants peuvent s'afficher sur la page Ébauches de pipeline.

État Description
En cours Vous avez enregistré des modifications apportées au pipeline.
Orphelin La dernière version du pipeline a été supprimée et les brouillons associés n'appartiennent plus à un pipeline existant. Cet état peut s'afficher si quelqu'un supprime le pipeline avec le point de terminaison suivant : DELETE/v3/namespaces/NAMESPACE_ID/apps/APP_ID .
Obsolète Une version plus récente a été déployée pendant la modification. Cet état peut s'afficher si un autre développeur déploie le pipeline avant que vous n'ayez terminé de le modifier. Il s'agit de la même valeur que Brouillon obsolète qui s'affiche sur la page "Pipeline".

Lorsque vous modifiez des pipelines, les états suivants peuvent s'afficher sur la page Studio.

État Description
Modification en cours Vous modifiez un pipeline brouillon.
Brouillon orphelin Quelqu'un a déployé une version plus récente pendant que vous modifiiez le pipeline.

Étape suivante