Edite pipelines

Esta página descreve como editar pipelines de processamento em lote implementados no Cloud Data Fusion.

A edição de um pipeline permite-lhe fazer o seguinte:

  • Adicionar funcionalidades de forma incremental a um pipeline implementado sem criar duplicados. Por exemplo, pode adicionar, remover ou modificar plug-ins e, em seguida, reimplementar o pipeline. A edição de um pipeline cria uma nova versão do mesmo pipeline, o que evita a proliferação de pipelines e permite uma melhor organização. A duplicação de um pipeline cria um novo pipeline com um nome diferente.
  • Manter um histórico das versões editadas.
  • Ver e restaurar versões antigas de um pipeline.
  • Editar qualquer parte do pipeline, como a estrutura do pipeline, a configuração, os metadados, as preferências e os comentários.
  • Exporte um ficheiro JSON editado para um pipeline implementado.

Quando edita o pipeline, o Cloud Data Fusion cria um novo rascunho, que se torna a versão mais recente. O nome do pipeline permanece igual. Desenvolve o pipeline de forma iterativa, sem criar pipelines duplicados com nomes únicos. A versão mais recente retém os acionadores, as configurações do pipeline, os argumentos de tempo de execução, os metadados, os comentários e os agendamentos da versão anterior. A versão mais recente é a versão ativa do pipeline: pode ser executada ou agendada para execução.

Antes de começar

  • O Cloud Data Fusion suporta a edição de pipelines em lote implementados na versão 6.9.1 e posteriores. Para atualizar para a versão mais recente, consulte o artigo Atualize o seu ambiente do Cloud Data Fusion.
  • O Cloud Data Fusion não suporta a edição de pipelines em tempo real implementados nem de tarefas de replicação.

Edite a conduta

Para editar um pipeline de processamento em lote implementado no Cloud Data Fusion, siga estes passos:

  1. Aceda à sua instância:

    1. Na Google Cloud consola, aceda à página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e, de seguida, em Ver instância.

      Aceda a Instâncias

  2. Clique em Lista > Implementado.

  3. Aceda ao pipeline que quer editar e clique em Mais > Editar.

    É apresentada uma nova versão do rascunho da pipeline na página Studio.

  4. Edite o pipeline. Por exemplo, adicione um novo nó de estatísticas ou edite as propriedades de uma origem.

  5. Opcional: para terminar a edição do pipeline mais tarde, clique em Guardar.

  6. Depois de terminar a edição do pipeline, clique em Implementar.

  7. Na caixa de diálogo Introduza o resumo das alterações, introduza uma descrição das alterações que fez no pipeline e clique em Implementar. O pipeline implementado é aberto na página Pipeline.

Veja ou restaure uma versão anterior do pipeline

Para ver ou implementar uma versão anterior de um pipeline em lote, siga estes passos:

  1. Abra a sua instância na interface do Cloud Data Fusion.
  2. Clique em Lista > Implementado.
  3. Selecione um pipeline. O pipeline é apresentado na página Pipeline.

  4. Clique em Histórico.

    É apresentada uma lista do histórico de versões.

  5. Opcional: para ver uma versão anterior de um pipeline, clique em Ver.

  6. Opcional: para restaurar uma versão mais antiga do pipeline para a versão mais recente, clique em Restaurar.

    O Cloud Data Fusion cria uma nova versão do pipeline e abre-a na página Pipeline. Agora, é a versão mais recente.

Exporte uma versão editada de um pipeline implementado

Pode exportar a versão editada de um pipeline implementado como um ficheiro JSON para partilhar com outros programadores, adicioná-lo ao controlo de versões ou movê-lo de um ambiente de desenvolvimento para um ambiente de teste ou de produção. Por exemplo, depois de editar um pipeline durante as fases de desenvolvimento e depuração, exporta o ficheiro JSON e, em seguida, importa-o e implementa-o num ambiente de produção.

Exporte a versão mais recente

Para exportar a versão mais recente do pipeline, siga estes passos:

  1. Abra a sua instância na interface do Cloud Data Fusion.
  2. Clique em Lista > Implementado.

  3. Selecione o pipeline que quer exportar e clique em Mais > Exportar.

    É guardado localmente um ficheiro JSON com as configurações do pipeline da versão mais recente.

Exporte uma versão anterior

Para exportar versões anteriores do pipeline, siga estes passos:

  1. Abra a sua instância na interface do Cloud Data Fusion.
  2. Clique em Lista > Implementado.
  3. Selecione o pipeline. A versão mais recente é aberta na página Pipelines.
  4. Clique em Histórico.
  5. Selecione a versão do pipeline que quer exportar e clique em Ver > Ações > Exportar.

Importe uma versão editada de um pipeline implementado

Todos os pipelines são exportados no estado Draft. As versões editadas de um pipeline implementado também são importadas no estado Draft. Para mais informações, consulte o artigo Importe um pipeline.

Elimine uma versão editada de um pipeline

Quando elimina a versão mais recente de um pipeline implementado, todas as versões do pipeline implementado são eliminadas. As versões de rascunho não são eliminadas.

Em alternativa, a versão de rascunho do pipeline tem o estado Órfão. Para resolver este estado, implemente o pipeline de rascunho. O Cloud Data Fusion cria um novo pipeline, que é a versão mais recente.

Estados para pipelines editados

Quando edita pipelines, podem ser apresentados os seguintes estados na página Rascunhos de pipelines.

Estado Descrição
Em curso Guardou edições na conduta.
Órfão A versão mais recente do pipeline foi eliminada e os rascunhos associados já não pertencem a um pipeline existente. Pode ver este estado se alguém eliminar o pipeline com o seguinte ponto final: DELETE/v3/namespaces/NAMESPACE_ID/apps/APP_ID .
Obsoleto Foi implementada uma versão mais recente enquanto as edições estavam em curso. Pode ver este estado se outro programador implementar o pipeline antes de terminar a edição. Isto é o mesmo que Rascunho desatualizado que aparece na página Pipeline.

Quando edita pipelines, podem aparecer os seguintes estados na página do Studio.

Estado Descrição
Edição em curso Está a editar um pipeline de rascunho.
Rascunho órfão Alguém implementou uma versão mais recente enquanto estava a editar o pipeline.

O que se segue?