Nesta página, descrevemos como editar pipelines em lote implantados no Cloud Data Fusion.
A edição de um pipeline permite fazer o seguinte:
- Adicione recursos de maneira incremental a um pipeline implantado sem criar duplicações. Por exemplo, é possível adicionar, remover ou modificar plug-ins e, em seguida, reimplantar o pipeline. Editar um pipeline cria uma nova versão do mesmo pipeline, o que impede uma proliferação de pipelines, permitindo uma organização melhor. Duplicar um pipeline cria um novo com um nome diferente.
- Mantenha um histórico das versões editadas.
- Visualize e restaure versões antigas de um pipeline.
- Editar qualquer parte do pipeline, como a estrutura, a configuração, os metadados, as preferências e os comentários.
- Exporte um arquivo JSON editado para um pipeline implantado.
Quando você edita o pipeline, o Cloud Data Fusion cria um novo rascunho, que se torna a versão mais recente. O nome do pipeline permanece o mesmo. Você desenvolve o pipeline de maneira iterativa, sem criar pipelines duplicados com nomes exclusivos. A versão mais recente mantém os gatilhos, as configurações de pipeline, os argumentos de ambiente de execução, os metadados, os comentários e as programações da versão anterior. A versão mais recente é a versão ativa do pipeline: ela pode ser executada ou programada para execução.
Antes de começar
- O Cloud Data Fusion oferece suporte à edição de pipelines de lote implantados na versão 6.9.1 e mais recentes. Se quiser fazer upgrade para a versão mais recente, consulte Fazer upgrade do ambiente do Cloud Data Fusion.
- O Cloud Data Fusion não oferece suporte à edição de pipelines implantados em tempo real ou de jobs de replicação.
Editar o pipeline
Para editar um pipeline em lote implantado no Cloud Data Fusion, siga estas etapas:
- Acesse sua instância:
No console do Google Cloud, acesse a página do Cloud Data Fusion.
Para abrir a instância no Studio do Cloud Data Fusion, clique em Instâncias e, em seguida, clique em Visualizar instância.
- Clique em Lista > Implantado.
Acesse o pipeline que você quer editar e clique em Mais > Editar.
Um novo rascunho do pipeline aparece na página do Studio.
Edite o pipeline. Por exemplo, adicione um novo nó de análise ou edite as propriedades de uma origem.
Opcional: para concluir a edição do pipeline mais tarde, clique em Salvar.
Depois de concluir a edição do pipeline, clique em Implantar.
Na caixa de diálogo Inserir resumo de alterações, insira uma descrição das alterações feitas no pipeline e clique em Implantar. O pipeline implantado é aberto na página Pipeline.
Exibir ou restaurar uma versão anterior do pipeline
Para visualizar ou implantar uma versão anterior de um pipeline em lote, siga estas etapas:
- Abra a instância na interface do Cloud Data Fusion.
- Clique em Lista > Implantado.
- Selecione um pipeline. O pipeline é exibido na página Pipeline.
Clique em Histórico.
Uma lista do histórico de versões será exibida.
Opcional: para exibir uma versão anterior de um pipeline, clique em Visualizar.
Opcional: para restaurar a versão mais recente do pipeline para uma versão mais antiga, clique em Restaurar.
O Cloud Data Fusion cria uma nova versão do pipeline e a abre na página Pipeline. Agora é a versão mais recente.
Exportar uma versão editada de um pipeline implantado
É possível exportar a versão editada de um pipeline implantado como um arquivo JSON para compartilhar com outros desenvolvedores, adicioná-la ao controle de versões ou movê-la de um ambiente de desenvolvimento para um de teste ou produção. Por exemplo, depois de editar um pipeline durante as fases de desenvolvimento e depuração, você exporta o arquivo JSON e, em seguida, importa e implanta-o em um ambiente de produção.
Exportar a versão mais recente
Para exportar a versão mais recente do pipeline, siga estas etapas:
- Abra a instância na interface do Cloud Data Fusion.
- Clique em Lista > Implantado.
Selecione o pipeline que você quer exportar e clique em Mais > Exportar.
Um arquivo JSON com as configurações de pipeline da versão mais recente é salvo localmente.
Exportar uma versão anterior
Para exportar versões anteriores do pipeline, siga estas etapas:
- Abra a instância na interface do Cloud Data Fusion.
- Clique em Lista > Implantado.
- Selecione o pipeline. A versão mais recente é aberta na página Pipelines.
- Clique em Histórico.
- Selecione a versão do pipeline que você quer exportar e clique em Visualizar > Ações > Exportar.
Importar uma versão editada de um pipeline implantado
Todos os pipelines são exportados no estado Draft. As versões editadas de um pipeline implantado
também são importadas no estado Draft.
Para mais informações, consulte Importar um pipeline.
Excluir uma versão editada de um pipeline
Quando você exclui a versão mais recente de um pipeline implantado, todas as versões dele são excluídas. As versões de rascunho não são excluídas.
Em vez disso, a versão de rascunho do pipeline terá o status Órfão. Para resolver esse status, implante o pipeline de rascunho. O Cloud Data Fusion cria um novo pipeline, que é a versão mais recente.
Status dos pipelines editados
Ao editar pipelines, os status a seguir podem aparecer na página Rascunhos de pipeline.
| Status | Descrição |
|---|---|
| Em andamento | Você salvou as edições no pipeline. |
| Órfão | A versão mais recente do pipeline foi excluída, e os rascunhos associados não pertencem mais a um pipeline atual. É possível ver esse status se alguém excluir o pipeline com o seguinte endpoint: DELETE/v3/namespaces/NAMESPACE_ID/apps/APP_ID
.
|
| Obsoleto | Uma versão mais recente foi implantada e as edições estavam em andamento. É possível ver esse status se outro desenvolvedor implantar o pipeline antes de você terminar a edição. É o mesmo que Rascunho desatualizado que aparece na página "Pipeline". |
Ao editar pipelines, os status a seguir podem aparecer na página do Studio.
| Status | Descrição |
|---|---|
| Edição em andamento | Você está editando um pipeline de rascunho. |
| Rascunho órfão | Alguém implantou uma versão mais recente enquanto você estava editando o pipeline. |
A seguir
- Saiba como exportar e importar pipelines.