Nesta página, descrevemos como editar pipelines de lote implantados no Cloud Data Fusion.
Com a edição de um pipeline, você pode fazer o seguinte:
- Adicione recursos incrementalmente a um pipeline implantado sem criar cópias. Por exemplo, é possível adicionar, remover ou modificar plug-ins e, em seguida, reimplantar o pipeline. A edição de um pipeline cria uma nova versão do mesmo pipeline, o que evita a proliferação de pipelines e permite uma melhor organização. A duplicação de um pipeline cria um novo pipeline com um nome diferente.
- Mantenha um histórico das versões editadas.
- Visualizar e restaurar versões antigas de um pipeline.
- Edite qualquer parte do pipeline, como a estrutura, a configuração, os metadados, as preferências e os comentários.
- Exporte um arquivo JSON editado para um pipeline implantado.
Quando você edita o pipeline, o Cloud Data Fusion cria um novo rascunho, que se torna a versão mais recente. O nome do pipeline permanece o mesmo. Você desenvolve o pipeline de forma iterativa, sem criar pipelines duplicados com nomes exclusivos. A versão mais recente mantém os gatilhos, as configurações de pipeline, os argumentos de execução, os metadados, os comentários e as programações da versão anterior. A versão mais recente é a versão ativa do pipeline: ela pode ser executada ou programada para execução.
Antes de começar
- O Cloud Data Fusion oferece suporte à edição de pipelines em lote implantados na versão 6.9.1 e mais recente. Para fazer upgrade para a versão mais recente, consulte Fazer upgrade do ambiente do Cloud Data Fusion.
- O Cloud Data Fusion não oferece suporte à edição de pipelines de tempo real implantados ou jobs de replicação.
Editar o pipeline
Para editar um pipeline de lote implantado no Cloud Data Fusion, siga estas etapas:
- Acesse sua instância:
No console do Google Cloud, acesse a página do Cloud Data Fusion.
Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.
- Clique em Lista > Implantado.
Acesse o pipeline que você quer editar e clique em Mais > Editar.
Um novo rascunho do pipeline aparece na página Studio.
Edite seu pipeline. Por exemplo, adicione um novo nó de análise ou edite as propriedades de uma origem.
Opcional: para terminar de editar o pipeline mais tarde, clique em Salvar.
Depois de terminar de editar o pipeline, clique em Implantar.
Na caixa de diálogo Enter change summary, insira uma descrição das mudanças feitas no pipeline e clique em Deploy. O pipeline implantado é aberto na página Pipeline.
Acessar ou restaurar uma versão anterior do pipeline
Para conferir ou implantar uma versão anterior de um pipeline em lote, siga estas etapas:
- Abra sua instância na interface do Cloud Data Fusion.
- Clique em Lista > Implantado.
- Selecione um pipeline. O pipeline aparece na página Pipeline.
Clique em Histórico.
Uma lista de histórico de versões vai aparecer.
Opcional: para conferir uma versão anterior de um pipeline, clique em Visualizar.
Opcional: para restaurar uma versão mais antiga do pipeline para a versão mais recente, clique em Restaurar.
O Cloud Data Fusion cria uma nova versão do pipeline e a abre na página Pipeline. Ela é a versão mais recente.
Exportar uma versão editada de um pipeline implantado
É possível exportar a versão editada de um pipeline implantado como um arquivo JSON para compartilhar com outros desenvolvedores, adicioná-lo ao controle de versões ou movê-lo de um ambiente de desenvolvimento para um ambiente de teste ou de produção. Por exemplo, depois de editar um pipeline durante as fases de desenvolvimento e depuração, exporte o arquivo JSON e importe e implante em um ambiente de produção.
Exportar a versão mais recente
Para exportar a versão mais recente do pipeline, siga estas etapas:
- Abra sua instância na interface do Cloud Data Fusion.
- Clique em Lista > Implantado.
Selecione o pipeline que você quer exportar e clique em Mais > Exportar.
Um arquivo JSON com as configurações do pipeline da versão mais recente é salvo localmente.
Exportar uma versão anterior
Para exportar versões anteriores do pipeline, siga estas etapas:
- Abra sua instância na interface do Cloud Data Fusion.
- Clique em Lista > Implantado.
- Selecione o pipeline. A versão mais recente é aberta na página Canais.
- Clique em Histórico.
- Selecione a versão do pipeline que você quer exportar e clique em Visualizar > Ações > Exportar.
Importar uma versão editada de um pipeline implantado
Todos os pipelines são exportados no estado Draft. Versões editadas de um pipeline implantado também são importadas no estado Draft.
Para mais informações,
consulte Importar um pipeline.
Excluir uma versão editada de um pipeline
Quando você exclui a versão mais recente de um pipeline implantado, todas as versões dele são excluídas. As versões de rascunho não são excluídas.
Em vez disso, a versão do pipeline de rascunho tem o status Orphaned. Para resolver esse status, implante o pipeline de rascunho. O Cloud Data Fusion cria um novo pipeline, que é a versão mais recente.
Status dos pipelines editados
Ao editar pipelines, os seguintes status podem aparecer na página Rascunhos do pipeline.
| Status | Descrição |
|---|---|
| Em andamento | Você salvou edições no pipeline. |
| Orfãs | A versão mais recente do pipeline foi excluída, e os rascunhos associados
não pertencem mais a um pipeline. Esse status pode aparecer se alguém excluir o pipeline com o seguinte endpoint: DELETE/v3/namespaces/NAMESPACE_ID/apps/APP_ID
.
|
| Obsoleto | Uma versão mais recente foi implantada enquanto as edições estavam em andamento. Esse status pode aparecer se outro desenvolvedor implantar o pipeline antes de você terminar a edição. Isso é o mesmo que Rascunho expirado que aparece na página do pipeline. |
Ao editar pipelines, os seguintes status podem aparecer na página do Studio.
| Status | Descrição |
|---|---|
| Edição em andamento | Você está editando um pipeline de rascunho. |
| Rascunho órfão | Alguém implantou uma versão mais recente enquanto você estava editando o pipeline. |
A seguir
- Saiba como exportar e importar pipelines.