Nesta página, descrevemos como fazer upgrade da versão de instâncias ou pipelines em lote.
Faça upgrade das instâncias do Cloud Data Fusion e dos pipelines em lote para as versões mais recentes da plataforma e do plug-in. Assim, você terá acesso a recursos, correções de bugs e melhorias de desempenho mais recentes.
Antes de começar
- Planeje um tempo de inatividade programado para o upgrade. O processo leva até uma hora.
-
No Console do Google Cloud, ative o Cloud Shell.
Limitações
Depois de criar uma instância do Cloud Data Fusion, não será possível alterar a edição dela, mesmo com uma operação de upgrade.
Não há suporte para o upgrade de pipelines em tempo real, exceto em pipelines criados na versão 6.8.0 com uma fonte em tempo real do Kafka. Como solução alternativa, consulte Como fazer upgrade de pipelines em tempo real.
O Cloud Data Fusion não reinicia pipelines que são interrompidos como resultado da operação de upgrade.
Fazer upgrade das instâncias do Cloud Data Fusion
Para fazer upgrade de uma instância do Cloud Data Fusion para uma nova versão do Cloud Data Fusion, acesse a página Detalhes da instância:
No console do Google Cloud, acesse a página do Cloud Data Fusion.
Clique em Instâncias e no nome da instância para acessar a página Detalhes da instância.
Em seguida, faça o upgrade usando o console do Google Cloud ou a CLI gcloud:
Console
Clique em Fazer upgrade para ver uma lista das versões disponíveis.
Selecione uma versão.
Clique em Fazer upgrade.
Verifique se o upgrade foi concluído:
Atualize a página Detalhes da instância.
Clique em Visualizar instância para acessar a instância atualizada na interface da Web do Cloud Data Fusion.
Clique em Administrador do sistema na barra de menus.
O novo número da versão é exibido na parte superior da página.
Para evitar que os pipelines fiquem travados quando você os executar na nova versão, conceda os papéis necessários na instância atualizada.
gcloud
Para fazer upgrade para uma nova versão do Cloud Data Fusion, execute o seguinte comando da CLI gcloud em uma sessão do Cloud Shell no terminal local:
gcloud beta data-fusion instances update \ --project= \ --location= \ --version=
Opcional: se aplicável à sua instância, adicione as sinalizações
--enable_stackdriver_logging
,--enable_stackdriver_monitoring
e--labels
.Opcional: é possível transmitir as propriedades do CDAP, por exemplo,
enable.unrecoverable.reset
, como--options
.
Verifique se o upgrade foi concluído seguindo estas etapas:
No console do Google Cloud, acesse a página Instâncias do Cloud Data Fusion.
Clique em Visualizar instância para acessar a instância atualizada na interface da Web do Cloud Data Fusion.
Clique em Administrador do sistema na barra de menus.
O novo número da versão é exibido na parte superior da página.
Para evitar que os pipelines fiquem travados quando você os executar na nova versão, conceda os papéis necessários na instância atualizada.
Atualizar pipelines em lote
Para fazer upgrade dos pipelines em lote do Cloud Data Fusion para usar as versões mais recentes do plug-in:
Recomendado:faça backup de todos os pipelines. É possível fazer backup de pipelines de duas maneiras:
Faça o download do arquivo ZIP seguindo estas etapas:
- Para acionar o download de um arquivo ZIP, faça backup de todos os pipelines com o seguinte comando:
echo $CDAP_ENDPOINT/v3/export/apps
- Copie a saída do URL no navegador.
- Extraia o arquivo salvo e confirme se todos os pipelines foram exportados. Os pipelines são organizados por namespace.
Faça backup de pipelines usando o gerenciamento de controle de origem (SCM), disponível na versão 6.9 e posteriores. O SCM fornece integração com o GitHub, que pode ser usada para fazer backup de pipelines.
Faça upgrade dos pipelines seguindo estas etapas:
Crie uma variável que aponte para o arquivo
pipeline_upgrade.json
que você criará na próxima etapa para salvar uma lista de pipelines.export PIPELINE_LIST=PATH/pipeline_upgrade.json
Substitua PATH pelo caminho do arquivo.
Crie uma lista de todos os pipelines para uma instância e um namespace usando o comando a seguir. O resultado é armazenado no arquivo
$PIPELINE_LIST
no formatoJSON
. É possível editar a lista para remover pipelines que não precisam de upgrades.curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST
Substitua NAMESPACE_ID pelo namespace em que você quer que o upgrade aconteça.
Faça upgrade dos pipelines listados em
pipeline_upgrade.json
. Insira o NAMESPACE_ID de pipelines para upgrade. O comando exibe uma lista de pipelines atualizados com o status de upgrade.curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST
Substitua NAMESPACE_ID pelo ID de namespace dos pipelines que estão sendo atualizados.
Para evitar que os pipelines fiquem travados quando você os executar na nova versão, conceda os papéis necessários na instância atualizada.
Fazer upgrade de pipelines em tempo real
Não há suporte para o upgrade de pipelines em tempo real, exceto em pipelines criados na versão 6.8.0 com uma fonte em tempo real do Kafka.
Para todo o restante, faça o seguinte:
- Interrompa e exporte os pipelines.
- Fazer upgrade da instância.
- Importar os pipelines em tempo real para a instância atualizada.
Fazer upgrade para ativar a replicação
A replicação pode ser ativada em ambientes do Cloud Data Fusion na versão 6.3.0 ou posterior. Se você tiver a versão 6.2.3, faça upgrade para a 6.3.0 e, em seguida, faça upgrade para a versão mais recente. Depois, você pode ativar a replicação.
Concede papéis a instâncias atualizadas
Após a conclusão do upgrade, conceda o papel Executor do Cloud Data Fusion (roles/datafusion.runner
) e o papel de administrador do Cloud Storage (roles/storage.admin
) à conta de serviço do Dataproc no projeto.
A seguir
- Gerencie revisões de patch para instâncias do Cloud Data Fusion.
- Saiba mais sobre o controle de versões no Cloud Data Fusion.
- Consulte os upgrades de revisão de versão e patch disponíveis.
- Resolver problemas de upgrades