Como fazer upgrade de instâncias e pipelines

Objetivo: fazer upgrade da versão do Cloud Data Fusion para suas instâncias ou pipelines em lote.

Atualize as instâncias do Cloud Data Fusion e os pipelines em lote para as versões mais recentes da plataforma e do plug-in e receba os recursos mais recentes, correções de bugs e melhorias de desempenho. O processo de upgrade envolve inatividade da instância e do pipeline (consulte Antes de começar).

Pipelines de streaming: o upgrade de pipelines em tempo real não é compatível. Em vez disso, você interrompe e exporta os pipelines, faz upgrade da instância e importa os pipelines em tempo real para a instância atualizada.

Antes de começar

• Planeje um período de inatividade programado para o upgrade. O processo leva até uma hora.

• Recomendado: antes de fazer upgrade, interrompa todos os pipelines em execução e desative todos os gatilhos upstream, como os acionadores do Cloud Composer. Quando o upgrade é iniciado, todos os pipelines em execução são interrompidos. Se você fizer upgrade para as versões 6.3 e posteriores, se algum pipeline estiver sendo executado com antecedência, o Cloud Data Fusion não as reiniciará. Nas versões anteriores, o Cloud Data Fusion tenta reiniciá-los.

• Instalar o SDK do Cloud.

• Instale curl.

Observação: o SDK do Cloud e o curl estão pré-instalados no Cloud Shell.

Como fazer upgrade de instâncias do Cloud Data Fusion

Para fazer upgrade de uma instância do Cloud Data Fusion para uma nova versão do Cloud Data Fusion:

1. No Console do Cloud, abra a página Instâncias.

   Abrir a página "Instâncias"

2. Clique em Instance Name para abrir a página Detalhes da instância. Nesta página, você encontra informações sobre instâncias, incluindo instance id, region, version atual do Cloud Data Fusion, configurações de geração de registros e monitoramento e rótulos de instância.

   

Em seguida, realize o upgrade usando o Console do Cloud ou a ferramenta de linha de comando gcloud:

Console

1. Clique em Fazer upgrade para ver uma lista das versões disponíveis.

2. Selecione a versão de sua preferência.

3. Clique em Fazer upgrade.

4. Clique em Visualizar instância para acessar a instância atualizada.

5. Verifique se o upgrade foi bem-sucedido. Para isso, atualize a página Detalhes da instância e clique em Administrador do sistema na barra de menu. O novo número da versão é exibido na parte superior da página.

6. Para evitar que os pipelines fiquem presos quando forem executados na nova versão, conceda os papéis necessários na sua instância com upgrade.

gcloud

1. Execute o seguinte comando gcloud a partir de uma sessão do Cloud Shell de terminal local para fazer upgrade para uma nova versão do Cloud Data Fusion. Adicione as sinalizações --enable_stackdriver_logging, --enable_stackdriver_monitoring e --labels, se elas se aplicarem ao seu instância.

   gcloud beta data-fusion instances update \
       --project=PROJECT_ID \
       --location=REGION \
       --version=NEW_VERSION_NUMBER
   

2. Após a conclusão do comando, verifique se o upgrade foi bem-sucedido. No Console do Cloud, atualize a página Detalhes da instância e clique em Administrador do sistema na barra de menu. O novo número aparece na parte superior da página.

3. Para evitar que os pipelines fiquem presos quando forem executados na nova versão, conceda os papéis necessários na sua instância com upgrade.

Como fazer upgrade de pipelines em lote

Para fazer upgrade dos pipelines em lote do Cloud Data Fusion para usar as versões mais recentes do plug-in:

1. Definir as variáveis de ambiente.

2. Recomendado: faça backup de todos os pipelines.

   1. Execute o seguinte comando e copie a saída do URL para seu navegador para acionar um download de arquivo ZIP.

      echo $CDAP_ENDPOINT/v3/export/apps
      

   2. Descompacte o arquivo baixado e confirme se todos os pipelines foram exportados. Os pipelines são organizados por namespace.

3. Fazer upgrade de pipelines.

   1. Crie uma variável que aponte para o arquivo pipeline_upgrade.json que você criará na próxima etapa para salvar uma lista de pipelines (insira o PATH no arquivo).

      export PIPELINE_LIST=PATH/pipeline_upgrade.json
      

   2. Crie uma lista de todos os pipelines de uma instância e um namespace usando o comando a seguir. O resultado é armazenado no arquivo $PIPELINE_LIST no formato JSON. É possível editar a lista para remover os pipelines que não precisam ser atualizados. Defina o campo NAMESPACE_ID como o namespace em que você quer que o upgrade ocorra.

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST
      

   3. Faça upgrade dos pipelines listados em pipeline_upgrade.json. Insira o NAMESPACE_ID de pipelines para upgrade. O comando exibe uma lista de pipelines atualizados com o status de upgrade.

      curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST
      

Como conceder papéis para instâncias com upgrade

Se você fizer upgrade de uma instância do Cloud Data Fusion versão 6.1.x para as versões 6.2.0 e posteriores após a conclusão do upgrade, conceda o papel de executor do Cloud Data Fusion e Papel de administrador do Cloud Storage para a conta de serviço do Dataproc no projeto.

Versões disponíveis para upgrade

Dependendo da sua versão original, é possível que os upgrades para algumas versões não estejam disponíveis. Para uma lista de versões disponíveis para upgrade, siga as etapas de upgrade de instâncias no Console do Google Cloud.