Como resolver problemas de atualizações e upgrades do ambiente

Cloud Composer 1 | Cloud Composer 2

Nesta página, você encontrará informações para solucionar problemas que podem ser encontrados ao atualizar ou atualizar ambientes do Cloud Composer.

Para informações sobre solução de problemas relacionadas à criação de ambientes, consulte Solução de problemas de criação de ambientes.

Quando os ambientes do Cloud Composer são atualizados, a maioria dos problemas acontece pelos seguintes motivos:

  • Problemas de permissão da conta de serviço
  • Problemas de dependência do PyPI
  • Tamanho do banco de dados do Airflow

Permissões insuficientes para atualizar ou fazer upgrade de um ambiente

Se o Cloud Composer não puder atualizar ou fazer upgrade de um ambiente devido a permissões insuficientes, ele vai gerar a seguinte mensagem de erro:

ERROR: (gcloud.composer.environments.update) PERMISSION_DENIED: The caller does not have permission

Solução: atribua papéis à sua conta e à conta de serviço do seu ambiente, conforme descrito em Controle de acesso.

A conta de serviço do ambiente não tem permissões suficientes

Ao criar um ambiente do Cloud Composer, especifique uma conta de serviço que executa os nós do cluster do GKE do ambiente. Se essa conta de serviço não tiver permissões suficientes para a operação solicitada, o Cloud Composer gerará um erro:

    UPDATE operation on this environment failed 3 minutes ago with the
    following error message:
    Composer Backend timed out. Currently running tasks are [stage:
    CP_COMPOSER_AGENT_RUNNING
    description: "No agent response published."
    response_timestamp {
      seconds: 1618203503
      nanos: 291000000
    }
    ].

Solução: atribua papéis à sua conta e à conta de serviço do seu ambiente, conforme descrito em Controle de acesso.

O tamanho do banco de dados do Airflow é muito grande para realizar a operação

Uma operação de upgrade do Cloud Composer pode não ser bem-sucedida porque o tamanho do banco de dados do Airflow é muito grande para que essas operações sejam bem-sucedidas.

Se o tamanho do banco de dados do Airflow for maior do que 16 GB, o Cloud Composer gerará o seguinte erro:

Airflow database uses more than 16 GB. Please clean the database before upgrading.

Solução: execute a limpeza do banco de dados do Airflow, conforme descrito em Manutenção do banco de dados do Airflow.

Falha no upgrade para uma nova versão do Cloud Composer devido a conflitos de pacote do PyPI

Ao fazer upgrade de um ambiente com pacotes PyPI personalizados instalados, é possível encontrar erros relacionados a conflitos de pacotes PyPI. Isso pode acontecer porque a nova imagem do Cloud Composer contém versões mais recentes de pacotes pré-instalados que causam conflitos de dependência com os pacotes PyPI instalados no seu ambiente.

Solução:

  • Para informações detalhadas sobre conflitos de pacotes, execute uma verificação de upgrade.
  • Reduzir as restrições de versão para pacotes PyPI personalizados instalados. Por exemplo, em vez de especificar uma versão como ==1.0.1, especifique-a como >=1.0.1.
  • Para mais informações sobre como alterar os requisitos de versão para resolver dependências conflitantes, consulte a documentação do pip.

A falta de conectividade com o DNS pode causar problemas durante upgrades ou atualizações

Esses problemas de conectividade podem resultar em entradas de registro como estas:

WARNING - Compute Engine Metadata server unavailable attempt 1 of 5. Reason: [Errno -3] Temporary failure in name resolution Error

Geralmente, isso significa que não há rota para o DNS. Por isso, verifique se o nome do DNS metadata.google.internal pode ser resolvido para o endereço IP nas redes de clusters, pods e serviços. Verifique se o Acesso privado do Google está ativado na VPC (no projeto host ou de serviço) em que o ambiente foi criado.

Mais informações:

A seguir