Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Nesta página, explicamos como solucionar conflitos de dependência ao instalar pacotes PyPI personalizados.
Os problemas mais comuns com os pacotes PyPI que podem ocorrer no Cloud Composer são conflitos de dependência.
Quando você especifica um novo pacote PyPI personalizado a ser instalado, esse pacote ou a versão dele podem causar conflitos de dependência com outros pacotes PyPI personalizados ou pacotes pré-instalados no ambiente. Nesse caso, a operação de atualização do ambiente falha com um erro.
Erros de build do Cloud Build e no cluster
Se ocorrer um problema com os pacotes, você receberá uma mensagem de erro de acordo com a maneira como o ambiente está implantado:
Cloud Build. Uma mensagem de erro e um link para o registro do Cloud Build. Exemplo:
UPDATE operation on this environment failed 25 minutes ago with the following error message: Failed to install PyPI packages. Check the Cloud Build log at ...
Builds no cluster. Uma mensagem de erro e o local dos registros do build. Exemplo:
UPDATE operation on this environment failed 17 minutes ago with the following error message: Failed to install PyPI packages. Check the in-cluster build logs for details. They can be found in the Environment logs under the build-log-* log name.
Veja a mensagem de erro detalhada
Quando uma instalação de pacote falha, o pip
informa a mensagem de erro detalhada.
Essa mensagem de erro fica nos registros do build.
Localizar o erro de pip
nos registros do Cloud Build
Clique no link da mensagem de erro do Cloud Build ou localize os registros do build:
Localize os registros do build:
No console do Google Cloud, acesse a página Histórico de build.
Selecione o build com falha para ver os registros.
No registro do build, localize a mensagem de erro de
pip
. Exemplo:ERROR: apache-airflow-backport-providers-google 2021.2.5 has requirement google-cloud-logging<3.0.0,>=2.1.1, but you'll have google-cloud-logging 1.15.0 which is incompatible.
Localize o erro pip
nos registros de criação no cluster.
Localize os registros do build:
No console do Google Cloud, acesse a página Ambientes.
Selecione o ambiente.
Abra a guia Registros.
Selecione Todos os registros > Registros do Composer > Builds > Imagem do worker e do agendador.
Na lista suspensa Gravidade, selecione Informações.
Nos registros exibidos:
Localize a mensagem de erro
installer.sh
. Exemplo:The command '/bin/sh -c bash installer.sh $COMPOSER_PYTHON_VERSION fail' returned a non-zero code: 1
As mensagens de informações anteriores detalham o erro
pip
. Exemplo:apache-airflow-backport-providers-google 2021.2.5 has requirement google-cloud-logging<3.0.0,>=2.1.1, but you have google-cloud-logging 1.15.0.
Conflitos com pacotes PyPI pré-instalados
Alguns conflitos de pacotes ocorrem entre pacotes PyPI personalizados que você instala e os pacotes pré-instalados.
É possível conferir a lista completa de pacotes pré-instalados da sua versão do Cloud Composer na página Versões do Cloud Composer.
Para resolver esse problema, faça o seguinte:
Instale uma versão diferente do pacote PyPI personalizado.
Instale uma versão diferente do pacote pré-instalado. Para fazer isso, instale um pacote PyPI personalizado com o nome do pacote pré-instalado e especifique a versão necessária. Não é recomendável fazer downgrade de pacotes pré-instalados.
Verifique se as versões mais recentes do Cloud Composer usam uma do pacote pré-instalado. Você pode verificar possíveis conflitos de pacotes PyPI antes de fazer o upgrade do ambiente para uma versão posterior do Cloud Composer
Use PythonVirtualenvOperator. para isolar snippets de código que exigem pacotes conflitantes.
O servidor de metadados fica indisponível ao instalar pacotes PyPI.
Se o ambiente usar um arquivo pip.conf
personalizado,
você poderá ter problemas quando nenhum novo pacote PyPI puder ser instalado no
ambiente. Nos registros do Cloud Build relacionados ao erro de instalação do pacote, é possível encontrar a seguinte mensagem de aviso:
WARNING: Compute Engine Metadata server unavailable on attempt 3 of 3. Reason:
timed out
WARNING: Authentication failed using Compute Engine authentication due to
unavailable metadata server.
Esse problema é causado por um arquivo pip.conf
que não permite o acesso ao
índice de pacote padrão
em http://pypi.org/simple
. Por exemplo, se o arquivo pip.conf
só
permitir a instalação de pacotes de um repositório personalizado do Artifact Registry devido ao
parâmetro index-url
redefinido, a instalação de pacotes do
índice de pacotes padrão não estará disponível.
Para resolver esse problema, verifique se o índice de pacote http://pypi.org/simple
foi adicionado ao arquivo pip.conf
. Por exemplo, se o índice de pacotes principal
for definido no parâmetro index-url
, adicione o http://pypi.org/simple
no parâmetro extra-index-url
.