Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Questa pagina spiega come risolvere i conflitti di dipendenza durante l'installazione pacchetti PyPI personalizzati.
Il problema più comune con i pacchetti PyPI che potresti riscontrare nei Cloud Composer sono conflitti di dipendenza.
Quando specifichi un nuovo pacchetto PyPI personalizzato da installare, questo pacchetto o la relativa versione potrebbe causare conflitti di dipendenza con altri pacchetti PyPI personalizzati o preinstallati nel tuo ambiente. In questo caso, l'operazione di aggiornamento dell'ambiente non va a buon fine e viene visualizzato un errore.
Errori di build nel cluster e di Cloud Build
Se si verifica un problema con i pacchetti, viene visualizzato il relativo messaggio di errore in due modi, a seconda del modo in cui è stato implementato l'ambiente:
Cloud Build. Viene visualizzato un messaggio di errore e un link Log di Cloud Build. Ad esempio:
UPDATE operation on this environment failed 25 minutes ago with the following error message: Failed to install PyPI packages. Check the Cloud Build log at ...
Build in-cluster. Un messaggio di errore e la posizione dei log di build. Ad esempio:
UPDATE operation on this environment failed 17 minutes ago with the following error message: Failed to install PyPI packages. Check the in-cluster build logs for details. They can be found in the Environment logs under the build-log-* log name.
Leggi il messaggio di errore dettagliato
Quando l'installazione di un pacchetto non riesce, pip
genera il messaggio di errore dettagliato.
Puoi trovare questo messaggio di errore nei log di compilazione.
Individua l'errore pip
nei log di Cloud Build
Puoi seguire il link presente nel messaggio di errore di Cloud Build oppure per individuare i log di build:
Individua i log di compilazione:
Nella console Google Cloud, vai alla pagina Cronologia build.
Seleziona la build non riuscita per visualizzarne i log.
Nel log di build, individua il messaggio di errore di
pip
. Ad esempio:ERROR: apache-airflow-backport-providers-google 2021.2.5 has requirement google-cloud-logging<3.0.0,>=2.1.1, but you'll have google-cloud-logging 1.15.0 which is incompatible.
Individua l'errore pip
nei log di build nel cluster
Individua i log di build:
Nella console Google Cloud, vai alla pagina Ambienti.
Seleziona il tuo ambiente.
Apri la scheda Log.
Seleziona Tutti i log > Log di Composer > Build > Immagine di Worker e Scheduler.
Nell'elenco a discesa Gravità, seleziona Informazioni.
Nei log visualizzati:
Individua il messaggio di errore
installer.sh
. Per esempio:The command '/bin/sh -c bash installer.sh $COMPOSER_PYTHON_VERSION fail' returned a non-zero code: 1
I messaggi di informazioni precedenti contengono l'errore
pip
dettagliato. Per esempio:apache-airflow-backport-providers-google 2021.2.5 has requirement google-cloud-logging<3.0.0,>=2.1.1, but you have google-cloud-logging 1.15.0.
Conflitti con i pacchetti PyPI preinstallati
Alcuni conflitti di pacchetti si verificano tra i pacchetti PyPI personalizzati che installi e i pacchetti preinstallati.
Puoi visualizzare l'elenco completo dei pacchetti preinstallati per la tua versione di Cloud Composer nella pagina Versioni di Cloud Composer.
Per risolvere il problema, puoi:
Installa una versione diversa del pacchetto PyPI personalizzato.
Installa una versione diversa del pacchetto preinstallato. Per farlo, installare un pacchetto PyPI personalizzato con il nome del pacchetto preinstallato e specifica la versione richiesta. Sconsigliamo di eseguire il downgrade dei pacchetti preinstallati.
Verifica se le versioni successive di Cloud Composer utilizzano una versione diversa del pacchetto preinstallato. Puoi verificare la presenza di potenziali conflitti dei pacchetti PyPI prima di eseguire l'upgrade dell'ambiente a una versione successiva di Cloud Composer.
Utilizza PythonVirtualenvOperator per isolare gli snippet di codice che richiedono pacchetti in conflitto.
Server di metadati non disponibile durante l'installazione dei pacchetti PyPI
Se il tuo ambiente utilizza un file pip.conf
personalizzato,
potresti riscontrare un problema quando non è possibile installare nuovi pacchetti PyPI nel
tuo ambiente. Nei log di Cloud Build relativi al pacchetto
di installazione, potrai visualizzare il seguente messaggio di avviso:
WARNING: Compute Engine Metadata server unavailable on attempt 3 of 3. Reason:
timed out
WARNING: Authentication failed using Compute Engine authentication due to
unavailable metadata server.
Questo problema è causato da un file pip.conf
che non consente l'accesso ai
indice pacchetti predefinito
alle ore http://pypi.org/simple
. Ad esempio, se il file pip.conf
consente di installare i pacchetti solo da un repository Artifact Registry personalizzato a causa del parametro index-url
ridefinito, l'installazione dei pacchetti dall'indice dei pacchetti predefinito non è disponibile.
Per risolvere il problema, assicurati che l'indice dei pacchetti http://pypi.org/simple
viene aggiunto al tuo file pip.conf
. Ad esempio, se l'indice del pacchetto principale è definito nel parametro index-url
, aggiungi l'indice http://pypi.org/simple
nel parametro extra-index-url
.
Passaggi successivi
- Installazione delle dipendenze Python
- Risoluzione dei problemi relativi agli upgrade e agli aggiornamenti degli ambienti