Cloud Composer 1 se encuentra en modo posterior a mantenimiento. Google no publica más actualizaciones de Cloud Composer 1, incluidas las nuevas versiones de Airflow, las correcciones de errores y las actualizaciones de seguridad. Recomendamos planificar la migración a Cloud Composer 2.

Solución de problemas de instalación del paquete de PyPI

Cloud Composer 1 | Cloud Composer 2

En esta página, se explica cómo solucionar problemas de conflictos de dependencias cuando se instalan paquetes personalizados de PyPI.

El problema más común con los paquetes de PyPI que puedes encontrar en Cloud Composer son los conflictos de dependencias.

Cuando especificas un nuevo paquete de PyPI personalizado para instalar, este paquete o su versión pueden causar conflictos de dependencia con otros paquetes de PyPI personalizados o paquetes preinstalados en tu entorno. En este caso, la operación de actualización del entorno falla con un error.

Errores de compilación en el clúster y Cloud Build

Si se produce un problema con los paquetes, recibirás el mensaje de error de dos maneras, según la forma en que se implemente tu entorno:

Cloud Build. Un mensaje de error y un vínculo al registro de Cloud Build. Por ejemplo:

UPDATE operation on this environment failed 25 minutes ago with the
following error message:
Failed to install PyPI packages.  Check the Cloud Build log at ...

Compilaciones en clúster. Un mensaje de error y la ubicación de los registros de compilación. Por ejemplo:

UPDATE operation on this environment failed 17 minutes ago with the
following error message:
Failed to install PyPI packages.  Check the in-cluster build logs for
details. They can be found in the Environment logs under the build-log-*
log name.

Consulta el mensaje de error detallado

Cuando falla la instalación de un paquete, pip informa el mensaje de error detallado. Puedes encontrar este mensaje de error en los registros de compilación.

Ubica el error `pip` en los registros de Cloud Build

Puedes seguir el vínculo del mensaje de error de Cloud Build o ubicar los registros de compilación:

Ubica los registros de compilación:
1. En la consola de Google Cloud, ve a la página Historial de compilaciones.
  
  Ir al Historial de compilaciones
2. Selecciona la compilación con errores para ver sus registros.

En el registro de la compilación, busca el mensaje de error de pip. Por ejemplo:

ERROR: apache-airflow-backport-providers-google 2021.2.5 has requirement
google-cloud-logging<3.0.0,>=2.1.1, but you'll have google-cloud-logging
1.15.0 which is incompatible.

Ubica el error `pip` en los registros de compilación en el clúster

Ubica los registros de compilación:
1. En la consola de Google Cloud, ve a la página Entornos.
  
  Ir a Entornos
2. Selecciona tu entorno.
3. Abre la pestaña Registros.
4. Selecciona Todos los registros > Registros de Composer > Compilaciones > Imagen de trabajador y de programación.
5. En la lista desplegable Gravedad, selecciona Información.

En los registros que se muestran, haz lo siguiente:

Ubica el mensaje de error installer.sh. Por ejemplo:

The command '/bin/sh -c bash installer.sh $COMPOSER_PYTHON_VERSION
fail' returned a non-zero code: 1

Los mensajes de información anteriores tienen el error pip detallado. Por ejemplo:

apache-airflow-backport-providers-google 2021.2.5 has requirement
google-cloud-logging<3.0.0,>=2.1.1, but you have
google-cloud-logging 1.15.0.

Conflictos con los paquetes de PyPI preinstalados

Se producen algunos conflictos de paquetes entre los paquetes de PyPI personalizados que instalas y los paquetes preinstalados.

Puedes ver la lista completa de paquetes preinstalados para tu versión de Cloud Composer en la página Versiones de Cloud Composer.

Para resolver este problema, puedes hacer lo siguiente:

Instala una versión diferente del paquete de PyPI personalizado.
Instala una versión diferente del paquete preinstalado. Para ello, instala un paquete de PyPI personalizado con el nombre del paquete preinstalado y especifica la versión requerida. No recomendamos pasar a una versión anterior de los paquetes preinstalados.
Verifica si las versiones posteriores de Cloud Composer usan una versión diferente del paquete preinstalado. Puedes verificar posibles conflictos de paquetes de PyPI antes de actualizar tu entorno a una versión posterior de Cloud Composer.
Usa PythonVirtualenvOperator para aislar fragmentos de código que requieran paquetes en conflicto.

El servidor de metadatos no está disponible cuando se instalan paquetes de PyPI.

Si tu entorno usa un archivo pip.conf personalizado, es posible que tengas un problema cuando no se puedan instalar paquetes de PyPI nuevos en tu entorno. En los registros de Cloud Build relacionados con el error de instalación del paquete, puedes ver el siguiente mensaje de advertencia:

WARNING: Compute Engine Metadata server unavailable on attempt 3 of 3. Reason:
timed out
WARNING: Authentication failed using Compute Engine authentication due to
unavailable metadata server.

Este problema se debe a un archivo pip.conf que no permite el acceso al índice de paquetes predeterminado en http://pypi.org/simple. Por ejemplo, si tu archivo pip.conf solo permite instalar paquetes de un repositorio personalizado de Artifact Registry debido al parámetro redefinido de index-url, no estará disponible la instalación de paquetes del índice de paquetes predeterminado.

Para resolver este problema, asegúrate de agregar el índice del paquete http://pypi.org/simple a tu archivo pip.conf. Por ejemplo, si el índice del paquete principal se define en el parámetro index-url, agrega el índice http://pypi.org/simple en el parámetro extra-index-url.