Instala las dependencias de Python para Cloud Composer

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

En esta página, se describe cómo instalar paquetes de Python para tu entorno de Cloud Composer.

Información acerca de los paquetes de PyPI preinstalados y personalizados en imágenes de Cloud Composer

Las imágenes de Cloud Composer contienen PyPI preinstaladas y personalizadas. paquetes.

• Los paquetes preinstalados de PyPI son paquetes que se incluyen en la imagen de Cloud Composer de tu entorno. Cada La imagen de Cloud Composer contiene Paquetes de PyPI que son específicas para tu versión de Cloud Composer y Airflow.

• Los paquetes personalizados de PyPI son paquetes que puedes instalar en tu entorno en además de los paquetes preinstalados.

Nota: Si planeas actualizar a una versión posterior de Cloud Composer, puedes hacer una verificación de actualizaciones. Esta opción verifica si los informes son personalizados. Los paquetes de PyPI en tu entorno tienen conflictos con los paquetes preinstalados en la nueva imagen de Cloud Composer.

Opciones para administrar paquetes de PyPI para entornos de Cloud Composer

Opción	Usar si
Instalación desde PyPI	La forma predeterminada de instalar paquetes en tu entorno
Instalar desde un repositorio con una dirección IP pública	El paquete se aloja en un repositorio de paquetes que no es PyPI. Este repositorio tiene una dirección IP pública
Instalar desde un repositorio de Artifact Registry	El paquete está alojado en un repositorio de Artifact Registry
Realiza la instalación desde un repositorio en la red de tu proyecto	Tu entorno no tiene acceso a la Internet pública. El paquete está alojado en un repositorio de paquetes en la red de tu proyecto.
Instala como una biblioteca local de Python	No se puede encontrar el paquete en PyPI, y la biblioteca No tiene ninguna dependencia externa, como dist-packages.
Cómo instalar un complemento	El paquete proporciona funcionalidad específica del complemento, como la modificación la interfaz web de Airflow.
PythonVirtualenvOperator	No quieres que el paquete se instale para todos los trabajadores de Airflow. la dependencia entra en conflicto con paquetes preinstalados. El paquete se encuentran en el PyPI y no tienen dependencias externas.
KubernetesPodOperator y operadores de GKE	Necesitas dependencias externas que no se pueden instalar desde pip. como dist-packages, o están en un servidor pip interno. Esta requiere más configuración y mantenimiento. Considéralo solo si otros las opciones no funcionan.

Antes de comenzar

• Debes tener una función que pueda activar las operaciones de actualización del entorno. Además, la cuenta de servicio del entorno debe tener una función que tenga suficientes permisos para realizar operaciones de actualización. Para obtener más información, consulta Control de acceso.
• Si tu entorno está protegido por un perímetro de Controles del servicio de VPC, Luego, antes de instalar dependencias de PyPI, debes otorgar identidades de usuario adicionales con acceso a servicios que el perímetro de servicio protege y habilita la compatibilidad con una PyPI privada en un repositorio de confianza.
• Los requisitos deben seguir el formato especificado en PEP-508 donde cada requisito se especifica en minúsculas y consta del paquete nombre con extras opcionales y especificadores de versión.

• Las actualizaciones de dependencias de PyPI generan imágenes de Docker en Artifact Registry.

  Advertencia: No modifiques ni borres las imágenes que compila Cloud Composer en Artifact Registry o en el repositorio. No subas tu propio contenido imágenes al repositorio. En su lugar, crea y mantén tu propio repositorio para tus imágenes (por ejemplo, para imágenes que usa KubernetesPodOperator). Qué no debes hacer borra este repositorio por tu cuenta. El repositorio se borra luego de que borras tu entorno.

• Si un conflicto de dependencia hace que la actualización falle, tu entorno continuará ejecutándose con las dependencias existentes. Si la operación tiene éxito, puedes comenzar a usar las dependencias de Python recién instaladas en tus DAG.

Visualiza la lista de paquetes de PyPI

Puedes obtener la lista de paquetes para tu entorno en varios formatos.

Ver paquetes preinstalados

Si deseas ver la lista de paquetes preinstalados para tu entorno, consulta la lista de paquetes del Imagen de Cloud Composer de tu entorno.

Ver todos los paquetes

Para ver todos los paquetes (preinstalados y personalizados) en tu entorno, haz lo siguiente:

gcloud

El siguiente comando de gcloud CLI devuelve el resultado de El comando python -m pip list para un trabajador de Airflow en tu entorno Puedes usar el argumento --tree para obtener el resultado de la Comando python -m pipdeptree --warn.

gcloud beta composer environments list-packages \
    ENVIRONMENT_NAME \
    --location LOCATION

Reemplaza lo siguiente:

• ENVIRONMENT_NAME por el nombre del entorno.
• LOCATION por la región en la que se encuentra el entorno

Ver paquetes de PyPI personalizados

Console

1. En la consola de Google Cloud, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Paquetes de PyPI.

gcloud

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION \
  --format="value(config.softwareConfig.pypiPackages)"

Reemplaza lo siguiente:

• ENVIRONMENT_NAME por el nombre del entorno.
• LOCATION por la región en la que se encuentra el entorno

Instala paquetes personalizados en un entorno de Cloud Composer

En esta sección, se describen diferentes métodos para instalar paquetes personalizados en tu en un entorno de nube.

Instala paquetes desde PyPI

Se puede instalar un paquete desde El Índice de paquetes de Python si no tiene recursos dependencias o conflictos con paquetes preinstalados.

Nota: Puedes flexibilizar las restricciones de versiones para los paquetes de PyPI personalizados instalados. Por ejemplo, en lugar de especificar una versión como ==1.0.1, especifícala como >=1.0.1.

Haz lo siguiente para agregar, actualizar o borrar las dependencias de Python de tu entorno:

Console

1. En la consola de Google Cloud, ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre de tu entorno. Se abrirá la página Detalles del entorno.

3. Ve a la pestaña Paquetes de PyPI.

4. Haz clic en Editar.

5. Haz clic en Agregar paquete.

6. En la sección Paquetes de PyPI, especifica los nombres de los paquetes, con especificadores de versión y elementos adicionales.

   Por ejemplo:

   • scikit-learn
   • scipy, >=0.13.3
   • nltk, [machine_learning]

7. Haz clic en Guardar.

gcloud

Gcloud CLI tiene varios agregados para trabajar con PyPI personalizados paquetes:

• --update-pypi-packages-from-file reemplaza todas las opciones personalizadas existentes Paquetes de PyPI con los paquetes especificados. Paquetes que no que especifiques.
• --update-pypi-package actualiza o instala un paquete.
• --remove-pypi-packages quita los paquetes especificados.
• --clear-pypi-packages quita todos los paquetes.

Cómo instalar los requisitos desde un archivo

El archivo requirements.txt debe tener especificador de requisitos en otro línea.

Por ejemplo:

scipy>=0.13.3
scikit-learn
nltk[machine_learning]

Actualiza tu entorno y especifica el archivo requirements.txt en el argumento --update-pypi-packages-from-file.

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
     --update-pypi-packages-from-file requirements.txt

Reemplaza lo siguiente:

• ENVIRONMENT_NAME por el nombre del entorno.
• LOCATION por la región en la que se encuentra el entorno

Instala un paquete

Actualiza tu entorno y especifica el paquete, la versión y los extras en el argumento --update-pypi-package.

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
     --update-pypi-package PACKAGE_NAMEEXTRAS_AND_VERSION

Reemplaza lo siguiente:

• ENVIRONMENT_NAME por el nombre del entorno.
• LOCATION por la región en la que se encuentra el entorno
• PACKAGE_NAME por el nombre del paquete
• EXTRAS_AND_VERSION con la versión opcional y el especificador de extras Para omite versiones y extras, especifica un valor vacío.

Nota: Según el entorno de ejecución, es posible que debas escapar caracteres especiales, como >. Para evitar posibles problemas, el nombre y la versión del paquete entre comillas, por ejemplo: "scipy>=0.13.0".

Ejemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-pypi-package "scipy>=0.13.3"

Cómo quitar paquetes

Actualiza tu entorno y especifica los paquetes que quieres borrar en el argumento --remove-pypi-packages:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
     --remove-pypi-packages PACKAGE_NAMES

Reemplaza lo siguiente:

• ENVIRONMENT_NAME por el nombre del entorno.
• LOCATION por la región en la que se encuentra el entorno
• PACKAGE_NAMES por una lista de paquetes separada por comas

Ejemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --remove-pypi-packages scipy,scikit-learn

API

Realiza una solicitud a la API de environments.patch.

En esta solicitud, realiza lo siguiente:

1. En el parámetro updateMask, especifica la máscara:

   • Usar la máscara config.softwareConfig.pypiPackages para reemplazar todas las existentes paquetes con los paquetes especificados. Paquetes que no que especifiques.
   • Usa config.softwareConfig.envVariables.PACKAGE_NAME para agregar o actualizar un paquete específico. Para agregar o actualizar varios paquetes, especificar varias máscaras con comas.

2. En el cuerpo de la solicitud, especifica los paquetes y valores para las versiones y los extras:

   {
     "config": {
       "softwareConfig": {
         "pypiPackages": {
           "PACKAGE_NAME": "EXTRAS_AND_VERSION"
         }
       }
     }
   }
   

   Reemplaza lo siguiente:

   • PACKAGE_NAME por el nombre del paquete
   • EXTRAS_AND_VERSION con la versión opcional y el especificador de extras Para omite versiones y extras, especifica un valor vacío.
   • Si quieres agregar más de un paquete, agrega entradas adicionales para los paquetes a pypiPackages.

Ejemplo:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.pypiPackages.EXAMPLE_PACKAGE,
// config.softwareConfig.pypiPackages.ANOTHER_PACKAGE
{
  "config": {
    "softwareConfig": {
      "pypiPackages": {
        "EXAMPLE_PACKAGE": "",
        "ANOTHER_PACKAGE": ">=1.10.3"
      }
    }
  }
}

Terraform

El bloque pypi_packages en el bloque software_config especifica paquetes.

resource "google_composer_environment" "example" {
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    software_config {

      pypi_packages = {
          PACKAGE_NAME = "EXTRAS_AND_VERSION"
      }

    }
  }
}

Reemplaza lo siguiente:

• ENVIRONMENT_NAME por el nombre del entorno.
• LOCATION por la región en la que se encuentra el entorno
• PACKAGE_NAME por el nombre del paquete
• EXTRAS_AND_VERSION con la versión opcional y el especificador de extras Para omite versiones y extras, especifica un valor vacío.
• Si quieres agregar más de un paquete, agrega entradas adicionales para los paquetes a pypi_packages.

Ejemplo:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {

    software_config {
      pypi_packages = {
          scipy = ">=1.10.3"
          scikit-learn = ""
          nltk = "[machine_learning]"
      }
    }
  }
}

Instala paquetes desde un repositorio público

Puedes instalar paquetes alojados en otros repositorios que tengan una dirección IP pública.

Los paquetes deben estar configurados de forma correcta para que la herramienta predeterminada de pip pueda instalarlo.

Nota: Cloud Composer no admite la personalización de pip y sí lo hace No resuelve las dependencias y los conflictos de paquetes fuera de la resolución. mecanismos que proporciona la herramienta pip predeterminada.

Para instalar desde un repositorio de paquetes que tiene una dirección pública, sigue estos pasos:

1. Crea un pip.conf e incluya la siguiente información en el archivo, si corresponde:

   • URL del repositorio (en el parámetro index-url)
   • Credenciales de acceso del repositorio
   • Opciones de instalación no predeterminadas de pip

   Ejemplo:

   [global]
   index-url=https://example.com/
   

2. (Opcional) En algunos casos, es posible que quieras recuperar paquetes de varias como cuando el repositorio público contiene información paquetes que deseas instalar y deseas instalar todos los demás paquetes de PyPI:

   1. Configura un repositorio virtual de Artifact Registry.
   2. Agrega una configuración para varios repositorios (incluido PyPI, si es necesario). y define el orden en el que pip busca en los repositorios.
   3. Especifica la URL del repositorio virtual en el parámetro index-url.

3. Determina el URI del bucket de tu entorno.

4. Sube el archivo pip.conf a /config/pip/. en el bucket de tu entorno.

5. Instala los paquetes con uno de los métodos disponibles.

Instala paquetes desde un repositorio de Artifact Registry

Puedes almacenar paquetes en un repositorio de Artifact Registry en tu proyecto y configura tu entorno para realizar la instalación desde él.

Nota: Si usas los Controles del servicio de VPC, puedes Crea un repositorio de PyPI de Artifact Registry en modo VPC. En este caso, sigue la procedimiento para repositorios privados cuando se asignan permisos.

Configura roles y permisos:

1. La cuenta de servicio de tu entorno debe tener la iam.serviceAccountUser.

2. Asegúrate de que la cuenta de servicio de Cloud Build tenga permisos para leer desde tu repositorio de Artifact Registry.

3. Si tu entorno tiene acceso restringido a otros servicios en tu proyecto, por ejemplo, si usas los Controles del servicio de VPC:

   1. Asigna permisos para acceder a tu repositorio de Artifact Registry para la cuenta de servicio del entorno, en lugar del Cuenta de servicio de Cloud Build.

   2. Asegúrate de que la conectividad al repositorio de Artifact Registry sea configurados en tu proyecto.

Para instalar paquetes personalizados de PyPI desde un repositorio de Artifact Registry, sigue estos pasos:

1. Crea un pip.conf e incluya la siguiente información en el archivo, si corresponde:

   • URL del repositorio de Artifact Registry (en el parámetro index-url)
   • Credenciales de acceso del repositorio
   • Opciones de instalación no predeterminadas de pip

   Para un repositorio de Artifact Registry, agrega /simple/ al repositorio URL:

   [global]
   index-url = https://us-central1-python.pkg.dev/example-project/example-repository/simple/
   

2. (Opcional) En algunos casos, es posible que quieras recuperar paquetes de varias como cuando tu repositorio de Artifact Registry contiene algunos paquetes específicos que deseas instalar, Todos los demás paquetes de PyPI:

   1. Configura un repositorio virtual de Artifact Registry.
   2. Agrega una configuración para varios repositorios (incluido PyPI, si es necesario). y define el orden en el que pip busca en los repositorios.
   3. Especifica la URL del repositorio virtual en el parámetro index-url.

3. Sube este archivo pip.conf a /config/pip/. en el bucket de tu entorno. Por ejemplo: gs://us-central1-example-bucket/config/pip/pip.conf.

4. Instala los paquetes con uno de los métodos disponibles.

Instala paquetes desde un repositorio privado

Puedes alojar un repositorio privado en la red de tu proyecto y configurar para instalar paquetes de Python desde él.

Configura roles y permisos:

1. La cuenta de servicio para tu entorno de Cloud Composer tener el rol iam.serviceAccountUser

2. Si instalas paquetes de PyPI personalizados desde un repositorio en el y este repositorio no tiene una dirección IP pública:

   1. Asigna permisos para acceder a este repositorio al cuenta de servicio.

   2. Asegúrate de que la conectividad a este repositorio esté configurada en tu en un proyecto final.

Sigue estos pasos para instalar paquetes desde un repositorio privado alojado en la red de tu proyecto:

1. Crea un pip.conf e incluya la siguiente información en el archivo, si corresponde:

   • Dirección IP del repositorio en la red de tu proyecto
   • Credenciales de acceso del repositorio
   • Opciones de instalación no predeterminadas de pip

   Ejemplo:

   [global]
   index-url=https://192.0.2.10/
   

2. (Opcional) En algunos casos, es posible que quieras recuperar paquetes de varias como cuando el repositorio privado contiene información paquetes que deseas instalar y deseas instalar todos los demás paquetes de PyPI:

   1. Configura un repositorio virtual de Artifact Registry.
   2. Agrega una configuración para varios repositorios (incluido PyPI, si es necesario). y define el orden en el que pip busca en los repositorios.
   3. Especifica la URL del repositorio virtual en el parámetro index-url.

3. Sube el archivo pip.conf a /config/pip/. en el bucket de tu entorno. Por ejemplo: gs://us-central1-example-bucket/config/pip/pip.conf.

4. Instala los paquetes con uno de los métodos disponibles.

Instala una biblioteca local de Python

Para instalar una biblioteca interna o local de Python, sigue estos pasos:

1. Coloca las dependencias dentro de un subdirectorio en el dags/ en el bucket de tu entorno. Para importar un módulo desde un subdirectorio, cada subdirectorio en la ruta de acceso del módulo debe contener un archivo de marcador de paquete __init__.py

   En el siguiente ejemplo, la dependencia es coin_module.py

   dags/
     use_local_deps.py  # A DAG file.
     dependencies/
       __init__.py
       coin_module.py
   

2. Importa la dependencia desde el archivo de definición de DAG.

   Por ejemplo:

from dependencies import coin_module

Nota: Se produce un error de importación si falta un archivo __init__.py. Los nombres del directorio y el archivo deben ser identificadores válidos de Python.

Usa paquetes que dependan de bibliotecas de objetos compartidos

Algunos paquetes de PyPI dependen de las bibliotecas a nivel del sistema. Si bien Cloud Composer no es compatible con las bibliotecas del sistema, puedes usar las siguientes opciones:

• Utiliza KubernetesPodOperator. Personaliza la imagen del operador imagen de compilación. Si experimentas paquetes que fallan durante la instalación debido a a una dependencia del sistema insatisfecha, usa esta opción.

• Sube las bibliotecas de objetos compartidos al bucket de tu entorno. Si tu PyPI paquetes se instalaron correctamente, pero fallan en el tiempo de ejecución, usa esta opción.

  1. Cómo buscar manualmente las bibliotecas de objetos compartidos para la dependencia de PyPI (un archivo .so).
  2. Sube las bibliotecas de objetos compartidos a la carpeta /plugins de tu en el bucket de tu entorno.
  3. Configura la siguiente variable de entorno: LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/airflow/gcs/plugins

Nota: Archivos en las carpetas plugins/ se sincronizan con el sistema de archivos local. Subir archivos .so de gran tamaño pueden afectar el rendimiento de tu entorno y del servidor web de Airflow.

Instala paquetes en entornos de IP privados

En esta sección, se explica cómo instalar paquetes en entornos de IP privadas.

Según cómo configures tu proyecto, es posible que tu entorno no tenga acceso a la Internet pública.

Entorno de IP privada con acceso público a Internet

Si tu entorno de IP privada puede acceder a la Internet pública, puedes instala paquetes con opciones para entornos de IP públicas:

• Instalar desde PyPI. En este caso, no se requiere ninguna configuración especial. Sigue el procedimiento que se describe en Instala un paquete desde PyPI.
• Instalar desde un repositorio con una dirección IP pública. Sigue el procedimiento que se describe en Instala un paquete desde un repositorio privado.
• Instala desde un repositorio de PyPI privado alojado en tu la red del proyecto.

Entorno de IP privada sin acceso a Internet

Si tu entorno de IP privada no tiene acceso a la Internet pública, puedes instalar paquetes usando una de las siguientes maneras:

• Usa un repositorio de PyPI privado alojado en el directorio en cada red.
• Usa una VM de servidor proxy en la red de tu proyecto para conectarte. a un repositorio de PyPI en la Internet pública. Especifica la dirección de proxy en el archivo /config/pip/pip.conf en el bucket de tu entorno.
• Usa un repositorio de Artifact Registry como única fuente. de paquetes. Para hacerlo, vuelve a definir el parámetro index-url, como se describe.
• Si tu política de seguridad permite el acceso a direcciones IP externas desde tu red de VPC, puedes habilitar la instalación de paquetes desde repositorios en la Internet pública mediante la configuración de Cloud NAT.
• Coloca las dependencias de Python en la carpeta /dags del bucket de tu entorno. para instalarlas como bibliotecas locales. Puede que no sea un es una buena opción si el árbol de dependencias es grande.

Instala en un entorno de IP privada con restricciones de ubicación de recursos

Mantén tu proyecto en línea con la restricción de ubicación de recursos prohibien el uso de algunas herramientas. En particular, Cloud Build no se puede usar para la instalación de paquetes, lo que impide el acceso directo a repositorios en la Internet pública.

Para instalar dependencias de Python en un entorno de este tipo, sigue las instrucciones para una IP privada sin acceso a Internet.

Instala una dependencia de Python en un entorno de IP privada en un perímetro de Controles del servicio de VPC

Proteger tu proyecto con una Perímetro de los Controles del servicio de VPC genera más restricciones de seguridad. En particular, Cloud Build no se puede usar para la instalación de paquetes, lo que impide el acceso directo a repositorios en la Internet pública.

A fin de instalar dependencias de Python para un entorno de IP privada dentro de un perímetro, sigue las instrucciones para entornos de IP privadas sin acceso a Internet.

¿Qué sigue?

• Soluciona problemas relacionados con la instalación de paquetes
• Solución de problemas de actualizaciones y mejoras