Instala complementos personalizados

El administrador de complementos de Apache Airflow te permite escribir operadores internos, hooks, sensores o interfaces personalizados de Apache Airflow. Para obtener más información, consulta los complementos personalizados en la documentación de Airflow. En esta página, se describe cómo instalar los complementos personalizados en tu entorno de Cloud Composer.

Cuando creas un entorno, Cloud Composer crea un depósito de Cloud Storage y lo asocia con tu entorno. Usa la carpeta plugins en el depósito asociado para instalar los complementos personalizados. Para determinar el depósito de Cloud Storage conectado a tu entorno, consulta la sección sobre cómo agregar y actualizar los DAG.

Antes de comenzar

  • Estos son los permisos necesarios para agregar y actualizar complementos en el depósito de Cloud Storage del entorno de Cloud Composer:
    • storage.objectAdmin para subir archivos
    • composer.environments.get para buscar el depósito de destino del DAG Este permiso no es obligatorio cuando se usa la API de Cloud Storage o gsutil.
  • Este método de instalación solo se aplica a los complementos de Airflow. Por ejemplo, no puedes usar este método para instalar módulos comunes de Python ni otras bibliotecas.

  • Los complementos deben cumplir con los lineamientos de la plantilla de complementos de Airflow.

Instala un complemento

Para instalar un complemento personalizado en tu entorno de Cloud Composer, copia el código del complemento en la carpeta plugins del depósito de Cloud Storage conectado a tu entorno de Cloud Composer.

Para instalar un complemento, elige una opción:

gcloud composer environments storage plugins import --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

Donde:

  • ENVIRONMENT_NAME es el nombre del entorno.
  • LOCATION es la región de Compute Engine donde se encuentra el entorno.
  • PATH_TO_LOCAL_FILE es la ruta del archivo que se va a subir.
  • --destination es una opción para subir un complemento a una subcarpeta de la carpeta plugins. PATH_IN_SUBFOLDER es la ruta de la subcarpeta, como foo/bar.

Visualiza una lista de complementos

Para ver una lista de complementos, elige una opción:

gcloud composer environments storage plugins list --environment ENVIRONMENT_NAME \
    --location LOCATION

Borra un complemento

Para borrar un complemento de tu entorno de Cloud Composer, borra el código del complemento de la carpeta plugins en el depósito de Cloud Storage adjunto a tu entorno de Cloud Composer.

Para borrar un complemento, elige una opción:

gcloud composer environments storage plugins delete --environment ENVIRONMENT_NAME \
    --location LOCATION PLUGIN_TO_DELETE

Descarga complementos

Para descargar complementos, elige una opción:

gcloud composer environments storage plugins export --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --destination PATH_TO_LOCAL_DESTINATION \
    --source PATH_IN_FOLDER

Donde:

  • ENVIRONMENT_NAME es el nombre del entorno.
  • LOCATION es la región de Compute Engine donde se encuentra el entorno.
  • PATH_TO_LOCAL_DESTINATION es el destino del archivo descargado.
  • --source es una opción para descargar solo un complemento. PATH_IN_FOLDER es la ruta de la carpeta, como /foo.

Qué sigue