El administrador de complementos de Apache Airflow te permite escribir operadores internos, hooks, sensores o interfaces personalizados de Apache Airflow. Para obtener más información, consulta los complementos personalizados en la documentación de Airflow. En esta página, se describe cómo instalar los complementos personalizados en tu entorno de Cloud Composer.
Cuando creas un entorno, Cloud Composer crea un bucket de Cloud Storage y lo asocia con tu entorno. Usa la carpeta plugins
en el bucket asociado para instalar los complementos personalizados.
Para determinar el bucket de Cloud Storage conectado a tu entorno, consulta la sección sobre cómo agregar y actualizar los DAG.
Antes de comenzar
- Estos son los permisos necesarios para agregar y actualizar complementos en el depósito de Cloud Storage del entorno de Cloud Composer:
storage.objectAdmin
para subir archivoscomposer.environments.get
para buscar el depósito de destino del DAG Este permiso no es obligatorio cuando se usa la API de Cloud Storage ogsutil
.
Este método de instalación solo se aplica a los complementos de Airflow. Por ejemplo, no puedes usar este método para instalar módulos comunes de Python ni otras bibliotecas.
Los complementos deben cumplir con los lineamientos de la plantilla de complementos de Airflow.
Instala un complemento
Para instalar un complemento personalizado en tu entorno de Cloud Composer, copia el código del complemento en la carpeta plugins
del bucket de Cloud Storage conectado a tu entorno de Cloud Composer.
Para instalar un complemento, elige una opción:
- Usa el navegador de Cloud Storage en Cloud Console.
- Usa el siguiente comando de
gcloud
:
gcloud composer environments storage plugins import --environment ENVIRONMENT_NAME \ --location LOCATION \ --source PATH_TO_LOCAL_FILE \ --destination PATH_IN_SUBFOLDER
Donde:
ENVIRONMENT_NAME
es el nombre del entorno.LOCATION
es la región de Compute Engine donde se encuentra el entorno.PATH_TO_LOCAL_FILE
es la ruta del archivo que se va a subir.--destination
es una opción para subir un complemento a una subcarpeta de la carpetaplugins
.PATH_IN_SUBFOLDER
es la ruta de la subcarpeta, comofoo/bar
.
Visualiza una lista de complementos
Para ver una lista de complementos, elige una opción:
- Usa el navegador de Cloud Storage en Cloud Console.
- Usa el siguiente comando de
gcloud
y reemplaza VARIABLES por los valores adecuados:
gcloud composer environments storage plugins list --environment ENVIRONMENT_NAME \ --location LOCATION
Borra un complemento
Para borrar un complemento de tu entorno de Cloud Composer, borra el código del complemento de la carpeta plugins
en el bucket de Cloud Storage adjunto a tu entorno de Cloud Composer.
Para borrar un complemento, elige una opción:
- Usa el navegador de Cloud Storage en Cloud Console.
- Usa el siguiente comando de
gcloud
y reemplaza VARIABLES por los valores adecuados:
gcloud composer environments storage plugins delete --environment ENVIRONMENT_NAME \ --location LOCATION PLUGIN_TO_DELETE
Descarga complementos
Para descargar complementos, elige una opción:
- Usa el navegador de Cloud Storage en Cloud Console.
- Usa el siguiente comando de
gcloud
:
gcloud composer environments storage plugins export --environment ENVIRONMENT_NAME \ --location LOCATION \ --destination PATH_TO_LOCAL_DESTINATION \ --source PATH_IN_FOLDER
Donde:
ENVIRONMENT_NAME
es el nombre del entorno.LOCATION
es la región de Compute Engine donde se encuentra el entorno.PATH_TO_LOCAL_DESTINATION
es el destino del archivo descargado.--source
es una opción para descargar solo un complemento.PATH_IN_FOLDER
es la ruta de la carpeta, como /foo.