Installer des plug-ins personnalisés

Le gestionnaire de plug-ins d'Apache Airflow vous permet d'écrire des opérateurs, des hooks, des capteurs ou des interfaces Apache Airflow internes personnalisés. Pour en savoir plus, consultez la page custom plugins dans la documentation Airflow. Cette page explique comment installer des plug-ins personnalisés dans votre environnement Cloud Composer.

Lorsque vous créez un environnement, Cloud Composer crée un bucket Cloud Storage et l'associe à votre environnement. Pour installer des plug-ins personnalisés, utilisez le dossier plugins du bucket associé. Pour déterminer le bucket Cloud Storage associé à votre environnement, consultez la section Ajouter et mettre à jour des DAG.

Avant de commencer

  • Les autorisations suivantes sont requises pour ajouter et mettre à jour des plug-ins dans le bucket Cloud Storage de l'environnement Cloud Composer :
    • storage.objectAdmin pour importer des fichiers.
    • composer.environments.get pour rechercher le bucket de destination des DAG. Cette autorisation n'est pas requise lorsque vous utilisez l'API Cloud Storage ou gsutil.
  • Cette méthode d'installation ne s'applique qu'aux plug-ins Airflow. Par exemple, elle ne vous permet pas d'installer des modules Python courants, ni d'autres bibliothèques.

  • Les plug-ins doivent être conformes aux directives du modèle de plug-ins Airflow.

Installer un plugin

Pour installer un plug-in personnalisé dans votre environnement Cloud Composer, copiez le code du plug-in dans le dossier plugins du bucket Cloud Storage associé à votre environnement Cloud Composer.

Pour installer un plug-in, choisissez une option parmi les suivantes :

gcloud composer environments storage plugins import --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

où :

  • ENVIRONMENT_NAME est le nom de l'environnement.
  • LOCATION est la région Compute Engine dans laquelle se trouve l'environnement.
  • PATH_TO_LOCAL_FILE est le chemin d'accès du fichier à importer.
  • --destination est une option permettant d'importer un plug-in dans un sous-dossier du dossier plugins. PATH_IN_SUBFOLDER est le chemin d'accès au sous-dossier, tel que foo/bar.

Afficher une liste de plug-ins

Pour afficher une liste de plug-ins, choisissez une option parmi les suivantes :

gcloud composer environments storage plugins list --environment ENVIRONMENT_NAME \
    --location LOCATION

Supprimer un plug-in

Pour supprimer un plug-in de votre environnement Cloud Composer, supprimez le code du plug-in dans le dossier plugins du bucket Cloud Storage associé à votre environnement Cloud Composer.

Pour supprimer un plug-in, choisissez une option parmi les suivantes :

gcloud composer environments storage plugins delete --environment ENVIRONMENT_NAME \
    --location LOCATION PLUGIN_TO_DELETE

Télécharger des plug-ins

Pour télécharger des plug-ins, choisissez une option parmi les suivantes :

gcloud composer environments storage plugins export --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --destination PATH_TO_LOCAL_DESTINATION \
    --source PATH_IN_FOLDER

où :

  • ENVIRONMENT_NAME est le nom de l'environnement.
  • LOCATION est la région Compute Engine dans laquelle se trouve l'environnement.
  • PATH_TO_LOCAL_DESTINATION est la destination du fichier téléchargé.
  • --source est une option permettant de télécharger un seul plug-in. PATH_IN_FOLDER est le chemin d'accès au dossier, tel que /foo.

Étape suivante