Installer des plug-ins personnalisés

Cloud Composer 1 | Cloud Composer 2

Le gestionnaire de plug-ins d'Apache Airflow vous permet d'écrire des opérateurs, des hooks, des capteurs ou des interfaces Apache Airflow internes personnalisés. Pour en savoir plus, consultez la section Plug-ins personnalisés dans la documentation Airflow. Cette page explique comment installer des plug-ins personnalisés dans votre environnement Cloud Composer.

Lorsque vous créez un environnement, Cloud Composer crée un bucket Cloud Storage et l'associe à votre environnement. Pour installer des plug-ins personnalisés, utilisez le dossier plugins du bucket associé.

Avant de commencer

  • Votre compte doit disposer d'un rôle permettant d'afficher et de modifier le contenu des buckets de votre environnement.
  • Cette méthode d'installation ne s'applique qu'aux plug-ins Airflow. Par exemple, vous ne pouvez pas utiliser cette méthode pour installer des modules Python courants ou d'autres bibliothèques.
  • Les plug-ins doivent être conformes aux directives du modèle de plug-ins Airflow.

Installer un plugin

Pour installer un plug-in personnalisé dans votre environnement Cloud Composer, copiez le code du plug-in dans le dossier plugins du bucket Cloud Storage associé à votre environnement Cloud Composer.

Pour installer un plug-in, procédez comme suit :

Console

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Recherchez votre environnement et suivez le lien DAG.

  3. Remontez d'un niveau, puis accédez au dossier plugins/.

  4. Importez vos fichiers de plug-in. Pour plus d'informations sur l'importation d'objets, consultez la page Importer des objets.

gcloud

Exécutez la commande gcloud suivante :

gcloud composer environments storage plugins import \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

Remplacez :

  • ENVIRONMENT_NAME par le nom de l'environnement.
  • LOCATION par la région dans laquelle se trouve l'environnement.
  • PATH_TO_LOCAL_FILE par le chemin d'accès du fichier à importer.
  • (Facultatif) PATH_IN_SUBFOLDER par le chemin d'accès au sous-dossier. Utilisez l'argument --destination pour importer un plug-in dans un sous-dossier du dossier plugins. Sinon, omettez l'argument --destination.

Afficher une liste de plug-ins

Console

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Recherchez votre environnement et suivez le lien DAG.

  3. Remontez d'un niveau, puis accédez au dossier plugins/.

  4. Affichez les fichiers du plug-in.

gcloud

Exécutez la commande gcloud suivante :

gcloud composer environments storage plugins list \
    --environment ENVIRONMENT_NAME \
    --location LOCATION

Remplacez :

  • ENVIRONMENT_NAME par le nom de l'environnement.
  • LOCATION par la région dans laquelle se trouve l'environnement.

Supprimer un plug-in

Pour supprimer un plug-in de votre environnement Cloud Composer, supprimez le code du plug-in dans le dossier plugins du bucket de l'environnement.

Pour supprimer un plug-in, procédez comme suit :

Console

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Recherchez votre environnement et suivez le lien DAG.

  3. Remontez d'un niveau, puis accédez au dossier plugins/.

  4. Supprimez les fichiers du plug-in. Pour plus d'informations, consultez la section Supprimer des objets.

gcloud

Exécutez la commande gcloud suivante :

gcloud composer environments storage plugins delete \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    PLUGIN_TO_DELETE

Télécharger des plug-ins

Pour télécharger des plug-ins, choisissez une option parmi les suivantes :

Console

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Recherchez votre environnement et suivez le lien DAG.

  3. Remontez d'un niveau, puis accédez au dossier plugins/.

  4. Téléchargez les fichiers du plug-in. Pour en savoir plus sur la suppression d'objets, consultez la page Télécharger des objets.

gcloud

Exécutez la commande gcloud suivante :

gcloud composer environments storage plugins export \
  --environment ENVIRONMENT_NAME \
  --location LOCATION \
  --destination PATH_TO_LOCAL_DESTINATION \
  --source PATH_IN_FOLDER

Remplacez :

  • ENVIRONMENT_NAME par le nom de l'environnement.
  • LOCATION par la région dans laquelle se trouve l'environnement.
  • PATH_TO_LOCAL_DESTINATION par la destination du fichier téléchargé.
  • (Facultatif) --source est une option permettant de télécharger un seul plug-in. PATH_IN_FOLDER est le chemin d'accès au dossier.

Résoudre les problèmes liés au plug-in

Un plug-in nouvellement importé n'est pas visible dans l'interface utilisateur d'Airflow

Si vous utilisez le contrôle des accès à l'interface utilisateur Airflow, il est possible que le plug-in nouvellement importé ne soit pas visible dans l'interface utilisateur Airflow. Pour résoudre ce problème, demandez à l'administrateur de l'interface utilisateur Airflow de configurer l'accès au plug-in nouvellement importé ou de vous attribuer le rôle Admin dans l'interface utilisateur Airflow.

Étapes suivantes