Cloud Composer 1 | Cloud Composer 2
Le gestionnaire de plug-ins d'Apache Airflow vous permet d'écrire des opérateurs, des hooks, des capteurs ou des interfaces Apache Airflow internes personnalisés. Pour en savoir plus, consultez la page custom plugins dans la documentation Airflow. Cette page explique comment installer des plug-ins personnalisés dans votre environnement Cloud Composer.
Lorsque vous créez un environnement, Cloud Composer crée un bucket Cloud Storage et l'associe à votre environnement. Pour installer des plug-ins personnalisés, utilisez le dossier plugins
du bucket associé.
Avant de commencer
- Votre compte doit disposer d'un rôle permettant d'afficher et de modifier le contenu des buckets de votre environnement.
- Cette méthode d'installation ne s'applique qu'aux plug-ins Airflow. Par exemple, vous ne pouvez pas utiliser cette méthode pour installer des modules Python courants ou d'autres bibliothèques.
- Les plug-ins doivent être conformes aux directives du modèle de plug-ins Airflow.
Installer un plugin
Pour installer un plug-in personnalisé dans votre environnement Cloud Composer, copiez le code du plug-in dans le dossier plugins
du bucket Cloud Storage associé à votre environnement Cloud Composer.
Pour installer un plug-in, procédez comme suit :
Console
Dans la console Google Cloud, accédez à la page Environnements.
Recherchez votre environnement et suivez le lien DAG.
Remontez d'un niveau, puis accédez au dossier
plugins/
.Importez vos fichiers de plug-in. Pour plus d'informations sur l'importation d'objets, consultez la page Importer des objets.
gcloud
Exécutez la commande gcloud
suivante :
gcloud composer environments storage plugins import \
--environment ENVIRONMENT_NAME \
--location LOCATION \
--source PATH_TO_LOCAL_FILE \
--destination PATH_IN_SUBFOLDER
Remplacez :
ENVIRONMENT_NAME
par le nom de l'environnement.LOCATION
par la région dans laquelle se trouve l'environnement.PATH_TO_LOCAL_FILE
par le chemin d'accès du fichier à importer.- (Facultatif)
PATH_IN_SUBFOLDER
par le chemin d'accès au sous-dossier. Utilisez l'argument--destination
pour importer un plug-in dans un sous-dossier du dossierplugins
. Sinon, omettez l'argument--destination
.
Afficher une liste de plug-ins
Console
Dans la console Google Cloud, accédez à la page Environnements.
Recherchez votre environnement et suivez le lien DAG.
Remontez d'un niveau, puis accédez au dossier
plugins/
.Affichez les fichiers du plug-in.
gcloud
Exécutez la commande gcloud
suivante :
gcloud composer environments storage plugins list \
--environment ENVIRONMENT_NAME \
--location LOCATION
Remplacez :
ENVIRONMENT_NAME
par le nom de l'environnement.LOCATION
par la région dans laquelle se trouve l'environnement.
Supprimer un plug-in
Pour supprimer un plug-in de votre environnement Cloud Composer, supprimez le code du plug-in dans le dossier plugins
du bucket de l'environnement.
Pour supprimer un plug-in, procédez comme suit :
Console
Dans la console Google Cloud, accédez à la page Environnements.
Recherchez votre environnement et suivez le lien DAG.
Remontez d'un niveau, puis accédez au dossier
plugins/
.Supprimez les fichiers du plug-in. Pour plus d'informations, consultez la section Supprimer des objets.
gcloud
Exécutez la commande gcloud
suivante :
gcloud composer environments storage plugins delete \
--environment ENVIRONMENT_NAME \
--location LOCATION \
PLUGIN_TO_DELETE
Télécharger des plug-ins
Pour télécharger des plug-ins, choisissez une option parmi les suivantes :
Console
Dans la console Google Cloud, accédez à la page Environnements.
Recherchez votre environnement et suivez le lien DAG.
Remontez d'un niveau, puis accédez au dossier
plugins/
.Téléchargez les fichiers du plug-in. Pour en savoir plus sur la suppression d'objets, consultez la page Télécharger des objets.
gcloud
Exécutez la commande gcloud
suivante :
gcloud composer environments storage plugins export \
--environment ENVIRONMENT_NAME \
--location LOCATION \
--destination PATH_TO_LOCAL_DESTINATION \
--source PATH_IN_FOLDER
Remplacez :
ENVIRONMENT_NAME
par le nom de l'environnement.LOCATION
par la région dans laquelle se trouve l'environnement.PATH_TO_LOCAL_DESTINATION
par la destination du fichier téléchargé.- (Facultatif)
--source
est une option permettant de télécharger un seul plug-in.PATH_IN_FOLDER
est le chemin d'accès au dossier.
Résoudre les problèmes liés aux plug-ins
Un plug-in nouvellement importé n'est pas visible dans l'interface utilisateur d'Airflow
Si vous utilisez le contrôle des accès de l'interface utilisateur Airflow, le plug-in nouvellement importé peut ne pas être visible dans l'interface utilisateur Airflow. Pour résoudre ce problème, demandez à l'administrateur de l'interface utilisateur Airflow de configurer l'accès au plug-in récemment importé ou de vous attribuer le rôle Admin
dans l'interface utilisateur Airflow.