Installer des plug-ins personnalisés

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Preview — Cloud Composer 3

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Cette page explique comment installer des plug-ins personnalisés dans votre environnement Cloud Composer environnement.

Le gestionnaire de plug-ins d'Apache Airflow vous permet d'écrire des opérateurs, des hooks, des capteurs ou des interfaces Apache Airflow internes personnalisés. Pour en savoir plus, consultez la page custom plugins dans la documentation Airflow.

À propos des plug-ins personnalisés

Lorsque vous créez un environnement, Cloud Composer crée un bucket Cloud Storage et associe ce avec votre environnement. Vous utilisez le dossier plugins dans votre pour installer des plug-ins personnalisés.

Avant de commencer

• Votre compte doit disposer d'un rôle permettant d'afficher et de modifier le contenu des buckets de votre environnement.
• Cette méthode d'installation ne s'applique qu'aux plug-ins Airflow. Par exemple : ne peut pas utiliser cette méthode pour installer des modules Python courants ou d'autres bibliothèques.
• Les plug-ins doivent être conformes aux directives du modèle de plug-ins Airflow.

Installer un plug-in

Pour installer un plug-in personnalisé dans votre environnement Cloud Composer, Copiez le code du plug-in dans le dossier plugins du bucket de votre environnement.

Remarque :Une fois les plug-ins chargés, ils ne sont jamais actualisés, à l'exception de l'interface utilisateur. plug-ins sur le serveur Web. Vous devrez peut-être redémarrer manuellement le serveur Web ou les processus de planification. Sinon, un planificateur ne redémarre qu'après l'expiration de [scheduler]num_runs, qui est défini sur 5 000 par défaut.

Pour installer un plug-in, procédez comme suit :

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Recherchez votre environnement et suivez le lien DAG.

3. Remontez d'un niveau, puis accédez au dossier plugins/.

4. Importez vos fichiers de plug-in. Pour plus d'informations sur l'importation d'objets, consultez la page Importer des objets.

gcloud

Exécutez la commande gcloud suivante :

gcloud composer environments storage plugins import \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

Remplacez :

• ENVIRONMENT_NAME par le nom de l'environnement.
• LOCATION par la région où se trouve l'environnement.
• PATH_TO_LOCAL_FILE par le chemin d'accès du fichier à importer.
• (Facultatif) PATH_IN_SUBFOLDER par le chemin d'accès au sous-dossier. Utilisez l'argument --destination pour importer un plug-in dans un sous-dossier du dossier plugins. Sinon, omettez l'argument --destination.

Afficher la liste des plug-ins

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Recherchez votre environnement et suivez le lien DAG.

3. Remontez d'un niveau, puis accédez au dossier plugins/.

4. Affichez les fichiers du plug-in.

gcloud

Exécutez la commande gcloud suivante :

gcloud composer environments storage plugins list \
    --environment ENVIRONMENT_NAME \
    --location LOCATION

Remplacez :

• ENVIRONMENT_NAME par le nom de l'environnement.
• LOCATION par la région où se trouve l'environnement.

Supprimer un plug-in

Pour supprimer un plug-in de votre environnement Cloud Composer, supprimez le code du plug-in dans le dossier plugins du bucket de l'environnement.

Remarque :Vous pouvez désactiver les plug-ins de serveur Web sans les supprimer.

Pour supprimer un plug-in, procédez comme suit :

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Recherchez votre environnement et suivez le lien DAG.

3. Remontez d'un niveau, puis accédez au dossier plugins/.

4. Supprimez les fichiers du plug-in. Pour plus d'informations, consultez la section Supprimer des objets.

gcloud

Exécutez la commande gcloud suivante :

gcloud composer environments storage plugins delete \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    PLUGIN_TO_DELETE

Télécharger des plug-ins

Pour télécharger des plug-ins, choisissez une option parmi les suivantes :

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Recherchez votre environnement et suivez le lien DAG.

3. Remontez d'un niveau, puis accédez au dossier plugins/.

4. Téléchargez les fichiers du plug-in. Pour en savoir plus sur la suppression d'objets, consultez la page Télécharger des objets.

gcloud

Exécutez la commande gcloud suivante :

gcloud composer environments storage plugins export \
  --environment ENVIRONMENT_NAME \
  --location LOCATION \
  --destination PATH_TO_LOCAL_DESTINATION \
  --source PATH_IN_FOLDER

Remplacez :

• ENVIRONMENT_NAME par le nom de l'environnement.
• LOCATION par la région dans laquelle se trouve l'environnement.
• PATH_TO_LOCAL_DESTINATION par la destination du fichier téléchargé.
• (Facultatif) --source est une option permettant de télécharger un seul plug-in. PATH_IN_FOLDER est le chemin d'accès au dossier.

Désactiver les plug-ins du serveur Web

Dans Cloud Composer 3, si vous rencontrez des problèmes avec l'interface utilisateur d'Airflow, vous pouvez désactiver les plug-ins du serveur Web sans avoir à les supprimer du bucket de l'environnement.

Remarque : Vous pouvez également désactiver les plug-ins du serveur Web lorsque vous créez un environnement.

gcloud

Les arguments de la Google Cloud CLI suivants désactivent et activent le serveur Web plugins:

• --no-support-web-server-plugins : désactivation des plug-ins du serveur Web
• --support-web-server-plugins: activer les plug-ins de serveur Web

Pour désactiver les plug-ins du serveur Web, exécutez la commande Google Cloud CLI suivante :

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --no-support-web-server-plugins

Pour activer les plug-ins de serveur Web, exécutez la commande suivante : Commande Google Cloud CLI:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --support-web-server-plugins

Remplacez les éléments suivants :

• ENVIRONMENT_NAME: nom de l'environnement
• LOCATION : région où se trouve l'environnement

API

1. Créez une requête API environments.patch.

2. Dans cette requête :

   1. Dans le paramètre updateMask, spécifiez le masque config.software_config.web_server_plugins_mode.

   2. Dans le corps de la requête, dans le champ web_server_plugins_mode:

      • Spécifiez PLUGINS_DISABLED pour désactiver les plug-ins du serveur Web.
      • Spécifiez PLUGINS_ENABLED pour activer les plug-ins du serveur Web.

Exemple (désactiver les plug-ins):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.software_config.web_server_plugins_mode

"config": {
  "softwareConfig": {
    "web_server_plugins_mode": "PLUGINS_DISABLED"
   }
}

Exemple (activer les plug-ins) :

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.software_config.web_server_plugins_mode

"config": {
  "softwareConfig": {
    "web_server_plugins_mode": "PLUGINS_ENABLED"
   }
}

Résoudre les problèmes liés au plug-in

Les plug-ins causent des problèmes avec l'interface utilisateur d'Airflow

Vous pouvez désactiver les plug-ins du serveur Web sans les supprimer. Pour plus plus d'informations, consultez la section Désactiver les plug-ins du serveur Web.

Un plug-in nouvellement importé n'est pas visible dans l'interface utilisateur d'Airflow

Si vous utilisez le contrôle des accès à l'interface utilisateur d'Airflow, le plug-in nouvellement importé risque de ne pas être visible dans l'interface utilisateur d'Airflow. Pour résoudre ce problème, demandez l'administrateur de l'interface utilisateur Airflow pour configurer l'accès au plug-in ou Attribuez-vous le rôle Admin dans l'interface utilisateur d'Airflow.

Étape suivante

• Données stockées dans Cloud Storage
• Gérer les DAG