Benutzerdefinierte Plug-ins installieren

Mit dem Plug-in-Manager von Apache Airflow können Sie benutzerdefinierte interne Operatoren, Hooks, Sensoren oder Schnittstellen für Apache Airflow schreiben. Weitere Informationen finden Sie unter Benutzerdefinierte Plug-ins in der Airflow-Dokumentation. Auf dieser Seite wird das Installieren von benutzerdefinierten Plug-ins in einer Cloud Composer-Umgebung erläutert.

Beim Erstellen einer Umgebung wird von Cloud Composer ein Cloud Storage-Bucket erstellt und Ihrer Umgebung zugeordnet. Zum Installieren von benutzerdefinierten Plug-ins verwenden Sie den Ordner plugins im zugeordneten Bucket. Informationen zum Ermitteln des Cloud Storage-Buckets, der Ihrer Umgebung zugeordnet ist, finden Sie unter DAGs hinzufügen und aktualisieren.

Vorbereitung

  • Die folgenden Berechtigungen zum Hinzufügen und Aktualisieren von Plug-ins im Cloud Storage-Bucket für die Cloud Composer-Umgebung sind erforderlich:
    • storage.objectAdmin zum Hochladen von Dateien.
    • composer.environments.get für das Aufrufen des DAG-Ziel-Buckets. Diese Berechtigung ist bei Verwendung der Cloud Storage API oder von gsutil nicht erforderlich.
  • Diese Installationsmethode gilt nur für Airflow-Plug-ins. Sie können diese Methode beispielsweise nicht zum Installieren gängiger Python-Module oder anderer Bibliotheken verwenden.

  • Plug-ins müssen den Richtlinien für Airflow-Plug-in-Vorlagen entsprechen.

Plug-ins installieren

Zum Installieren eines benutzerdefinierten Plug-ins in Ihrer Cloud Composer-Umgebung kopieren Sie den Plug-in-Code in den Ordner plugins im Cloud Storage-Bucket Ihrer Cloud Composer-Umgebung.

Zum Installieren des Plug-ins wählen Sie eine Option aus:

gcloud composer environments storage plugins import --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

Dabei gilt:

  • ENVIRONMENT_NAME ist der Name der Umgebung.
  • LOCATION ist die Compute Engine-Region, in der sich die Umgebung befindet.
  • PATH_TO_LOCAL_FILE ist der Pfad der hochzuladenden Datei.
  • --destination ist eine Option zum Hochladen eines Plug-ins in einen Unterordner im Ordner plugins. PATH_IN_SUBFOLDER ist der Pfad des Unterordners wie z. B. foo/bar.

Liste der Plug-ins aufrufen

Zum Aufrufen der Plug-in-Liste haben Sie folgende Möglichkeiten:

gcloud composer environments storage plugins list --environment ENVIRONMENT_NAME \
    --location LOCATION

Plug-in löschen

Wenn Sie ein Plug-in aus Ihrer Cloud Composer-Umgebung entfernen möchten, löschen Sie den Plug-in-Code aus dem Ordner plugins im Cloud Storage-Bucket Ihrer Cloud Composer-Umgebung.

Zum Löschen eines Plug-ins wählen Sie eine Option aus:

gcloud composer environments storage plugins delete --environment ENVIRONMENT_NAME \
    --location LOCATION PLUGIN_TO_DELETE

Plug-ins herunterladen

Zum Herunterladen von Plug-ins haben Sie folgende Möglichkeiten:

gcloud composer environments storage plugins export --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --destination PATH_TO_LOCAL_DESTINATION \
    --source PATH_IN_FOLDER

Dabei gilt:

  • ENVIRONMENT_NAME ist der Name der Umgebung.
  • LOCATION ist die Compute Engine-Region, in der sich die Umgebung befindet.
  • PATH_TO_LOCAL_DESTINATION ist das Ziel für die heruntergeladene Datei.
  • --source ist eine Option zum Herunterladen nur eines Plug-ins. PATH_IN_FOLDER ist der Pfad zum Ordner, z. B. /foo.

Nächste Schritte