Benutzerdefinierte Plug-ins installieren

Cloud Composer 1 | Cloud Composer 2

Mit dem Plug-in-Manager von Apache Airflow können Sie benutzerdefinierte interne Operatoren, Hooks, Sensoren oder Schnittstellen für Apache Airflow schreiben. Weitere Informationen finden Sie unter Benutzerdefinierte Plug-ins in der Airflow-Dokumentation. Auf dieser Seite wird das Installieren von benutzerdefinierten Plug-ins in einer Cloud Composer-Umgebung erläutert.

Wenn Sie eine Umgebung erstellen, erstellt Cloud Composer einen Cloud Storage-Bucket und verknüpft diesen mit Ihrer Umgebung. Zum Installieren von benutzerdefinierten Plug-ins verwenden Sie den Ordner plugins im zugeordneten Bucket.

Hinweis

  • Ihr Konto muss eine Rolle haben, mit der Sie die Bucket-Inhalte Ihrer Umgebung anzeigen und ändern können.
  • Diese Installationsmethode gilt nur für Airflow-Plug-ins. Sie können diese Methode beispielsweise nicht zum Installieren gängiger Python-Module oder anderer Bibliotheken verwenden.
  • Plug-ins müssen den Richtlinien für Airflow-Plug-in-Vorlagen entsprechen.

Plug-ins installieren

Kopieren Sie den Plug-in-Code in den Ordner plugins des Cloud Storage-Buckets, der Ihrer Cloud Composer-Umgebung zugeordnet ist, um ein benutzerdefiniertes Plug-in in der Cloud Composer-Umgebung zu installieren.

So installieren Sie ein Plug-in:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zu den Umgebungen

  2. Suchen Sie Ihre Umgebung und folgen Sie dem Link DAGs.

  3. Gehen Sie eine Ordnerebene nach oben und rufen Sie den Ordner plugins/ auf.

  4. Laden Sie Ihre Plug-in-Dateien hoch. Weitere Informationen zum Hochladen von Objekten finden Sie unter Objekte hochladen.

gcloud

Verwenden Sie den folgenden gcloud-Befehl:

gcloud composer environments storage plugins import \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

Ersetzen Sie:

  • ENVIRONMENT_NAME durch den Namen der Umgebung.
  • LOCATION durch die Compute Engine-Region, in der sich die Umgebung befindet.
  • PATH_TO_LOCAL_FILE durch den Pfad der Datei, die hochgeladen werden soll.
  • Optional: PATH_IN_SUBFOLDER durch den Pfad zum Unterordner. Verwenden Sie das Argument --destination, um ein Plug-in in einen Unterordner im Ordner plugins hochzuladen. Andernfalls lassen Sie das Argument --destination weg.

Liste der Plug-ins aufrufen

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zu den Umgebungen

  2. Suchen Sie Ihre Umgebung und folgen Sie dem Link DAGs.

  3. Gehen Sie eine Ordnerebene nach oben und rufen Sie den Ordner plugins/ auf.

  4. Rufen Sie die Plug-in-Dateien auf.

gcloud

Verwenden Sie den folgenden gcloud-Befehl:

gcloud composer environments storage plugins list \
    --environment ENVIRONMENT_NAME \
    --location LOCATION

Ersetzen Sie:

  • ENVIRONMENT_NAME durch den Namen der Umgebung.
  • LOCATION durch die Compute Engine-Region, in der sich die Umgebung befindet.

Plug-in löschen

Löschen Sie das Plug-in aus dem Ordner plugins im Bucket der Umgebung, um ein Plug-in aus der Cloud Composer-Umgebung zu löschen.

So löschen Sie ein Plug-in:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zu den Umgebungen

  2. Suchen Sie Ihre Umgebung und folgen Sie dem Link DAGs.

  3. Gehen Sie eine Ordnerebene nach oben und rufen Sie den Ordner plugins/ auf.

  4. Löschen Sie die Plug-in-Dateien. Weitere Informationen zum Löschen von Objekten finden Sie unter Objekte löschen.

gcloud

Verwenden Sie den folgenden gcloud-Befehl:

gcloud composer environments storage plugins delete \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    PLUGIN_TO_DELETE

Plug-ins herunterladen

Zum Herunterladen von Plug-ins wählen Sie eine Option aus:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zu den Umgebungen

  2. Suchen Sie Ihre Umgebung und folgen Sie dem Link DAGs.

  3. Gehen Sie eine Ordnerebene nach oben und rufen Sie den Ordner plugins/ auf.

  4. Laden Sie die Plug-in-Dateien herunter. Weitere Informationen zum Löschen von Objekten finden Sie unter Objekte herunterladen.

gcloud

Verwenden Sie den folgenden gcloud-Befehl:

gcloud composer environments storage plugins export \
  --environment ENVIRONMENT_NAME \
  --location LOCATION \
  --destination PATH_TO_LOCAL_DESTINATION \
  --source PATH_IN_FOLDER

Ersetzen Sie:

  • ENVIRONMENT_NAME durch den Namen der Umgebung.
  • LOCATION durch die Compute Engine-Region, in der sich die Umgebung befindet.
  • PATH_TO_LOCAL_DESTINATION durch das Ziel für die heruntergeladene Datei.
  • Optional: --source ist die Option, nur ein Plug-in herunterzuladen. PATH_IN_FOLDER ist der Ordnerpfad.

Nächste Schritte