Airflow-Weboberfläche

Apache Airflow enthält eine Weboberfläche, über die Sie Workflows (DAGs) verwalten, die Airflow-Umgebung verwalten und administrative Aktionen durchführen können. Beispielsweise können Sie über die Weboberfläche den Fortschritt eines DAG überprüfen, eine neue Datenverbindung einrichten oder Protokolle aus vorherigen DAG-Ausführungen prüfen.

Jede Cloud Composer-Umgebung verfügt über einen Webserver, auf dem die Airflow-Weboberfläche ausgeführt wird. Der Webserver ist vom GKE-Cluster der Umgebung getrennt und wird auf einer App Engine-Instanz mit einem festen Maschinentyp ausgeführt. Der Webserver parst die DAG-Definitionsdateien im Ordner dags/ und muss auf die Daten und Ressourcen eines DAG zugreifen können.

Vorbereitung

  • Für den Zugriff auf den Airflow-Webserver in der Cloud Composer-Umgebung wird die Berechtigung composer.environments.get benötigt. Weitere Informationen finden Sie unter Cloud Composer-Zugriffssteuerung.

  • Während der Erstellung der Umgebung konfiguriert Cloud Composer die URL für den Webserver, auf dem die Airflow-Weboberfläche ausgeführt wird. Die URL kann nicht angepasst werden.

  • In Cloud Composer-Umgebungen mit Airflow 1.10 wird die Funktion für die rollenbasierte Zugriffssteuerung (Roles Based Access Control; RBAC) für die Airflow-Weboberfläche nicht unterstützt.

Weboberfläche aufrufen

Der Airflow-Webserverdienst wird für die Domain appspot.com bereitgestellt und ermöglicht den Zugriff auf die Airflow-Weboberfläche. Cloud Identity-Aware Proxy schützt die Oberfläche und steuert den Zugriff anhand von Nutzeridentitäten.

Nach der Erstellung einer neuen Cloud Composer-Umgebung dauert es bis zu einer Stunde, bis die Weboberfläche das Hosting beendet hat und der Zugriff darauf möglich ist.

Zugriff auf die Weboberfläche über die Google Cloud Platform Console

So greifen Sie über die Google Cloud Platform Console auf die Airflow-Weboberfläche zu:

  1. Öffnen Sie die Seite Umgebungen, um die vorhandenen Cloud Composer-Umgebungen anzusehen.

    Seite "Umgebungen" öffnen

  2. Klicken Sie in der Spalte Airflow Webserver auf das neue Fenstersymbol für die Umgebung, deren Airflow-Weboberfläche Sie anzeigen möchten.
  3. Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.

URL der Weboberfläche über das gcloud-Befehlszeilentool abrufen

Sie können über einen beliebigen Webbrowser auf die Airflow-Weboberfläche zugreifen. Geben Sie den folgenden gcloud-Befehl ein, um die URL für die Weboberfläche abzurufen:

gcloud composer environments describe ENVIRONMENT_NAME \
--location LOCATION

Hierbei gilt:

  • ENVIRONMENT_NAME ist der Name der Umgebung.
  • LOCATION ist die Compute Engine-Region, in der sich die Umgebung befindet.

Der gcloud-Befehl zeigt die Attribute einer Cloud Composer-Umgebung, einschließlich der URL für die Weboberfläche. Die URL wird als airflowUri aufgeführt.

airflowUri: https://uexamplebcd3fff-tp.appspot.com/
  dagGcsPrefix: gs://us-central1-example-environment-00a47695-bucket/dags
  gkeCluster: projects/example-project/zones/us-central1-a/clusters/us-central1-example-environment-00a47695-gke
  nodeConfig:
    diskSizeGb: 100
    location: projects/example-project/zones/us-central1-a
    machineType: projects/example-project/zones/us-central1-a/machineTypes/n1-standard-1
    network: projects/example-project/global/networks/default
    oauthScopes:
    - https://www.googleapis.com/auth/cloud-platform
    serviceAccount: N13597NNN465-compute@developer.gserviceaccount.com
  nodeCount: 3
  softwareConfig:
    imageVersion: composer-0.5.1-airflow-1.9.0
createTime: '2018-05-19T02:13:36.749Z'
name: projects/example-project/locations/us-central1/environments/example-environment
state: RUNNING
updateTime: '2018-05-19T02:30:21.387Z'
uuid: 66bd6a28-5b48-4da3-a0aa-898199b569da
Hat Ihnen diese Seite weitergeholfen? Teilen Sie uns Ihr Feedback mit:

Feedback geben zu...

Cloud Composer