Airflow-DAGs orchestrieren

Wenn Sie Support benötigen oder Feedback zu dieser Funktion geben möchten, senden Sie eine E-Mail an bigquery-orchestration-tab-feedback@google.com.

In diesem Dokument wird beschrieben, wie Sie gerichtete azyklische Graphen (Directed Acyclic Graphs, DAGs) in Airflow über Cloud Composer 3 (Vorabversion) auf der Seite Orchestrierung in BigQuery orchestrieren. Außerdem erfahren Sie, wie Sie DAGs manuell auslösen und den Verlauf und die Protokolle früherer DAG-Ausführungen aufrufen.

Airflow-DAGs in BigQuery

Auf der Seite Orchestrierung in BigQuery finden Sie Tools zum Orchestrating von Airflow-DAGs, die in Ihren Cloud Composer 3-Umgebungen ausgeführt werden.

Airflow-DAGs, die Sie in BigQuery orchestrieren, werden in einer oder mehreren Cloud Composer-Umgebungen in Ihrem Projekt ausgeführt. Auf der Seite Orchestrierung in BigQuery finden Sie Informationen zu allen Airflow-DAGs in Ihrem Projekt.

Während einer DAG-Ausführung plant und führt Airflow die einzelnen Aufgaben, aus denen ein DAG besteht, in einer vom DAG definierten Reihenfolge aus. Auf der Seite Orchestrierung in BigQuery können Sie den Status früherer DAG-Ausführungen abrufen, detaillierte Protokolle aller DAG-Ausführungen und aller Aufgaben aus diesen DAG-Ausführungen ansehen und Details zu DAGs aufrufen.

Weitere Informationen zu den Hauptkonzepten von Airflow wie Airflow-DAGs, DAG-Ausführungen, Aufgaben oder Operatoren finden Sie auf der Seite Grundlegende Konzepte in der Airflow-Dokumentation.

Weitere Informationen zu Cloud Composer-Umgebungen finden Sie in der Cloud Composer-Dokumentation auf der Seite Cloud Composer 3 – Übersicht.

Hinweise

  1. Enable the Cloud Composer API.

    Enable the API

  2. Achten Sie darauf, dass Ihr Google Cloud -Projekt mindestens eine Cloud Composer 3-Umgebung mit mindestens einer bereits hochgeladenen DAG-Datei hat:

Erforderliche Berechtigungen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Orchestrating von Airflow-DAGs benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Orchestrating von Airflow-DAGs erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Airflow-DAGs zu orchestrieren:

  • So rufen Sie Airflow-DAGs und ihre Details auf: composers.dags.list, composer.environments.list
  • So lösen Sie Airflow-DAGs aus und pausieren sie: composers.dags.list, composer.environments.list, composer.dags.execute

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu Cloud Composer 3 IAM finden Sie in der Cloud Composer-Dokumentation unter Zugriffssteuerung mit IAM.

DAG manuell auslösen

Wenn Sie einen Airflow-DAG manuell auslösen, führt Airflow ihn unabhängig vom für den DAG angegebenen Zeitplan einmal aus.

So lösen Sie einen ausgewählten Airflow-DAG manuell aus:

  1. Rufen Sie in der Google Cloud -Konsole die Seite Orchestrierung auf.

    Zur Seite Orchestrierung

  2. Führen Sie eine der folgenden Aktionen aus:

    • Klicken Sie auf den Namen des ausgewählten DAG und dann auf der Seite DAG-Details auf DAG auslösen.

    • Klicken Sie in der Zeile mit dem ausgewählten DAG in der Spalte Aktionen auf Aktionen ansehen und dann auf DAG auslösen.

Logs und Details zur DAG-Ausführung ansehen

So rufen Sie Details zu einem ausgewählten Airflow-DAG auf:

  1. Rufen Sie in der Google Cloud -Konsole die Seite Orchestrierung auf.

    Zur Seite Orchestrierung

  2. Klicken Sie auf den Namen des ausgewählten DAG.

  3. Wählen Sie auf der Seite DAG-Details den Tab Details aus.

  4. Wenn Sie frühere DAG-Ausführungen aufrufen möchten, wählen Sie den Tab Ausführungen aus.

    1. Optional: Auf dem Tab Ausführungen werden standardmäßig DAG-Ausführungen der letzten 10 Tage angezeigt. Wenn Sie DAG-Ausführungen nach einem anderen Zeitraum filtern möchten, wählen Sie im Drop-down-Menü 10 Tage einen Zeitraum aus und klicken Sie dann auf OK.

    2. Optional: Wenn Sie in der Liste aller DAG-Ausführungen zusätzliche Spalten mit Details zur DAG-Ausführung anzeigen möchten, klicken Sie auf  Spaltenanzeigeoptionen, wählen Sie die gewünschten Spalten aus und klicken Sie auf OK.

    3. Wenn Sie Details und Protokolle für eine ausgewählte DAG-Ausführung aufrufen möchten, wählen Sie die entsprechende DAG-Ausführung aus.

  5. Wenn Sie eine Visualisierung der DAG mit Aufgabenabhängigkeiten aufrufen möchten, wählen Sie den Tab Diagramm aus.

    1. Wenn Sie sich Aufgabendetails ansehen möchten, wählen Sie im Diagramm eine Aufgabe aus.

  6. Wenn Sie den Quellcode des DAG aufrufen möchten, wählen Sie den Tab Code aus.

  7. Optional: Klicken Sie auf Aktualisieren, um die angezeigten Daten zu aktualisieren.

Alle DAGs ansehen

So rufen Sie Airflow-DAGs aus allen Cloud Composer 3-Umgebungen in IhremGoogle Cloud -Projekt auf:

  1. Rufen Sie in der Google Cloud -Konsole die Seite Orchestrierung auf.

    Zur Seite Orchestrierung

  2. Optional: Wenn Sie zusätzliche Spalten mit DAG-Details anzeigen möchten, klicken Sie auf  Spaltenanzeigeoptionen, wählen Sie die gewünschten Spalten aus und klicken Sie auf OK.

DAG pausieren

So pausieren Sie einen ausgewählten Airflow-DAG:

  1. Rufen Sie in der Google Cloud -Konsole die Seite Orchestrierung auf.

    Zur Seite Orchestrierung

  2. Führen Sie eine der folgenden Aktionen aus:

    • Klicken Sie auf den Namen des ausgewählten DAG und dann auf der Seite DAG-Details auf DAG pausieren.

    • Klicken Sie in der Zeile mit dem ausgewählten DAG in der Spalte Aktionen auf Aktionen ansehen und dann auf DAG pausieren.

Fehlerbehebung

Eine Anleitung zur Fehlerbehebung bei Airflow-DAGs finden Sie in der Cloud Composer-Dokumentation unter Fehlerbehebung bei Airflow-DAGs.

Nächste Schritte