DAGs, DAG-Ausführungen und Aufgaben ansehen

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite wird erläutert, wie Sie Informationen zu DAGs in Ihrer Umgebung abrufen.

Informationen zu DAGs aufrufen

Cloud Composer bietet mehrere Möglichkeiten, detaillierte Informationen zu DAGs in Ihrer Umgebung abzurufen:

  • Die DAG-UI ist ein Bereich der Google Cloud Console-Oberfläche für Cloud Composer zum Anzeigen und Überwachen von DAGs, DAG-Ausführungen und individuelle Aufgaben.
  • Die Airflow-UI ist die integrierte Weboberfläche von Airflow.
  • Die Airflow-Befehlszeile ist die Befehlszeile von Airflow. Ich Informationen zu DAGs können Sie abrufen, indem Sie Airflow-Befehlszeilenbefehle mit gcloud

Informationen zur DAG-UI von Cloud Composer

Die DAG-Benutzeroberfläche ist ein Bereich der Google Cloud Console-Oberfläche für Cloud Composer, in dem DAGs, DAG-Ausführungen und einzelne Aufgaben angezeigt und überwacht werden können.

In der DAG-Benutzeroberfläche haben Sie folgende Möglichkeiten:

  • Liste der DAGs in Ihrer Umgebung mit Zeitplanintervallen, DAG-Status und Beschreibungen aufrufen

  • Sie können DAGs pausieren, die Pausierung aufheben und auslösen.

  • Details zu DAG-Ausführungen aufrufen, einschließlich erfolgreicher, aktiver und fehlgeschlagener Ausführungen sowie Zeit seit der letzten abgeschlossenen Ausführung. Für jeden DAG können Sie den Verlauf des DAG aufrufen. Ausführungen und Aufgabeninstanzen, die mit diesem DAG verknüpft sind, einschließlich Logs für ausgeführte Aufgaben.

  • Filtern Sie die Details zur DAG-Ausführung. Sie können beispielsweise ein Zeitintervall auswählen und Abfragen erstellen, um die benötigten Informationen auszuwählen.

  • Hier finden Sie detaillierte Informationen zu einzelnen DAGs und Aufgaben. Dazu gehören visualisierte DAG-Diagramme, Informationen zu den Aufgaben innerhalb eines DAG, DAG-Quellcode und zusätzliche Informationen zu DAGs.

Hinweise

  • Ihr Konto muss eine Rolle haben, die auf die DAG-UI zugreifen und DAG aufrufen kann Details. Weitere Informationen finden Sie unter Zugriffssteuerung.

  • Die DAG-Benutzeroberfläche wird in Cloud Composer 2.0.1 und höher unterstützt.

    Liste der DAGs für Ihre Umgebung aufrufen

    Console

    Auf dem Tab DAGs Ihrer Umgebung sehen Sie eine Liste der DAGs sowie Details zu den DAG-Ausführungen für jeden DAG.

    So rufen Sie die Liste der DAGs auf:

    1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.

    Sie können Filter verwenden, um die Details nur für bestimmte DAGs oder für bestimmte Bedingungen zu erfüllen. Beispiel:

    1. Wählen Sie das Feld Filter aus.
    2. Wählen Sie aus der Drop-down-Liste die Eigenschaft DAG-ID aus.
    3. Geben Sie die ID des DAG an. Die Ergebnisse enthalten nur Details für die ausgewählte DAG.
    4. Optional: Wenn Sie weitere DAGs einbeziehen möchten, fügen Sie OR-Operatoren gefolgt von DAG-IDs hinzu.
    5. Optional: Wenn Sie nach anderen Bedingungen filtern möchten, fügen Sie dem Feld Filter weitere Properties hinzu. Beispielsweise können Sie nach DAGs mit Fehlern wird ausgeführt, indem Failed runs:>0 angegeben wird.

    Airflow-UI

    So rufen Sie die Liste der DAGs in der Airflow-Weboberfläche auf:

    1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.

    3. Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.

    4. Auf der Seite DAGs der Airflow-Weboberfläche wird eine Liste der DAGs für Ihre Umgebung angezeigt.

    gcloud

    Führen Sie den Befehl dags list der Airflow-Befehlszeile aus:

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

    Ersetzen Sie:

    • ENVIRONMENT_NAME durch den Namen der Umgebung.
    • LOCATION durch die Region, in der sich die Umgebung befindet.

    Verlauf von DAG-Ausführungen und Aufgaben ansehen

    Console

    Auf der Seite DAG-Details finden Sie auf dem Tab Ausführungen den Verlauf der DAG-Ausführungen. für einen einzelnen DAG.

    So rufen Sie den Verlauf von DAG-Ausführungen auf:

    1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.

    3. Wählen Sie einen DAG aus.

    4. Rufen Sie auf der Seite DAG-Details den Tab Ausführungen auf.

    5. Wählen Sie eine DAG-Ausführung aus der Liste aus, um die Details der DAG-Ausführung aufzurufen, z. B. Status der Aufgabeninstanzen für diese DAG-Ausführung, die Anzahl der Versuche und die Ausführungsdauer. Sie können einzelne Aufgaben auswählen, um Protokolle für Aufgabeninstanzen aufzurufen.

    Airflow-UI

    So rufen Sie die Liste der DAGs in der Airflow-Weboberfläche auf:

    1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.

    3. Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.

    4. Wählen Sie in der Airflow-Weboberfläche im Menü Suchen > DAG-Ausführungen aus. Auf der Seite DAG-Ausführungen werden DAG-Ausführungen für Ihre Umgebung angezeigt. Über den Link in der Spalte Ausführungs-ID erhalten Sie weitere Informationen zu Aufgaben.

    gcloud

    Führen Sie den Befehl dags list-runs der Airflow-Befehlszeile aus:

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

    Ersetzen Sie:

    • ENVIRONMENT_NAME durch den Namen der Umgebung.
    • LOCATION durch die Region, in der sich die Umgebung befindet.
    • DAG_ID durch den Namen des DAG.

    Mit den Airflow-Befehlszeilen tasks state und tasks states-for-dag-run können Sie zusätzliche Informationen zu Aufgabeninstanzen abrufen.

    Weitere Informationen finden Sie unter Auf die Airflow-Befehlszeile zugreifen und in der Referenz zur Airflow-Befehlszeile.

    DAG-Diagramme ansehen

    Console

    Auf dem Tab Diagramm der Seite DAG-Details wird ein DAG mit Aufgabenabhängigkeiten visualisiert.

    So rufen Sie das Diagramm eines DAG auf:

    1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.

    3. Wählen Sie einen DAG aus.

    4. Wechseln Sie auf der Seite DAG-Details zum Tab Diagramm.

    5. Optional: Wenn Sie zusätzliche Informationen zu Aufgaben sehen möchten, wählen Sie einzelne Aufgaben im Diagramm aus.

    Airflow-UI

    So rufen Sie das Diagramm eines DAGs in der Airflow-Weboberfläche auf:

    1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.

    3. Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.

    4. Auf der Seite DAGs der Airflow-Weboberfläche wird eine Liste der DAGs für Ihre Umgebung angezeigt.

    5. Klicken Sie für Ihren DAG in der Spalte Links auf den Link Grafikansicht.

    DAG-Quellcode und weitere Informationen zu DAGs aufrufen

    Console

    Sie können den Quellcode Ihrer DAGs und zusätzliche Informationen wie DAG-IDs und Links zu DAG-Definitionsdateien im Bucket der Umgebung aufrufen.

    1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.

    3. Wählen Sie einen DAG aus.

    4. Den DAG-Quellcode finden Sie auf dem Tab Diagramm.

    5. Weitere Informationen zum DAG finden Sie auf dem Tab Quelle.

    Airflow-UI

    So rufen Sie das Diagramm eines DAGs in der Airflow-Weboberfläche auf:

    1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.

    3. Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.

    4. Klicken Sie in der Airflow-Weboberfläche auf der Seite DAGs auf den Namen Ihres DAG.

    5. Gehen Sie auf der Seite mit den DAG-Details zu den verfügbaren Tabs, die Sie ansehen möchten Informationen zum DAG.

    Nächste Schritte