Cloud Composer 1 Cloud Composer 2
Auf dieser Seite wird erläutert, wie Sie Informationen zu DAGs in Ihrer Umgebung abrufen.
Möglichkeiten zum Anzeigen von Informationen zu DAGs
Cloud Composer bietet mehrere Möglichkeiten, detaillierte Informationen zu DAGs in Ihrer Umgebung abzurufen:
- Die DAG-UI ist ein Bereich der Google Cloud Console-Oberfläche für Cloud Composer zum Ansehen und Überwachen von DAGs, DAG-Ausführungen und einzelnen Aufgaben.
- Die Airflow-UI ist die integrierte Weboberfläche von Airflow.
- Die Airflow-Befehlszeile ist die Befehlszeile von Airflow. Sie können Informationen zu DAGs abrufen, indem Sie Befehle der Airflow-Befehlszeile mit
gcloudausführen.
Informationen zur DAG-UI von Cloud Composer
Die DAG-UI ist ein Bereich der Google Cloud Console-Oberfläche für Cloud Composer zum Ansehen und Überwachen von DAGs, DAG-Ausführungen und einzelnen Aufgaben.
In der DAG-UI haben Sie folgende Möglichkeiten:
Sehen Sie sich eine Liste der DAGs in Ihrer Umgebung an, einschließlich Zeitplanintervallen, DAG-Status und Beschreibungen.
DAGs pausieren, die Pausierung aufheben und DAGs auslösen
Sehen Sie sich die Details der DAG-Ausführung seit der letzten abgeschlossenen Ausführung an, einschließlich erfolgreicher, aktiver und fehlgeschlagener Ausführungen. Für jeden DAG können Sie den Verlauf der DAG-Ausführungen und Aufgabeninstanzen aufrufen, die mit diesem DAG verknüpft sind, einschließlich Logs für ausgeführte Aufgaben.
Details zur DAG-Ausführung filtern. Sie können beispielsweise ein Zeitintervall auswählen und Abfragen erstellen, um die benötigten Informationen auszuwählen.
Sehen Sie sich detaillierte Informationen zu einzelnen DAGs und Aufgaben an. Dazu gehören visualisierte DAG-Diagramme, Informationen zu den Aufgaben in einem DAG, DAG-Quellcode und zusätzliche Informationen zu DAGs.
Hinweise
Für die DAG-UI muss die DAG-Serialisierung aktiviert sein.
Die DAG-UI wird in Cloud Composer 1.17.8 und höher unterstützt.
Liste der DAGs für Ihre Umgebung ansehen
Console
Auf dem Tab DAGs Ihrer Umgebung werden die Liste der DAGs zusammen mit den DAG-Ausführungsdetails für jeden DAG angezeigt.
So rufen Sie die Liste der DAGs auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte DAG-Liste auf den DAGs-Link für Ihre Umgebung.
Mithilfe von Filtern können Sie die Details nur für bestimmte DAGs oder Bedingungen aufrufen. Beispiel:
- Wählen Sie das Feld Filter aus.
- Wählen Sie in der Drop-down-Liste das Attribut DAG-ID aus.
- Geben Sie die ID des DAG an. Die Ergebnisse enthalten nur Details für den ausgewählten DAG.
- (Optional) Wenn Sie weitere DAGs aufnehmen möchten, fügen Sie
OR-Operatoren gefolgt von DAG-IDs hinzu. - Optional: Um nach anderen Bedingungen zu filtern, fügen Sie weitere Eigenschaften in das Feld Filter ein. Sie können beispielsweise nach DAGs mit fehlgeschlagenen Ausführungen filtern, indem Sie
Failed runs:>0angeben.
Airflow-UI
So rufen Sie die Liste der DAGs in der Airflow-Weboberfläche auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.
Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.
In der Airflow-Weboberfläche wird auf der Seite DAGs eine Liste der DAGs für Ihre Umgebung angezeigt.
gcloud
Führen Sie in Airflow 1.10.* den Befehl list_dags der Airflow-Befehlszeile aus:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
list_dags
Führen Sie in Airflow 2 den Befehl dags list der Airflow-Befehlszeile aus:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list -- -o plain
Ersetzen Sie:
ENVIRONMENT_NAMEdurch den Namen der Umgebung.LOCATIONdurch die Region, in der sich die Umgebung befindet.
Verlauf der DAG-Ausführungen und -Aufgaben ansehen
Console
Auf dem Tab Ausführungen auf der Seite DAG-Details wird der Verlauf der DAG-Ausführungen für einen einzelnen DAG angezeigt.
So rufen Sie den Verlauf der DAG-Ausführungen auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte DAG-Liste auf den DAGs-Link für Ihre Umgebung.
Wählen Sie einen DAG aus.
Wechseln Sie auf der Seite DAG-Details zum Tab Ausführungen.
Wählen Sie eine DAG-Ausführung aus der Liste aus, um die DAG-Ausführungsdetails wie den Status der Aufgabeninstanzen für diese DAG-Ausführung, die Anzahl der Versuche und die Ausführungsdauer anzusehen. Sie können einzelne Aufgaben auswählen, um Logs zu Aufgabeninstanzen aufzurufen.
Airflow-UI
So rufen Sie die Liste der DAGs in der Airflow-Weboberfläche auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.
Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.
Wählen Sie in der Airflow-Weboberfläche im Menü Browse > DAG Runs (Durchsuchen > DAG-Ausführungen) aus. Auf der Seite DAG-Ausführungen werden die DAG-Ausführungen für Ihre Umgebung angezeigt. Über den Link in der Spalte Ausführungs-ID erhalten Sie zusätzliche Informationen zu Aufgaben.
gcloud
Führen Sie in Airflow 1.10.* den Befehl list_dag_runs der Airflow-Befehlszeile aus:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
list_dag_runs -- DAG_ID
Führen Sie in Airflow 2 den Befehl dags list-runs der Airflow-Befehlszeile aus:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list-runs -- -d DAG_ID
Ersetzen Sie:
ENVIRONMENT_NAMEdurch den Namen der Umgebung.LOCATIONdurch die Region, in der sich die Umgebung befindet.DAG_IDdurch den Namen des DAG.
Mit den Befehlen tasks state und tasks states-for-dag-run der Airflow-Befehlszeile können Sie zusätzliche Informationen zu Aufgabeninstanzen abrufen.
Weitere Informationen finden Sie unter Auf die Airflow-Befehlszeile zugreifen und in der Referenz zur Airflow-Befehlszeile für Airflow 1 und Airflow 2.
DAG-Diagramme ansehen
Console
Der Tab Diagramm auf der Seite DAG-Details zeigt die Visualisierung eines DAG mit Aufgabenabhängigkeiten.
So rufen Sie das Diagramm eines DAG auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte DAG-Liste auf den DAGs-Link für Ihre Umgebung.
Wählen Sie einen DAG aus.
Wechseln Sie auf der Seite DAG-Details zum Tab Diagramm.
Optional: Wenn Sie zusätzliche Informationen zu Aufgaben sehen möchten, wählen Sie einzelne Aufgaben im Diagramm aus.
Airflow-UI
So zeigen Sie das Diagramm eines DAGs in der Airflow-Weboberfläche an:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.
Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.
In der Airflow-Weboberfläche wird auf der Seite DAGs eine Liste der DAGs für Ihre Umgebung angezeigt.
Klicken Sie für Ihren DAG in der Spalte Links auf den Link Graph View.
DAG-Quellcode und zusätzliche Informationen zu DAGs ansehen
Console
Sie können den Quellcode Ihrer DAGs und zusätzliche Informationen wie DAG-IDs und Links zu DAG-Definitionsdateien im Bucket der Umgebung aufrufen.
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte DAG-Liste auf den DAGs-Link für Ihre Umgebung.
Wählen Sie einen DAG aus.
Rufen Sie den Tab Diagramm auf, um den DAG-Quellcode aufzurufen.
Weitere Informationen zum DAG finden Sie auf dem Tab Quelle.
Airflow-UI
So zeigen Sie das Diagramm eines DAGs in der Airflow-Weboberfläche an:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.
Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.
Klicken Sie in der Airflow-Weboberfläche auf der Seite DAGs auf den Namen Ihres DAG.
Gehen Sie auf der Seite mit den DAG-Details zu den verfügbaren Tabs, um weitere Informationen zum DAG aufzurufen.