Cloud Composer 1 Cloud Composer 2
Auf dieser Seite wird erläutert, wie Sie Informationen zu DAGs in Ihrer Umgebung abrufen.
Möglichkeiten zum Aufrufen von Informationen zu DAGs
Cloud Composer bietet mehrere Möglichkeiten zum Abrufen detaillierter Informationen zu DAGs in Ihrer Umgebung:
- Die DAG-UI ist ein Abschnitt der Google Cloud Console-Oberfläche für Cloud Composer, in dem DAGs, DAG-Ausführungen und einzelne Aufgaben angezeigt und überwacht werden.
- Die Airflow-UI ist die integrierte Weboberfläche von Airflow.
- Die Airflow CLI ist die Befehlszeile von Airflow. Sie können Informationen zu DAGs abrufen, indem Sie Airflow-CLI-Befehle mit
gcloudausführen.
Cloud Composer-DAG-UI
Die DAG-UI ist ein Abschnitt der Google Cloud Console-Oberfläche für Cloud Composer, in dem DAGs, DAG-Ausführungen und einzelne Aufgaben angezeigt und überwacht werden sollen.
In der DAG-UI können Sie Folgendes tun:
Liste der DAGs in Ihrer Umgebung, einschließlich Zeitplanintervallen, DAG-Statusen und Beschreibungen.
Pausieren, Aufheben der Pausierung und Auslösung von DAGs.
Details zur DAG-Ausführung, einschließlich erfolgreicher, aktiver und fehlgeschlagener Ausführungen, Zeit seit der letzten abgeschlossenen Ausführung. Sie können für jeden DAG den Verlauf der DAG-Ausführungen und Aufgabeninstanzen sehen, die mit diesem bestimmten DAG verknüpft sind, einschließlich der Logs für ausgeführte Aufgaben.
Details zur DAG-Ausführung filtern. Sie können beispielsweise ein Zeitintervall auswählen und Abfragen erstellen, um die benötigten Informationen auszuwählen.
Detaillierte Informationen zu einzelnen DAGs und Aufgaben ansehen. Dazu gehören visualisierte DAG-Diagramme, Informationen zu den Aufgaben in einem DAG, DAG-Quellcode und zusätzliche Informationen zu DAGs.
Hinweis
Für die DAG-UI muss die DAG-Serialisierung aktiviert sein.
Die DAG-UI wird in Cloud Composer 1.17.8 und höher unterstützt.
Liste der DAGs für Ihre Umgebung ansehen
Console
Auf dem Tab DAGs Ihrer Umgebung wird die Liste der DAGs zusammen mit den DAG-Ausführungsdetails für jeden DAG angezeigt.
So rufen Sie die Liste der DAGs auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.
Sie können Filter verwenden, um sich die Details nur für bestimmte DAGs oder für bestimmte Bedingungen anzusehen. Beispiel:
- Wählen Sie das Feld Filter aus.
- Wählen Sie in der Drop-down-Liste die Property DAG id aus.
- Geben Sie die Kennung des DAG an. Die Ergebnisse enthalten nur Details zum ausgewählten DAG.
- Optional: Wenn Sie weitere DAGs hinzufügen möchten, fügen Sie
OR-Operatoren gefolgt von DAG-IDs hinzu. - Optional: Wenn Sie nach anderen Bedingungen filtern möchten, fügen Sie im Feld Filter weitere Attribute hinzu. Wenn Sie beispielsweise nach DAGs mit fehlgeschlagenen Ausführungen filtern möchten, geben Sie
Failed runs:>0an.
Airflow-UI
So rufen Sie die Liste der DAGs in der Airflow-Weboberfläche auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.
Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.
Auf der Airflow-Weboberfläche wird auf der Seite DAGs eine Liste der DAGs für Ihre Umgebung angezeigt.
gcloud
Führen Sie in Airflow 1.10.* den Befehl list_dags der Airflow-Befehlszeile aus:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
list_dags
Führen Sie in Airflow 2 den Befehl dags list der Airflow-Befehlszeile aus:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list -- -o plain
Ersetzen Sie:
ENVIRONMENT_NAMEdurch den Namen der Umgebung.LOCATIONdurch die Region, in der sich die Umgebung befindet.
Verlauf der DAG-Ausführungen und -Aufgaben ansehen
Console
Der Tab Ausführungen auf der Seite DAG-Details zeigt den Verlauf der DAG-Ausführungen für einen einzelnen DAG.
So rufen Sie den Verlauf von DAG-Ausführungen auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.
Wählen Sie einen DAG aus.
Rufen Sie auf der Seite DAG-Details den Tab Ausführungen auf.
Wählen Sie eine DAG-Ausführung aus der Liste aus, um Details zur DAG-Ausführung aufzurufen, z. B. den Status der Aufgabeninstanzen für diese DAG-Ausführung, die Anzahl der Versuche und die Ausführungsdauer. Sie können einzelne Aufgaben auswählen, um Taskinstanzlogs anzusehen.
Airflow-UI
So rufen Sie die Liste der DAGs in der Airflow-Weboberfläche auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.
Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.
Wählen Sie auf der Airflow-Weboberfläche im Menü Durchsuchen > DAG-Ausführungen aus. Auf der Seite DAG-Ausführungen werden DAG-Ausführungen für Ihre Umgebung angezeigt. Klicken Sie auf den Link in der Spalte Ausführungs-ID, um weitere Informationen zu Aufgaben aufzurufen.
gcloud
Führen Sie in Airflow 1.10.* den Befehl list_dag_runs der Airflow-Befehlszeile aus:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
list_dag_runs -- DAG_ID
Führen Sie in Airflow 2 den Befehl dags list-runs der Airflow-Befehlszeile aus:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list-runs -- -d DAG_ID
Ersetzen Sie:
ENVIRONMENT_NAMEdurch den Namen der Umgebung.LOCATIONdurch die Region, in der sich die Umgebung befindet.DAG_IDdurch den Namen des DAG.
Weitere Informationen zu Aufgabeninstanzen erhalten Sie, wenn Sie die Airflow-Befehlszeilenbefehle tasks state und tasks states-for-dag-run ausführen.
Weitere Informationen finden Sie in der Airflow-CLI und in der Airflow-CLI-Referenz für Airflow 1 und Airflow 2.
DAG-Diagramme ansehen
Console
Der Tab Diagramm auf der Seite DAG-Details zeigt die Visualisierung eines DAG mit Aufgabenabhängigkeiten.
So rufen Sie das Diagramm eines DAG auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.
Wählen Sie einen DAG aus.
Wechseln Sie auf der Seite DAG-Details zum Tab Diagramm.
Optional: Wenn Sie weitere Informationen zu Aufgaben aufrufen möchten, wählen Sie im Diagramm einzelne Aufgaben aus.
Airflow-UI
So rufen Sie das Diagramm eines DAGs in der Airflow-Weboberfläche auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.
Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.
Auf der Airflow-Weboberfläche wird auf der Seite DAGs eine Liste der DAGs für Ihre Umgebung angezeigt.
Klicken Sie für Ihren DAG in der Spalte Links auf den Link Grafikansicht.
DAG-Quellcode und zusätzliche Informationen zu DAGs ansehen
Console
Sie können den Quellcode Ihrer DAGs und zusätzliche Informationen wie DAG-IDs und Links zu DAG-Definitionsdateien im Umgebungs-Bucket ansehen.
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.
Wählen Sie einen DAG aus.
Rufen Sie den Tab Diagramm auf, um den DAG-Quellcode zu sehen.
Weitere Informationen zum DAG finden Sie auf dem Tab Quelle.
Airflow-UI
So rufen Sie das Diagramm eines DAGs in der Airflow-Weboberfläche auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.
Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.
Klicken Sie auf der Airflow-Weboberfläche auf der Seite DAGs auf den Namen Ihres DAG.
Wechseln Sie auf der Seite mit den DAG-Details zu den verfügbaren Tabs, um weitere Informationen zum DAG aufzurufen.