Cloud Composer 1 befindet sich im Nachwartungsmodus. Google veröffentlicht keine weiteren Updates für Cloud Composer 1, einschließlich neuer Versionen von Airflow, Fehlerkorrekturen und Sicherheitsupdates. Wir empfehlen, die Migration zu Cloud Composer 2 zu planen.

Airflow-Logs ansehen

Cloud Composer 1 Cloud Composer 2

Auf dieser Seite wird beschrieben, wie Sie auf die Apache Airflow-Logs für Cloud Composer zugreifen und diese ansehen.

Logtypen

Cloud Composer enthält die folgenden Airflow-Logs:

Airflow-Logs: Diese Logs sind einzelnen DAG-Aufgaben zugeordnet. Sie können die Aufgabenlogs im Cloud Storage-Ordner logs ansehen, der mit der Cloud Composer-Umgebung verknüpft ist. Die Logs lassen sich auch in der Airflow-Weboberfläche aufrufen.
Streaminglogs: Diese Logs sind den Logs in Airflow übergeordnet. Um auf Streaminglogs zuzugreifen, können Sie in der Google Cloud Console auf der Seite „Umgebungsdetails“ den Tab „Logs“ aufrufen, Cloud Logging verwenden oder Cloud Monitoring verwenden.

Dafür gelten Logging- und Monitoring-Kontingente.

Weitere Informationen zu Cloud Logging und Cloud Monitoring für Ihre Cloud Composer-Umgebung finden Sie unter Umgebungen im Blick behalten.

Logs in Cloud Storage

Beim Erstellen einer Umgebung wird von Cloud Composer ein Cloud Storage-Bucket erstellt und Ihrer Umgebung zugeordnet. Cloud Composer speichert die Logs für einzelne DAG-Aufgaben im Ordner logs im Bucket.

Verzeichnisstruktur des Logordners

Der Ordner logs umfasst Ordner für jeden Workflow, der in der Umgebung ausgeführt wurde. Jeder Workflowordner enthält einen Ordner für seine DAGs und Unter-DAGs. Jeder Ordner enthält die Logdateien für die einzelnen Aufgaben. Der Dateiname der Aufgabe gibt an, wann die Aufgabe gestartet wurde.

Das folgende Beispiel zeigt die Logverzeichnisstruktur für eine Umgebung.

us-central1-my-environment-60839224-bucket
   └───dags
   |   │
   |   |   dag_1
   |   |   dag_2
   |   |   ...
   |
   └───logs
       │
       └───dag_1
       |   │
       |   └───task_1
       |   |   │   datefile_1
       |   |   │   datefile_2
       |   |   │   ...
       |   |
       |   └───task_2
       |       │   datefile_1
       |       │   datefile_2
       |       │   ...
       |
       └───dag_2
           │   ...

Logaufbewahrung

Um Datenverluste zu vermeiden, werden im Bucket der Umgebung gespeicherte Logs nach dem Löschen der Umgebung nicht gelöscht. Sie müssen Logs manuell aus dem Bucket Ihrer Umgebung löschen.

Im Bucket der Umgebung gespeicherte Logs verwenden die Richtlinie des Buckets. Cloud Composer erstellt Buckets mit der Standardrichtlinie, die Daten dauerhaft speichert.

Für in Cloud Logging gespeicherte Logs verwendet Cloud Composer _Default und benutzerdefinierte Aufbewahrungsdauer für Logs.

Hinweise

Sie benötigen eine Rolle, die Objekte in Umgebungs-Buckets ansehen kann. Weitere Informationen finden Sie unter Zugriffssteuerung.

Aufgabenlogs in Cloud Storage ansehen

So rufen Sie die Logdateien für DAG-Aufgaben auf:

Geben Sie zum Anzeigen von Logdateien den folgenden Befehl ein. Ersetzen Sie dabei VARIABLES durch die entsprechenden Werte:
```
gsutil ls -r gs://BUCKET/logs
```
(Optional) Zum Kopieren eines einzelnen Logs oder Unterordners geben Sie den folgenden Befehl ein und ersetzen die VARIABLES durch die entsprechenden Werte:
```
gsutil cp -r gs://BUCKET/logs/PATH_TO_LOG_FILE LOCAL_FILE_OR_DIRECTORY
```

Streaminglogs in der Google Cloud Console ansehen

Cloud Composer erzeugt die folgenden Logs:

airflow: Die nicht kategorisierten Logs, die von Airflow-Pods generiert werden.
airflow-upgrade-db: Die Logs, die vom Airflow-Job zur Datenbankinitialisierung generiert werden (früher airflow-database-init-job).
airflow-scheduler: Die Logs, die vom Airflow-Planer generiert werden.
dag-processor-manager: Die Logs des DAG-Prozessormanagers (der Teil des Planers, der DAG-Dateien verarbeitet).
airflow-triggerer: Die Logs, die der Airflow-Triggerer generiert.
airflow-webserver: Die Logs, die von der Airflow-Weboberfläche generiert werden.
airflow-worker: Die Logs, die im Rahmen der Workflow- und DAG-Ausführung generiert werden.
cloudaudit.googleapis.com/activity: Die Logs, die von Administratoraktivität generiert werden.
composer-agent: Die Logs, die im Rahmen von Umgebungsvorgängen zum Erstellen und Aktualisieren generiert werden.
gcs-syncd: Die Logs, die von den Prozessen zur Dateisynchronisierung generiert werden.
build-log-worker-scheduler: Die Logs aus dem lokalen Build des Airflow-Worker-Images (während Upgrades und Python-Paketinstallationen).
build-log-webserver: Die Logs aus dem Build des Airflow-Webserver-Images (während Upgrades und Python-Paketinstallationen).
airflow-monitoring: Die Logs, die vom Airflow-Monitoring generiert werden.

Sie finden diese Logs auf dem Tab "Logs" der Seite "Umgebungsdetails" oder in Cloud Logging.

So rufen Sie die Streaminglogs auf der Seite "Umgebungsdetails" auf:

Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

Zur Seite Umgebungen“
Suchen Sie in der Liste nach dem Namen der Umgebung, die Sie untersuchen möchten. Klicken Sie auf den Namen der Umgebung, um die Seite Umgebungsdetails zu öffnen, und wählen Sie den Tab Logs aus.
Wählen Sie die Unterkategorie der gewünschten Logs aus und wählen Sie über die Zeitraumauswahl links oben das Zeitintervall aus.

So rufen Sie die Streaminglogs in Cloud Logging auf:

Rufen Sie in der Google Cloud Console den Log-Explorer auf.

Zum Log-Explorer
Wählen Sie die Logs aus, die Sie ansehen möchten.

Sie können nach Attributen wie Logdatei und -ebene, vordefiniertem Label, Aufgabenname, Workflow und Ausführungsdatum filtern. Weitere Informationen zum Auswählen und Filtern von Logs finden Sie unter Log-Explorer verwenden.

Informationen zum Exportieren von Logs finden Sie unter Senken konfigurieren und verwalten.