Airflow-Logs ansehen

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite wird beschrieben, wie Sie auf die Apache Airflow-Logs für Cloud Composer zugreifen und diese ansehen.

Logtypen

Cloud Composer enthält die folgenden Airflow-Logs:

  • Airflow-Logs: Diese Logs sind einzelnen DAG-Aufgaben zugeordnet. Sie können die Aufgabenlogs im Cloud Storage-Ordner logs ansehen, der mit der Cloud Composer-Umgebung verknüpft ist. Die Logs lassen sich auch in der Airflow-Weboberfläche aufrufen.

  • Streaminglogs: Diese Logs sind den Logs in Airflow übergeordnet. Auf Streaming-Logs können Sie in der Google Cloud Console auf dem Tab „Protokolle“ der Seite „Umgebungsdetails“ zugreifen, Cloud Logging verwenden oder Cloud Monitoring verwenden.

    Dafür gelten Logging- und Monitoring-Kontingente.

    Weitere Informationen zu Cloud Logging und Cloud Monitoring für Ihre Cloud Composer-Umgebung finden Sie unter Umgebungen im Blick behalten.

Logs in Cloud Storage

Beim Erstellen einer Umgebung wird von Cloud Composer ein Cloud Storage-Bucket erstellt und Ihrer Umgebung zugeordnet. Cloud Composer speichert die Logs für einzelne DAG-Aufgaben im Ordner logs im Bucket.

Verzeichnisstruktur des Logordners

Der Ordner logs umfasst Ordner für jeden Workflow, der in der Umgebung ausgeführt wurde. Jeder Workflowordner enthält einen Ordner für seine DAGs und Unter-DAGs. Jeder Ordner enthält die Logdateien für die einzelnen Aufgaben. Der Dateiname der Aufgabe gibt an, wann die Aufgabe gestartet wurde.

Das folgende Beispiel zeigt die Logverzeichnisstruktur für eine Umgebung.

us-central1-my-environment-60839224-bucket
   └───dags
   |   │
   |   |   dag_1
   |   |   dag_2
   |   |   ...
   |
   └───logs
       │
       └───dag_1
       |   │
       |   └───task_1
       |   |   │   datefile_1
       |   |   │   datefile_2
       |   |   │   ...
       |   |
       |   └───task_2
       |       │   datefile_1
       |       │   datefile_2
       |       │   ...
       |
       └───dag_2
           │   ...

Logaufbewahrung

Zur Vermeidung von Datenverlust werden im Bucket der Umgebung gespeicherte Logs nach dem Sie Ihre Umgebung löschen. Sie müssen Logs manuell aus löschen. im Bucket Ihrer Umgebung.

Für Protokolle, die im Bucket der Umgebung gespeichert werden, gilt die Bucket-Richtlinie. Cloud Composer erstellt Buckets mit der Standardrichtlinie, die Daten unbegrenzt aufbewahrt.

Für in Cloud Logging gespeicherte Logs verwendet Cloud Composer _Default und benutzerdefinierte Aufbewahrungszeiten für Logs.

Hinweise

Sie benötigen eine Rolle, die Objekte in Umgebungs-Buckets ansehen kann. Weitere Informationen finden Sie unter Zugriffssteuerung.

Aufgabenlogs in Cloud Storage ansehen

So rufen Sie die Logdateien für DAG-Aufgaben auf:

  1. Geben Sie zum Anzeigen von Logdateien den folgenden Befehl ein. Ersetzen Sie dabei VARIABLES durch die entsprechenden Werte:

    gcloud storage ls gs://BUCKET/logs --recursive

  2. (Optional) Zum Kopieren eines einzelnen Logs oder Unterordners geben Sie den folgenden Befehl ein und ersetzen die VARIABLES durch die entsprechenden Werte:

    gcloud storage cp gs://BUCKET/logs/PATH_TO_LOG_FILE LOCAL_FILE_OR_DIRECTORY --recursive

Streaming-Logs in der Google Cloud Console ansehen

Cloud Composer erzeugt die folgenden Logs:

  • airflow: Die nicht kategorisierten Logs, die von Airflow-Pods generiert werden.
  • airflow-upgrade-db: Die Logs, die vom Airflow-Job zur Datenbankinitialisierung generiert werden (früher airflow-database-init-job).
  • airflow-scheduler: Die Logs, die vom Airflow-Planer generiert werden.
  • dag-processor-manager: Die Logs des DAG-Prozessormanagers (der Teil des Planers, der DAG-Dateien verarbeitet).
  • airflow-triggerer: Die vom Airflow-Triggerer generierten Logs.
  • airflow-webserver: Die Logs, die von der Airflow-Weboberfläche generiert werden.
  • airflow-worker: Die Logs, die im Rahmen der Workflow- und DAG-Ausführung generiert werden.
  • cloudaudit.googleapis.com/activity: Die Logs, die von Administratoraktivität generiert werden.
  • composer-agent: Die Logs, die im Rahmen von Umgebungsvorgängen zum Erstellen und Aktualisieren generiert werden.
  • gcs-syncd: Die Logs, die von den Prozessen zur Dateisynchronisierung generiert werden.
  • build-log-worker-scheduler: Die Logs aus dem lokalen Build des Airflow-Worker-Images (während Upgrades und Python-Paketinstallationen).
  • build-log-webserver: Die Logs aus dem Build des Airflow-Webserver-Images (während Upgrades und Python-Paketinstallationen).
  • airflow-monitoring: Die Logs, die vom Airflow-Monitoring generiert werden.

Sie finden diese Logs auf dem Tab "Logs" der Seite "Umgebungsdetails" oder in Cloud Logging.

So rufen Sie die Streaminglogs auf der Seite "Umgebungsdetails" auf:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite „Umgebungen“

  2. Suchen Sie in der Liste nach dem Namen der Umgebung, die Sie untersuchen möchten. Klicken Sie auf den Namen der Umgebung, um die Seite Umgebungsdetails zu öffnen, und wählen Sie den Tab Logs aus.

  3. Wählen Sie die Unterkategorie der gewünschten Logs aus und wählen Sie über die Zeitraumauswahl links oben das Zeitintervall aus.

So rufen Sie die Streaminglogs in Cloud Logging auf:

  1. Rufen Sie in der Google Cloud Console den Log-Explorer auf.

    Zum Log-Explorer

  2. Wählen Sie die Logs aus, die Sie ansehen möchten.

    Sie können nach Attributen wie Logdatei und -ebene, vordefiniertem Label, Aufgabenname, Workflow und Ausführungsdatum filtern. Weitere Informationen zum Auswählen und Filtern von Logs finden Sie unter Log-Explorer verwenden.

    Weitere Informationen zum Exportieren von Logs finden Sie unter Senken konfigurieren und verwalten.

Nächste Schritte