Airflow-Logs ansehen

Cloud Composer 1 | Cloud Composer 2

Auf dieser Seite wird beschrieben, wie Sie auf die Apache Airflow-Logs für Cloud Composer zugreifen und diese ansehen.

Logtypen

Cloud Composer hat die folgenden Airflow-Logs:

  • Airflow-Logs: Diese Logs sind einzelnen DAG-Aufgaben zugeordnet. Sie können die Aufgabenlogs im Cloud Storage-Ordner logs ansehen, der der Cloud Composer-Umgebung zugeordnet ist. Die Logs lassen sich auch in der Airflow-Weboberfläche aufrufen.
  • Streaminglogs: Diese Logs sind den Logs in Airflow übergeordnet. Wenn Sie auf Streaming-Logs zugreifen möchten, können Sie den Tab logsLogs“ der Seite EnvironmentUmgebungsdetails“ in der Google Cloud Console aufrufen, das Cloud Logging oder Cloud Monitoring verwenden.

    Es gelten Logging- und Monitoring-Kontingente.

    Informationen zu Cloud Logging und Cloud Monitoring für Ihre Cloud Composer-Umgebung finden Sie unter Umgebungen überwachen.

Logs in Cloud Storage

Beim Erstellen einer Umgebung wird von Cloud Composer ein Cloud Storage-Bucket erstellt und Ihrer Umgebung zugeordnet. Cloud Composer speichert Logs für einzelne DAG-Aufgaben im Ordner logs im Bucket.

Verzeichnisstruktur des Logordners

Der Ordner logs enthält Ordner für jeden Workflow, der in der Umgebung ausgeführt wurde. Jeder Workflowordner enthält einen Ordner für seine DAGs und Unter-DAGs. Jeder Ordner enthält Protokolldateien für die einzelnen Aufgaben. Der Aufgabenname gibt an, wann die Aufgabe gestartet wurde.

Das folgende Beispiel zeigt die Logverzeichnisstruktur für eine Umgebung.

us-central1-my-environment-60839224-bucket
   └───dags
   |   │
   |   |   dag_1
   |   |   dag_2
   |   |   ...
   |
   └───logs
       │
       └───dag_1
       |   │
       |   └───task_1
       |   |   │   datefile_1
       |   |   │   datefile_2
       |   |   │   ...
       |   |
       |   └───task_2
       |       │   datefile_1
       |       │   datefile_2
       |       │   ...
       |
       └───dag_2
           │   ...

Logaufbewahrung

Zum Schutz vor Datenverlust bleiben in Cloud Storage gespeicherte Logs nach dem Löschen der Umgebung im Speicher. Sie müssen Logs manuell aus Cloud Storage löschen.

Hinweis

Sie benötigen eine Rolle, die Objekte in Umgebungs-Buckets aufrufen kann. Weitere Informationen finden Sie unter Zugriffssteuerung.

Aufgabenlogs in Cloud Storage ansehen

So rufen Sie die Logdateien für DAG-Aufgaben auf:

  1. Geben Sie zum Anzeigen von Logdateien den folgenden Befehl ein. Ersetzen Sie dabei VARIABLES durch die entsprechenden Werte:

    gsutil ls -r gs://BUCKET/logs

  2. (Optional) Zum Kopieren eines einzelnen Logs oder Unterordners geben Sie den folgenden Befehl ein und ersetzen die VARIABLES durch die entsprechenden Werte:

    gsutil cp -r gs://BUCKET/logs/PATH_TO_LOG_FILE LOCAL_FILE_OR_DIRECTORY

Streaminglogs in der Cloud Console ansehen

Cloud Composer erzeugt die folgenden Logs:

  • airflow: Die nicht kategorisierten Logs, die von Airflow-Pods generiert werden.
  • airflow-upgrade-db: Der von der Airflow-Job für die Datenbankanmeldung erzeugte Log (früher "airflow-database-init-job").
  • airflow-scheduler: Die Logs, die vom Airflow-Planer generiert werden.
  • dag-processor-manager: Die Logs des DAG-Prozessormanagers (der Teil des Planers, der DAG-Dateien verarbeitet).
  • airflow-webserver: Die Logs, die von der Airflow-Weboberfläche generiert werden.
  • airflow-worker: Die Logs, die im Rahmen der Workflow- und DAG-Ausführung generiert werden.
  • cloudaudit.googleapis.com/activity: Die Logs, die von Administratoraktivität generiert werden.
  • composer-agent: Die Logs, die im Rahmen von Umgebungsvorgängen zum Erstellen und Aktualisieren generiert werden.
  • gcs-syncd: Die Logs, die von den Prozessen zur Dateisynchronisierung generiert werden.
  • build-log-worker-scheduler: Die Logs aus dem lokalen Build des Airflow-Worker-Images (während Upgrades und Python-Paketinstallationen).
  • build-log-webserver: Die Logs aus dem Build des Airflow-Webserver-Images (während Upgrades und Python-Paketinstallationen).
  • airflow-monitoring: Die Logs, die vom Airflow-Monitoring generiert werden.

Sie finden diese Logs auf dem Tab "Logs" der Seite "Umgebungsdetails" oder in Cloud Logging.

So rufen Sie die Streaminglogs auf der Seite "Umgebungsdetails" auf:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zu den Umgebungen

  2. Suchen Sie in der Liste nach dem Namen der Umgebung, die Sie untersuchen möchten. Klicken Sie auf den Namen der Umgebung, um die Seite Umgebungsdetails zu öffnen, und wählen Sie dann den Tab Logs aus.

  3. Wählen Sie die Unterkategorie der Logs aus, die Sie sehen möchten, und wählen Sie links oben das Zeitintervall für die Prüfung aus.

So rufen Sie die Streaminglogs in Cloud Logging auf:

  1. Rufen Sie in der Cloud Console den Log-Explorer auf.

    Zum Log-Explorer

  2. Wählen Sie die Logs aus, die Sie ansehen möchten.

    Sie können nach Attributen wie Logdatei und -ebene, vordefiniertem Label, Aufgabenname, Workflow und Ausführungsdatum filtern. Weitere Informationen zum Auswählen und Filtern von Logs finden Sie unter Logs ansehen.

    Informationen zum Exportieren von Logs finden Sie unter Senken konfigurieren.

Nächste Schritte