Airflow-Logs ansehen

Auf dieser Seite wird beschrieben, wie Sie auf die Apache Airflow-Logs für Cloud Composer zugreifen und diese ansehen.

Logtypen

Cloud Composer enthält die folgenden Airflow-Logs:

  • Airflow-Logs: Diese Logs sind einzelnen DAG-Aufgaben zugeordnet. Sie können die Aufgabenlogs im Cloud Storage-Ordner logs ansehen, der mit der Cloud Composer-Umgebung verknüpft ist. Die Logs lassen sich auch in der Airflow-Weboberfläche aufrufen.
  • Streaminglogs: Diese Logs sind den Logs in Airflow übergeordnet. Auf Streaming-Logs können Sie in der Google Cloud Console auf dem Tab "Logs" der Seite "Umgebungsdetails" zugreifen, die Loganzeige von Cloud Logging verwenden oder Cloud Monitoring verwenden.

    Sie können in Monitoring auch logbasierte Messwerte verwenden, um Benachrichtigungsrichtlinien einzurichten und beispielsweise eine Systemdiagnose für Ihre Cloud Composer-Umgebung auszuführen. Dafür gelten Logging- und Monitoring-Kontingente. Weitere Informationen zu Cloud Logging und Cloud Monitoring für Ihre Cloud Composer-Umgebung finden Sie unter Umgebungen mit Cloud Monitoring im Blick behalten.

Logs in Cloud Storage

Beim Erstellen einer Umgebung wird von Cloud Composer ein Cloud Storage-Bucket erstellt und Ihrer Umgebung zugeordnet. Cloud Composer speichert die Logs für einzelne DAG-Aufgaben im Ordner logs im Bucket. Informationen zum Bucket-Namen finden Sie unter Name des Storage-Buckets ermitteln.

Verzeichnisstruktur des Logordners

Der Ordner logs umfasst Ordner für jeden Workflow, der in der Umgebung ausgeführt wurde. Jeder Workflowordner enthält einen Ordner für seine DAGs und Unter-DAGs. Jeder Ordner enthält die Logdateien für die einzelnen Aufgaben. Der Dateiname der Aufgabe gibt an, wann die Aufgabe gestartet wurde.

Das folgende Beispiel zeigt die Logverzeichnisstruktur für eine Umgebung.

us-central1-my-environment-60839224-bucket
   └───dags
   |   │
   |   |   dag_1
   |   |   dag_2
   |   |   ...
   |
   └───logs
       │
       └───dag_1
       |   │
       |   └───task_1
       |   |   │   datefile_1
       |   |   │   datefile_2
       |   |   │   ...
       |   |
       |   └───task_2
       |       │   datefile_1
       |       │   datefile_2
       |       │   ...
       |
       └───dag_2
           │   ...

Logaufbewahrung

Zur Vermeidung von Datenverlusten verbleiben in Cloud Storage gespeicherte Logs im Speicher, nachdem Sie Ihre Umgebung gelöscht haben. Sie müssen die Logs manuell aus Cloud Storage löschen.

Hinweis

Sie benötigen eine Rolle, die Objekte in Umgebungs-Buckets ansehen kann. Weitere Informationen finden Sie unter Zugriffssteuerung.

Aufgabenlogs in Cloud Storage ansehen

So rufen Sie die Logdateien für DAG-Aufgaben auf:

  1. Geben Sie zum Anzeigen von Logdateien den folgenden Befehl ein. Ersetzen Sie dabei VARIABLES durch die entsprechenden Werte:

    gsutil ls -r gs://BUCKET/logs

  2. (Optional) Zum Kopieren eines einzelnen Logs oder Unterordners geben Sie den folgenden Befehl ein und ersetzen die VARIABLES durch die entsprechenden Werte:

    gsutil cp -r gs://BUCKET/logs/PATH_TO_LOG_FILE LOCAL_FILE_OR_DIRECTORY

Streaminglogs in der Cloud Console ansehen

Cloud Composer erzeugt die folgenden Logs:

  • airflow: Die nicht kategorisierten Logs, die von Airflow-Pods generiert werden.
  • airflow-upgrade-db: Die Logs, die vom Airflow-Job zur Datenbankinitialisierung generiert werden (früher als "airflow-database-init-job").
  • airflow-scheduler: Die Logs, die vom Airflow-Planer generiert werden.
  • dag-processor-manager: Die Logs des DAG-Prozessormanagers (der Teil des Planers, der DAG-Dateien verarbeitet).
  • airflow-webserver: Die Logs, die von der Airflow-Weboberfläche generiert werden.
  • airflow-worker: Die Logs, die im Rahmen der Workflow- und DAG-Ausführung generiert werden.
  • cloudaudit.googleapis.com/activity: Die Logs, die von Administratoraktivität generiert werden.
  • composer-agent: Die Logs, die im Rahmen von Umgebungsvorgängen zum Erstellen und Aktualisieren generiert werden.
  • gcs-syncd: Die Logs, die von den Prozessen zur Dateisynchronisierung generiert werden.
  • build-log-worker-scheduler: Die Logs aus dem lokalen Build des Airflow-Worker-Images (während Upgrades und Python-Paketinstallationen).
  • build-log-webserver: Die Logs aus dem Build des Airflow-Webserver-Images (während Upgrades und Python-Paketinstallationen).
  • airflow-monitoring: Die Logs, die vom Airflow-Monitoring generiert werden.

Sie finden diese Logs auf dem Tab "Logs" der Seite "Umgebungsdetails" oder in Cloud Logging.

So rufen Sie die Streaminglogs auf der Seite "Umgebungsdetails" auf:

  1. Öffnen Sie in der Cloud Console die Seite Umgebungen.

    ZUR SEITE UMGEBUNGEN"

  2. Suchen Sie in der Liste nach dem Namen der Umgebung, die Sie untersuchen möchten. Klicken Sie auf den Namen der Umgebung, um die Seite Umgebungsdetails zu öffnen, und wählen Sie den Tab Logs aus.

  3. Wählen Sie die Unterkategorie der gewünschten Logs aus und wählen Sie über die Zeitraumauswahl links oben das Zeitintervall aus.

    Sie können zur Loganzeige der Operations Suite von Google Cloud mit dem vorausgefüllten Logfilter gelangen, indem Sie rechts oben auf die Schaltfläche "Zur Loganzeige" klicken.

So rufen Sie die Streaminglogs in Cloud Logging auf:

  1. Rufen Sie in der Cloud Console die Loganzeige der Operations Suite von Google Cloud auf.
    ZUR LOGANZEIGE

  2. Wählen Sie die Logs aus, die Sie ansehen möchten.

    Sie können nach Attributen wie Logdatei und -ebene, vordefiniertem Label, Aufgabenname, Workflow und Ausführungsdatum filtern. Weitere Informationen zum Auswählen und Filtern von Logs finden Sie unter Logs ansehen. Wie Sie Logs exportieren, erfahren Sie unter Export über die Loganzeige.

Nächste Schritte