Airflow-Logs ansehen

Auf dieser Seite wird beschrieben, wie Sie auf die Apache Airflow-Logs für Cloud Composer zugreifen und diese ansehen.

Logtypen

Cloud Composer enthält die folgenden Airflow-Logs:

Logs in Cloud Storage

Beim Erstellen einer Umgebung wird von Cloud Composer ein Cloud Storage-Bucket erstellt und Ihrer Umgebung zugeordnet. Cloud Composer speichert die Logs für einzelne DAG-Aufgaben im Ordner logs im Bucket. Informationen zum Bucket-Namen finden Sie unter Name des Storage-Buckets ermitteln.

Verzeichnisstruktur des Logordners

Der Ordner logs umfasst Ordner für jeden Workflow, der in der Umgebung ausgeführt wurde. Jeder Workflowordner enthält einen Ordner für seine DAGs und Unter-DAGs. Jeder Ordner enthält die Logdateien für die einzelnen Aufgaben. Der Dateiname der Aufgabe gibt an, wann die Aufgabe gestartet wurde.

Das folgende Beispiel zeigt die Logverzeichnisstruktur für eine Umgebung.

us-central1-my-environment-60839224-bucket
   └───dags
   |   │
   |   |   dag_1
   |   |   dag_2
   |   |   ...
   |
   └───logs
       │
       └───dag_1
       |   │
       |   └───task_1
       |   |   │   datefile_1
       |   |   │   datefile_2
       |   |   │   ...
       |   |
       |   └───task_2
       |       │   datefile_1
       |       │   datefile_2
       |       │   ...
       |
       └───dag_2
           │   ...

Logaufbewahrung

Zur Vermeidung von Datenverlusten verbleiben in Cloud Storage gespeicherte Logs im Speicher, nachdem Sie Ihre Umgebung gelöscht haben. Sie müssen die Logs manuell aus Cloud Storage löschen.

Vorbereitung

Die folgende Berechtigung ist erforderlich, um auf Airflow-Logs im Cloud Storage-Bucket für die Cloud Composer-Umgebung zuzugreifen: storage.objectAdmin. Weitere Informationen finden Sie unter Cloud Composer-Zugriffssteuerung.

Aufgabenlogs in Cloud Storage ansehen

So rufen Sie die Logdateien für DAG-Aufgaben auf:

  1. Geben Sie zum Anzeigen von Logdateien den folgenden Befehl ein. Ersetzen Sie dabei VARIABLES durch die entsprechenden Werte:

    gsutil ls -r gs://BUCKET/logs

  2. (Optional) Zum Kopieren eines einzelnen Logs oder Unterordners geben Sie den folgenden Befehl ein und ersetzen die VARIABLES durch die entsprechenden Werte:

    gsutil cp -r gs://BUCKET/logs/PATH_TO_LOG_FILE LOCAL_FILE_OR_DIRECTORY

Streaminglogs in der Cloud Console ansehen

Cloud Composer erzeugt die folgenden Logs:

  • airflow: Die nicht kategorisierten Logs, die von Airflow-Pods generiert werden.
  • airflow-database-init-job: Die Logs, die vom Airflow-Job zur Datenbankinitialisierung generiert werden.
  • airflow-scheduler: Die Logs, die vom Airflow-Planer generiert werden.
  • airflow-webserver: Die Logs, die von der Airflow-Weboberfläche generiert werden.
  • airflow-worker: Die Logs, die im Rahmen der Workflow- und DAG-Ausführung generiert werden.
  • cloudaudit.googleapis.com/activity: Die Logs, die von Administratoraktivität generiert werden.
  • composer-agent: Die Logs, die im Rahmen von Umgebungsvorgängen zum Erstellen und Aktualisieren generiert werden.
  • gcs-syncd: Die Logs, die von den Prozessen zur Dateisynchronisierung generiert werden.
  • build-log-worker-scheduler: Die Logs aus dem lokalen Build des Airflow-Worker-Images (während Upgrades und Python-Paketinstallationen).
  • build-log-webserver: Die Logs aus dem Build des Airflow-Webserver-Images (während Upgrades und Python-Paketinstallationen).
  • airflow-monitoring: Die Logs, die vom Airflow-Monitoring generiert werden.

So rufen Sie die Streaminglogdateien auf:

  1. Rufen Sie in der Cloud Console die Loganzeige der Operations Suite von Google Cloud auf.
    ZUR LOGANZEIGE

  2. Wählen Sie die Logs aus, die Sie ansehen möchten.

    Sie können nach Attributen wie Logdatei und -ebene, vordefiniertem Label, Aufgabenname, Workflow und Ausführungsdatum filtern. Weitere Informationen zum Auswählen und Filtern von Logs finden Sie unter Logs ansehen. Wie Sie Logs exportieren, erfahren Sie unter Export über die Loganzeige.

Nächste Schritte