Visualizzazione dei log di Airflow

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina descrive come accedere ai log di Apache Airflow per Cloud Composer e visualizzarli.

Tipi di log

Cloud Composer ha i seguenti log di Airflow:

  • Log di Airflow: questi log sono associati a singole attività DAG. Puoi visualizza i log delle attività nella cartella Cloud Storage logs associata all' nell'ambiente Cloud Composer. Puoi anche visualizzare i log l'interfaccia web di Airflow.

  • Log dei flussi di dati: questi log sono un soprainsieme di log in Airflow. A accedi ai log in modalità flusso, puoi andare alla scheda Log di Dettagli ambiente nella console Google Cloud, usa Cloud Logging o usa Cloud Monitoring.

    Si applicano le quote di Logging e Monitoring.

    Per saperne di più su Cloud Logging e Cloud Monitoring per la tua per l'ambiente Cloud Composer, consulta Ambienti di monitoraggio.

Log in Cloud Storage

Quando crei un ambiente, Cloud Composer crea il bucket Cloud Storage e lo associa al tuo ambiente. Cloud Composer archivia i log per singole attività DAG nella cartella logs del bucket.

Struttura della directory delle cartelle dei log

La cartella logs include le cartelle per ogni flusso di lavoro eseguito nell'ambiente. Ogni cartella del flusso di lavoro include una cartella per i relativi DAG e sub-DAG. Ogni cartella contiene file di log per ciascuna attività. Il nome file dell'attività indica quando è stata avviata.

L'esempio seguente mostra la struttura della directory dei log per un ambiente.

us-central1-my-environment-60839224-bucket
   └───dags
   |   │
   |   |   dag_1
   |   |   dag_2
   |   |   ...
   |
   └───logs
       │
       └───dag_1
       |   │
       |   └───task_1
       |   |   │   datefile_1
       |   |   │   datefile_2
       |   |   │   ...
       |   |
       |   └───task_2
       |       │   datefile_1
       |       │   datefile_2
       |       │   ...
       |
       └───dag_2
           │   ...

Conservazione dei log

Per evitare perdite di dati, i log salvati nel bucket dell'ambiente non vengono eliminati dopo elimini il tuo ambiente. Devi eliminare manualmente i log da del bucket dell'ambiente.

I log archiviati nel bucket dell'ambiente utilizzano il criterio del bucket. Cloud Composer crea bucket con il criterio predefinito che mantiene dati per sempre.

Per i log archiviati in Cloud Logging, Cloud Composer utilizza _Default e definito dall'utente dei log dei periodi di conservazione.

Prima di iniziare

Devi avere un ruolo in grado di visualizzare gli oggetti nei bucket di ambiente. Per ulteriori informazioni per ulteriori informazioni, consulta Controllo dell'accesso.

Visualizzazione dei log delle attività in Cloud Storage

Per visualizzare i file di log per le attività DAG:

  1. Per visualizzare i file di log, inserisci il comando seguente, sostituendo VARIABLES con i valori appropriati:

    gsutil ls -r gs://BUCKET/logs

  2. (Facoltativo) Per copiare un singolo log o una sottocartella, inserisci il comando seguente, sostituendo VARIABLES con i valori appropriati:

    gsutil cp -r gs://BUCKET/logs/PATH_TO_LOG_FILE LOCAL_FILE_OR_DIRECTORY

Visualizzazione dei flussi di log nella console Google Cloud

Cloud Composer produce i seguenti log:

  • airflow: i log senza categoria generati dai pod Airflow.
  • airflow-upgrade-db: i log del job di inizializzazione del database Airflow (in precedenza airflow-database-init-job).
  • airflow-scheduler: i log generati dallo scheduler di Airflow.
  • dag-processor-manager: i log del gestore processore DAG (la parte dello scheduler che elabora i file DAG).
  • airflow-triggerer: i log generati dall'attivatore Airflow.
  • airflow-webserver: i log generati dall'interfaccia web di Airflow.
  • airflow-worker: i log generati durante il flusso di lavoro e l'esecuzione del DAG.
  • cloudaudit.googleapis.com/activity: i log generati dall'attività di amministrazione.
  • composer-agent: i log generati nell'ambito delle operazioni di creazione e aggiornamento dell'ambiente.
  • gcs-syncd: i log generati dai processi di sincronizzazione dei file.
  • build-log-worker-scheduler: i log della build locale dell'immagine worker di Airflow (durante gli upgrade e l'installazione del pacchetto Python).
  • build-log-webserver: i log della build dell'immagine del server web Airflow (durante gli upgrade e l'installazione del pacchetto Python).
  • airflow-monitoring: i log generati dal monitoraggio di Airflow.

Questi log possono essere visualizzati nella scheda Log della pagina Dettagli ambiente o in Cloud Logging.

Per visualizzare i flussi di log nella pagina Dettagli ambiente:

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Trova il nome dell'ambiente che vuoi ispezionare nell'elenco. Fai clic sul nome dell'ambiente per aprire la pagina Dettagli ambiente, seleziona la scheda Log.

  3. Seleziona la sottocategoria dei log che vuoi visualizzare e scegli l'ora intervallo di tempo da ispezionare con il selettore dell'intervallo di tempo nell'angolo in alto a sinistra.

Per visualizzare i flussi di log in Cloud Logging:

  1. Vai a Esplora log nella console Google Cloud.

    Vai a Esplora log

  2. Seleziona i log che vuoi visualizzare.

    Puoi filtrare in base a proprietà come livello e file di log, etichetta predefinita, nome dell'attività, flusso di lavoro e data di esecuzione. Per ulteriori informazioni Selezionare e filtrare i log, vedi Utilizzare Esplora log.

    Per scoprire di più sull'esportazione dei log, consulta Configurare e gestire i sink.

Passaggi successivi