Visualizzazione dei log di Airflow

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina descrive come accedere ai log di Apache Airflow per Cloud Composer e visualizzarli.

Tipi di log

Cloud Composer ha i seguenti log di Airflow:

  • Log Airflow: questi log sono associati a singole attività DAG. Puoi visualizzare i log delle attività nella cartella logs di Cloud Storage associata all'ambiente Cloud Composer. Puoi anche visualizzare i log l'interfaccia web di Airflow.

  • Log in streaming: questi log sono un soprainsieme dei log in Airflow. A accedi ai log in modalità flusso, puoi andare alla scheda Log di Dettagli ambiente nella console Google Cloud, usa Cloud Logging o usa Cloud Monitoring.

    Si applicano le quote di Logging e Monitoring.

    Per saperne di più su Cloud Logging e Cloud Monitoring per la tua per l'ambiente Cloud Composer, consulta Ambienti di monitoraggio.

di Gemini Advanced.

Log in Cloud Storage

Quando crei un ambiente, Cloud Composer crea il bucket Cloud Storage e lo associa al tuo ambiente. Cloud Composer archivia i log per le singole attività DAG nella cartella logs del bucket.

Struttura della directory delle cartelle dei log

La cartella logs include cartelle per ogni flusso di lavoro eseguito nell'ambiente. Ogni cartella del flusso di lavoro include una cartella per i relativi DAG e sub-DAG. Ogni cartella contiene file di log per ciascuna attività. Il nome del file dell'attività indica quando è stata avviata.

L'esempio seguente mostra la struttura della directory dei log per un ambiente.

us-central1-my-environment-60839224-bucket
   └───dags
   |   │
   |   |   dag_1
   |   |   dag_2
   |   |   ...
   |
   └───logs
       │
       └───dag_1
       |   │
       |   └───task_1
       |   |   │   datefile_1
       |   |   │   datefile_2
       |   |   │   ...
       |   |
       |   └───task_2
       |       │   datefile_1
       |       │   datefile_2
       |       │   ...
       |
       └───dag_2
           │   ...

Conservazione dei log

Per evitare perdite di dati, i log salvati nel bucket dell'ambiente non vengono eliminati dopo elimini il tuo ambiente. Devi eliminare manualmente i log dal bucket del tuo ambiente.

I log archiviati nel bucket dell'ambiente utilizzano il criterio del bucket. Cloud Composer crea bucket con il criterio predefinito che conserva i dati per sempre.

Per i log archiviati in Cloud Logging, Cloud Composer utilizza i _Default e i periodi di conservazione dei log definiti dall'utente.

Prima di iniziare

Devi disporre di un ruolo che consenta di visualizzare gli oggetti nei bucket dell'ambiente. Per maggiori informazioni per ulteriori informazioni, consulta Controllo dell'accesso.

Visualizzazione dei log delle attività in Cloud Storage

Per visualizzare i file di log per le attività DAG:

  1. Per visualizzare i file di log, inserisci il seguente comando, sostituendo VARIABLES con i valori appropriati:

    gcloud storage ls gs://BUCKET/logs --recursive

  2. (Facoltativo) Per copiare un singolo log o una sottocartella, inserisci il seguente comando sostituendo VARIABLES con i valori appropriati:

    gcloud storage cp gs://BUCKET/logs/PATH_TO_LOG_FILE LOCAL_FILE_OR_DIRECTORY --recursive

Visualizzazione dei log in streaming nella console Google Cloud

Cloud Composer produce i seguenti log:

  • airflow: i log senza categoria generati dai pod Airflow.
  • airflow-upgrade-db: i log del job di inizializzazione del database Airflow (in precedenza airflow-database-init-job).
  • airflow-scheduler: i log generati dallo scheduler di Airflow.
  • dag-processor-manager: i log del gestore del processore DAG (la parte dello scheduler che elabora i file DAG).
  • airflow-triggerer: i log generati dall'attivatore Airflow.
  • airflow-webserver: i log generati dall'interfaccia web di Airflow.
  • airflow-worker: i log generati durante il flusso di lavoro e l'esecuzione del DAG.
  • cloudaudit.googleapis.com/activity: i log generati dall'attività di amministrazione.
  • composer-agent: i log generati nell'ambito delle operazioni di creazione e aggiornamento dell'ambiente.
  • gcs-syncd: i log generati dai processi di sincronizzazione dei file.
  • build-log-worker-scheduler: i log della build locale dell'immagine worker di Airflow (durante gli upgrade e l'installazione del pacchetto Python).
  • build-log-webserver: i log della compilazione dell'immagine del server web di Airflow (durante gli upgrade e l'installazione dei pacchetti Python).
  • airflow-monitoring: i log generati dal monitoraggio di Airflow.

Questi log possono essere visualizzati nella scheda Log della pagina Dettagli ambiente o in Cloud Logging.

Per visualizzare i flussi di log nella pagina Dettagli ambiente:

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Trova il nome dell'ambiente che vuoi ispezionare nell'elenco. Fai clic sul nome dell'ambiente per aprire la pagina Dettagli ambiente, seleziona la scheda Log.

  3. Seleziona la sottocategoria dei log che vuoi visualizzare e scegli l'ora intervallo di tempo da ispezionare con il selettore dell'intervallo di tempo nell'angolo in alto a sinistra.

Per visualizzare i log in streaming in Cloud Logging:

  1. Vai a Esplora log nella console Google Cloud.

    Vai a Esplora log

  2. Seleziona i log che vuoi visualizzare.

    Puoi filtrare in base a proprietà come file di log e livello, etichetta predefinita, nome della task, flusso di lavoro e data di esecuzione. Per ulteriori informazioni selezionando e filtrando i log, consulta Utilizzo di Esplora log.

    Per scoprire di più sull'esportazione dei log, consulta Configurare e gestire i sink.

Passaggi successivi