Cloud Composer 1 è in modalità post-manutenzione. Google non rilascia ulteriori aggiornamenti di Cloud Composer 1, incluse nuove versioni di Airflow, correzioni di bug e aggiornamenti della sicurezza. Ti consigliamo di pianificare la migrazione a Cloud Composer 2.

Visualizzazione dei log di Airflow

Cloud Composer 1 | Cloud Composer 2

Questa pagina descrive come accedere ai log di Apache Airflow per Cloud Composer e visualizzarli.

Tipi di log

Cloud Composer dispone dei seguenti log di Airflow:

Log di Airflow: questi log sono associati a singole attività DAG. Puoi visualizzare i log delle attività nella cartella Cloud Storage logs associata all'ambiente Cloud Composer. Puoi visualizzare i log anche nell'interfaccia web di Airflow.
Log di flusso: questi log sono un soprainsieme dei log di Airflow. Per accedere ai log dei flussi, puoi andare alla scheda Log della pagina Dettagli ambiente nella console Google Cloud, utilizzare Cloud Logging o Cloud Monitoring.

Si applicano le quote di Logging e Monitoring.

Per saperne di più su Cloud Logging e Cloud Monitoring per il tuo ambiente Cloud Composer, consulta Ambienti di monitoraggio.

Log in Cloud Storage

Quando crei un ambiente, Cloud Composer crea un bucket Cloud Storage e associa il bucket al tuo ambiente. Cloud Composer archivia i log per singole attività DAG nella cartella logs del bucket.

Struttura della directory delle cartelle dei log

La cartella logs include cartelle per ogni flusso di lavoro eseguito nell'ambiente. Ogni cartella del flusso di lavoro include una cartella per i relativi DAG e DAG secondari. Ogni cartella contiene i file di log per ciascuna attività. Il nome file dell'attività indica quando è stata avviata.

L'esempio seguente mostra la struttura della directory dei log per un ambiente.

us-central1-my-environment-60839224-bucket
   └───dags
   |   │
   |   |   dag_1
   |   |   dag_2
   |   |   ...
   |
   └───logs
       │
       └───dag_1
       |   │
       |   └───task_1
       |   |   │   datefile_1
       |   |   │   datefile_2
       |   |   │   ...
       |   |
       |   └───task_2
       |       │   datefile_1
       |       │   datefile_2
       |       │   ...
       |
       └───dag_2
           │   ...

Conservazione dei log

Per evitare perdite di dati, i log salvati nel bucket dell'ambiente non vengono eliminati dopo l'eliminazione dell'ambiente. Devi eliminare manualmente i log dal bucket del tuo ambiente.

I log archiviati nel bucket dell'ambiente utilizzano il criterio del bucket. Cloud Composer crea bucket con il criterio predefinito che conserva i dati per sempre.

Per i log archiviati in Cloud Logging, Cloud Composer utilizza _Default e periodi di conservazione dei log definiti dall'utente.

Prima di iniziare

Devi avere un ruolo che possa visualizzare gli oggetti nei bucket di ambiente. Per ulteriori informazioni, consulta Controllo dell'accesso.

Visualizzazione dei log delle attività in Cloud Storage

Per visualizzare i file di log per le attività DAG:

Per visualizzare i file di log, inserisci il seguente comando, sostituendo VARIABLES con i valori appropriati:
```
gsutil ls -r gs://BUCKET/logs
```
(Facoltativo) Per copiare un singolo log o una sottocartella, inserisci il seguente comando, sostituendo VARIABLES con i valori appropriati:
```
gsutil cp -r gs://BUCKET/logs/PATH_TO_LOG_FILE LOCAL_FILE_OR_DIRECTORY
```

Visualizzazione dei flussi di log nella console Google Cloud

Cloud Composer produce i seguenti log:

airflow: i log senza categoria generati dai pod Airflow.
airflow-upgrade-db: il job di inizializzazione del database Airflow generato (in precedenza airflow-database-init-job).
airflow-scheduler: i log generati dallo scheduler Airflow.
dag-processor-manager: i log del gestore del processore DAG (la parte dello scheduler che elabora i file DAG).
airflow-triggerer: registra i log generati dall'attivatore Airflow.
airflow-webserver: i log generati dall'interfaccia web di Airflow.
airflow-worker: i log generati durante il flusso di lavoro e l'esecuzione di DAG.
cloudaudit.googleapis.com/activity: i log generati dall'Attività di amministrazione.
composer-agent: i log generati nell'ambito delle operazioni di creazione e aggiornamento dell'ambiente.
gcs-syncd: i log generati dai processi di sincronizzazione dei file.
build-log-worker-scheduler: i log della build locale dell'immagine worker Airflow (durante gli upgrade e l'installazione del pacchetto Python).
build-log-webserver: i log della build dell'immagine server web Airflow (durante gli upgrade e l'installazione del pacchetto Python).
airflow-monitoring: i log generati dal monitoraggio di Airflow.

Questi log possono essere visualizzati nella scheda dei log della pagina Dettagli ambiente o in Cloud Logging.

Per visualizzare i flussi di log nella pagina Dettagli ambiente:

Nella console Google Cloud, vai alla pagina Ambienti.

Vai a Ambienti
Trova nell'elenco il nome dell'ambiente che vuoi ispezionare. Fai clic sul nome dell'ambiente per aprire la pagina Dettagli ambiente, quindi seleziona la scheda Log.
Seleziona la sottocategoria dei log che vuoi visualizzare e scegli l'intervallo temporale da ispezionare con il selettore dell'intervallo di tempo nell'angolo in alto a sinistra.

Per visualizzare i flussi di log in Cloud Logging:

Vai a Esplora log nella console Google Cloud.

Vai a Esplora log
Seleziona i log che vuoi visualizzare.

Puoi filtrare in base a proprietà come file di log e livello, etichetta predefinita, nome attività, flusso di lavoro e data di esecuzione. Per ulteriori informazioni su come selezionare e filtrare i log, consulta Utilizzo di Esplora log.

Per scoprire di più sull'esportazione dei log, consulta Configurare e gestire i sink.