Monitoraggio degli ambienti con Cloud Monitoring

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Puoi utilizzare Cloud Monitoring e Cloud Logging con Cloud Composer.

Cloud Monitoring offre maggiore visibilità su prestazioni, tempo di attività e integrità complessiva delle applicazioni basate su cloud. Cloud Monitoring raccoglie e importa metriche, eventi e metadati da Cloud Composer per generare approfondimenti in dashboard e grafici. Puoi utilizzare Cloud Monitoring per comprendere le prestazioni e l'integrità dei tuoi ambienti Cloud Composer e delle metriche Airflow.

Logging acquisisce i log generati dai container dello scheduler e dei worker nel cluster del tuo ambiente. Questi log contengono informazioni a livello di sistema e sulle dipendenze di Airflow per facilitare il debug. Per informazioni sulla visualizzazione dei log, vedi Visualizza i log di Airflow.

Prima di iniziare

  • Per accedere ai log e alle metriche per il tuo ambiente Cloud Composer sono necessarie le seguenti autorizzazioni:

    • Accesso in sola lettura a log e metriche: logging.viewer e monitoring.viewer
    • Accesso di sola lettura ai log, inclusi quelli privati: logging.privateLogViewer
    • Accesso in lettura/scrittura alle metriche: monitoring.editor

    Per ulteriori informazioni su altri ruoli e autorizzazioni per Cloud Composer, consulta Controllo dell'accesso.

  • Per evitare la duplicazione dei log, Cloud Logging per Google Kubernetes Engine è disattivato.

  • Cloud Logging produce una voce per ogni stato ed evento che si verifica nel tuo progetto Google Cloud . Puoi utilizzare i filtri di esclusione per ridurre il volume dei log, inclusi quelli che Cloud Logging produce per Cloud Composer.

Metriche dell'ambiente

Puoi utilizzare le metriche dell'ambiente per controllare l'utilizzo delle risorse e l'integrità dei tuoi ambienti Cloud Composer.

Integrità dell'ambiente

Per controllare l'integrità del tuo ambiente, puoi utilizzare la seguente metrica dello stato di integrità:

Metrica API
Integrità di un ambiente composer.googleapis.com/environment/healthy

Cloud Composer esegue un DAG di liveness denominato airflow_monitoring, che viene eseguito in base a una pianificazione e segnala lo stato dell'ambiente nel seguente modo:

  • Se l'esecuzione del DAG di attività termina correttamente, lo stato di integrità è True.
  • Se l'esecuzione del DAG di attività non va a buon fine, lo stato di integrità è False.

Il DAG di attività è archiviato nella cartella dags/ ed è visibile nella UI di Airflow. La frequenza e i contenuti del DAG di rilevamento della vitalità sono immutabili e non devono essere modificati. Le modifiche al DAG di liveness non vengono mantenute.

Controlli delle dipendenze dell'ambiente

Cloud Composer controlla periodicamente che l'ambiente possa raggiungere i servizi necessari per il suo funzionamento e che disponga di autorizzazioni sufficienti per interagire con loro. Esempi di servizi necessari per il funzionamento dell'ambiente sono Artifact Registry, Cloud Logging e Cloud Monitoring.

Per i controlli delle dipendenze dell'ambiente sono disponibili le seguenti metriche:

Metrica API Descrizione
Numero di controlli delle dipendenze composer.googleapis.com/environment/health/dependency_check_count Questa metrica monitora il numero di volte in cui vengono eseguiti i controlli di raggiungibilità sui servizi necessari per il funzionamento dell'ambiente.
Numero di controlli delle autorizzazioni delle dipendenze composer.googleapis.com/environment/health/dependency_permissions_check_count Questa metrica monitora il numero di volte in cui vengono eseguiti i controlli delle autorizzazioni sui servizi necessari per il funzionamento dell'ambiente.

Integrità del database

Per controllare l'integrità del database, puoi utilizzare la seguente metrica di stato di integrità: composer.googleapis.com/environment/database_health.

Il pod di monitoraggio di Airflow esegue il ping del database ogni minuto e segnala lo stato di integrità come True se è possibile stabilire una connessione SQL o False in caso contrario.

Metriche del database

Per il database dei metadati di Airflow utilizzato dagli ambienti Cloud Composer sono disponibili le seguenti metriche dell'ambiente. Puoi utilizzare queste metriche per monitorare le prestazioni e l'utilizzo delle risorse dell'istanza di database del tuo ambiente.

Ad esempio, potresti voler eseguire l'upgrade del tipo di macchina Cloud SQL del tuo ambiente se l'ambiente si avvicina ai limiti delle risorse. In alternativa, potresti voler ottimizzare i costi relativi all'utilizzo del database dei metadati di Airflow eseguendo una pulizia del database, per mantenere l'archiviazione al di sotto di una determinata soglia.

Metrica del database API Descrizione
Utilizzo CPU database composer.googleapis.com/environment/database/cpu/usage_time
Core CPU database composer.googleapis.com/environment/database/cpu/reserved_cores
Utilizzo CPU database composer.googleapis.com/environment/database/cpu/utilization
Utilizzo memoria database composer.googleapis.com/environment/database/memory/bytes_used
Quota di memoria del database composer.googleapis.com/environment/database/memory/quota
Utilizzo della memoria del database composer.googleapis.com/environment/database/memory/utilization
Utilizzo disco database composer.googleapis.com/environment/database/disk/bytes_used
Quota disco database composer.googleapis.com/environment/database/disk/quota
Utilizzo disco database composer.googleapis.com/environment/database/disk/utilization
Limite di connessioni al database composer.googleapis.com/environment/database/network/max_connections
Connessioni al database composer.googleapis.com/environment/database/network/connections
Database disponibile per il failover composer.googleapis.com/environment/database/available_for_failover È True se l'istanza Cloud SQL dell'ambiente è in modalità ad alta disponibilità ed è pronta per il failover.
Conteggio delle richieste di failover automatico del database composer.googleapis.com/environment/database/auto_failover_request_count Numero totale di richieste di failover automatico dell'istanza Cloud SQL dell'ambiente.

Metriche dei worker

Le seguenti metriche dell'ambiente sono disponibili per i worker Airflow negli ambienti Cloud Composer 3 e Cloud Composer 2.

Questa metrica viene utilizzata per scalare automaticamente il numero di worker nel tuo ambiente. Horizontal Pod Autoscaler imposta questa metrica, poi il componente di ambiente Airflow Worker Set Controller la utilizza per scalare il numero di worker Airflow in base al valore della metrica.

Metrica del worker API
Target del fattore di scala composer.googleapis.com/environment/worker/scale_factor_target

Metriche di Scheduler

Nome API Descrizione
Scheduler attivi composer.googleapis.com/environment/active_schedulers Numero di istanze dello scheduler attive.

Metriche del triggerer

Nome API Descrizione
Trigger attivi composer.googleapis.com/environment/active_triggerers Il numero di istanze di trigger attive.

Metriche del server web

Per il server web Airflow utilizzato dagli ambienti Cloud Composer sono disponibili le seguenti metriche dell'ambiente. Puoi utilizzare queste metriche per controllare le prestazioni e l'utilizzo delle risorse dell'istanza del server web di Airflow del tuo ambiente.

Ad esempio, potresti voler eseguire l'upgrade del tipo di macchina del server web se si avvicina costantemente ai limiti delle risorse.

Nome API Descrizione
Server web attivi composer.googleapis.com/environment/active_webservers Numero di istanze del server web attive.
Utilizzo CPU server web composer.googleapis.com/environment/web_server/cpu/usage_time
Quota CPU server web composer.googleapis.com/environment/web_server/cpu/reserved_cores
Utilizzo memoria server web composer.googleapis.com/environment/web_server/memory/bytes_used
Quota di memoria del server web composer.googleapis.com/environment/web_server/memory/quota

Quote per i servizi utilizzati dall'ambiente

Cloud Composer utilizza altri Google Cloud servizi. Questi servizi hanno quote a livello di progetto, che vengono applicate quando utilizzi Cloud Composer.

In Cloud Composer 3, il cluster dell'ambiente si trova nel progetto tenant. Cloud Composer 3 fornisce le seguenti metriche che riportano l'utilizzo delle quote e i limiti di quota corrispondenti per i servizi utilizzati dall'ambiente nel progetto tenant.

Metrica API Descrizione
Limite di quota CPU per i carichi di lavoro Cloud Composer composer.googleapis.com/environment/workloads_cpu_quota (solo Cloud Composer 3) La quota di allocazione CPU di Compute Engine per il numero totale di CPU virtuali utilizzate da un ambiente. Il limite si applica per ambiente. Se il tuo progetto ha più ambienti Cloud Composer 3, ogni ambiente ha il proprio limite di quota.
Utilizzo della quota CPU per i carichi di lavoro Cloud Composer composer.googleapis.com/environment/workloads_cpu_quota_usage (Solo Cloud Composer 3) L'utilizzo della quota di allocazione CPU di Compute Engine da parte di un ambiente.

Metriche DAG

Per aiutarti a monitorare l'efficienza delle esecuzioni DAG e identificare le attività che causano latenza elevata, sono disponibili le seguenti metriche DAG.

Metrica DAG API
Numero di esecuzioni di DAG composer.googleapis.com/workflow/run_count
Durata di ogni esecuzione di DAG composer.googleapis.com/workflow/run_duration
Numero di esecuzioni dell'attività composer.googleapis.com/workflow/task/run_count
Durata di ogni esecuzione dell'attività composer.googleapis.com/workflow/task/run_duration

Cloud Monitoring mostra solo le metriche per i flussi di lavoro e le esecuzioni delle attività completati (con esito positivo o negativo). Nessun dato viene visualizzato quando non è presente attività del flusso di lavoro e per le esecuzioni di flussi di lavoro e attività in corso.

Metriche dell'esecutore Celery

Sono disponibili le seguenti metriche di Celery Executor. Queste metriche possono aiutarti a determinare se ci sono risorse worker sufficienti nel tuo ambiente.

Metrica dell'esecutore Celery API
Numero di attività nella coda composer.googleapis.com/environment/task_queue_length
Numero di worker Celery online composer.googleapis.com/environment/num_celery_workers

Metriche Airflow

Sono disponibili le seguenti metriche Airflow. Queste metriche corrispondono alle metriche fornite da Airflow.

Nome API Nome in Airflow Descrizione
Codici di uscita diversi da zero dell'attività Celery composer.googleapis.com/environment/celery/execute_command_failure_count celery.execute_command.failure Numero di codice di uscita diverso da zero delle attività Celery.
Timeout di pubblicazione delle attività Celery composer.googleapis.com/environment/celery/task_timeout_error_count celery.task_timeout_error Numero di errori AirflowTaskTimeout generati durante la pubblicazione dell'attività nel broker Celery.
Durata del recupero dei DAG serializzati composer.googleapis.com/environment/collect_db_dag_duration collect_db_dags Tempo impiegato per recuperare tutti i DAG serializzati dal database.
Errori di aggiornamento del DAG composer.googleapis.com/environment/dag_callback/exception_count dag.callback_exceptions Numero di eccezioni generate dai callback DAG. Quando ciò accade, significa che una richiamata DAG non funziona.
Errori di aggiornamento del DAG composer.googleapis.com/environment/dag_file/refresh_error_count dag_file_refresh_error Numero di errori durante il caricamento dei file DAG.
Tempo di caricamento del file DAG composer.googleapis.com/environment/dag_processing/last_duration dag_processing.last_duration.<dag_file> Tempo impiegato per caricare un file DAG specifico.
Tempo trascorso dall'elaborazione del file DAG composer.googleapis.com/environment/dag_processing/last_run_elapsed_time dag_processing.last_run.seconds_ago.<dag_file> Secondi trascorsi dall'ultima elaborazione di un file DAG.
Conteggio stallo di DagFileProcessorManager composer.googleapis.com/environment/dag_processing/manager_stall_count dag_processing.manager_stalls Numero di processi DagFileProcessorManager bloccati.
Errori di analisi DAG composer.googleapis.com/environment/dag_processing/parse_error_count dag_processing.import_errors Numero di errori generati durante l'analisi dei file DAG.
Esecuzione dei processi di analisi DAG composer.googleapis.com/environment/dag_processing/processes dag_processing.processes Numero di processi di analisi DAG attualmente in esecuzione.
Timeout del processore composer.googleapis.com/environment/dag_processing/processor_timeout_count dag_processing.processor_timeouts Numero di processori di file terminati perché richiedevano troppo tempo.
Tempo impiegato per analizzare e importare tutti i file DAG composer.googleapis.com/environment/dag_processing/total_parse_time dag_processing.total_parse_time Tempo totale impiegato per eseguire la scansione e importare tutti i file DAG una sola volta.
Dimensione bag DAG attuale composer.googleapis.com/environment/dagbag_size dagbag_size Numero di DAG trovati quando lo scheduler ha eseguito una scansione in base alla sua configurazione.
Notifiche via email relative al mancato rispetto del contratto di servizio composer.googleapis.com/environment/email/sla_notification_failure_count sla_email_notification_failure Numero di tentativi di notifica via email di mancato rispetto dello SLA non riusciti.
Slot aperti sull'esecutore composer.googleapis.com/environment/executor/open_slots executor.open_slots Numero di slot aperti sull'esecutore.
Attività in coda sull'esecutore composer.googleapis.com/environment/executor/queued_tasks executor.queued_tasks Numero di attività in coda sull'esecutore.
Esecuzione di attività sull'esecutore composer.googleapis.com/environment/executor/running_tasks executor.running_tasks Numero di attività in esecuzione sull'esecutore.
Operazioni riuscite/non riuscite dell'istanza dell'attività composer.googleapis.com/environment/finished_task_instance_count ti_failures, ti_successes Riuscita/esito negativo complessivo delle istanze di attività.
Job avviati/terminati composer.googleapis.com/environment/job/count <job_name>_start, <job_name>_end Numero di job avviati/terminati, ad esempio SchedulerJob, LocalTaskJob.
Errori heartbeat del job composer.googleapis.com/environment/job/heartbeat_failure_count <job_name>_heartbeat_failure Numero di heartbeat non riusciti per un job.
Attività create per operatore composer.googleapis.com/environment/operator/created_task_instance_count task_instance_created-<operator_name> Numero di istanze di attività create per un determinato operatore.
Esecuzioni dell'operatore composer.googleapis.com/environment/operator/finished_task_instance_count operator_failures_<operator_name>, operator_successes_<operator_name> Numero di istanze di attività completate per operatore
Slot aperti nel pool composer.googleapis.com/environment/pool/open_slots pool.open_slots.<pool_name> Numero di slot aperti nel pool.
Slot in coda nel pool composer.googleapis.com/environment/pool/queued_slots pool.queued_slots.<pool_name> Numero di slot in coda nel pool.
Slot di esecuzione nel pool composer.googleapis.com/environment/pool/running_slots pool.running_slots.<pool_name> Numero di slot in esecuzione nel pool.
Attività in attesa nel pool composer.googleapis.com/environment/pool/starving_tasks pool.starving_tasks.<pool_name> Numero di attività inattive nel pool.
Tempo trascorso nella sezione critica dello strumento di pianificazione composer.googleapis.com/environment/scheduler/critical_section_duration scheduler.critical_section_duration Tempo trascorso nella sezione critica del ciclo dello scheduler. Solo un singolo pianificatore può entrare in questo ciclo alla volta.
Errori di blocco della sezione critica composer.googleapis.com/environment/scheduler/critical_section_lock_failure_count scheduler.critical_section_busy Conteggio delle volte in cui un processo dello scheduler ha tentato di ottenere un blocco sulla sezione critica (necessario per inviare le attività all'esecutore) e ha rilevato che era bloccata da un altro processo.
Attività interrotte esternamente composer.googleapis.com/environment/scheduler/task/externally_killed_count scheduler.tasks.killed_externally Numero di attività interrotte esternamente.
Attività orfane composer.googleapis.com/environment/scheduler/task/orphan_count scheduler.orphaned_tasks.cleared, scheduler.orphaned_tasks.adopted Numero di attività orfane eliminate/adottate dallo scheduler.
Attività in esecuzione/in attesa/eseguibili composer.googleapis.com/environment/scheduler/tasks scheduler.tasks.running, scheduler.tasks.starving, scheduler.tasks.executable Numero di attività in esecuzione/in attesa/eseguibili.
Heartbeat dello scheduler composer.googleapis.com/environment/scheduler_heartbeat_count scheduler_heartbeat Heartbeat dello scheduler.
Notifiche di richiamata SLA non riuscita composer.googleapis.com/environment/sla_callback_notification_failure_count sla_callback_notification_failure Numero di tentativi di notifica di mancato rispetto dello SLA non riusciti.
Errori di eccezione di simulazione del sensore intelligente composer.googleapis.com/environment/smart_sensor/exception_failures smart_sensor_operator.exception_failures Numero di errori causati da un'eccezione nel ciclo di polling del sensore smart precedente.
Guasti dell'infrastruttura di simulazione dei sensori intelligenti composer.googleapis.com/environment/smart_sensor/infra_failures smart_sensor_operator.infra_failures Numero di errori dell'infrastruttura nel ciclo di test del sensore smart precedente.
Eccezioni per il poking dei sensori intelligenti composer.googleapis.com/environment/smart_sensor/poked_exception smart_sensor_operator.poked_exception Numero di eccezioni nel ciclo di test precedente del sensore smart.
Attività di test del sensore intelligente eseguite correttamente composer.googleapis.com/environment/smart_sensor/poked_success smart_sensor_operator.poked_success Numero di attività appena riuscite attivate dal sensore intelligente nel ciclo di attivazione precedente.
Attività di simulazione del sensore smart composer.googleapis.com/environment/smart_sensor/poked_tasks smart_sensor_operator.poked_tasks Numero di attività sollecitate dal sensore intelligente nel ciclo di sollecitazione precedente.
Istanze di attività riuscite in precedenza composer.googleapis.com/environment/task_instance/previously_succeeded_count previously_succeeded Numero di istanze di attività riuscite in precedenza.
Attività zombie interrotte composer.googleapis.com/environment/zombie_task_killed_count zombies_killed Numero di attività zombie interrotte.
Durata esecuzione DAG composer.googleapis.com/workflow/dag/run_duration dagrun.duration.success.<dag_id>, dagrun.duration.failed.<dag_id> Tempo necessario a un DagRun per raggiungere lo stato di operazione riuscita/non riuscita.
Durata del controllo delle dipendenze del DAG composer.googleapis.com/workflow/dependency_check_duration dagrun.dependency-check.<dag_id> Tempo impiegato per controllare le dipendenze DAG. Questa metrica è diversa da quelle relative ai controlli delle dipendenze e delle autorizzazioni dell'ambiente e si applica ai DAG.
Ritardo nella pianificazione dell'esecuzione del DAG composer.googleapis.com/workflow/schedule_delay dagrun.schedule_delay.<dag_id> Tempo di ritardo tra la data di inizio pianificata di DagRun e la data di inizio effettiva di DagRun.
Attività completate composer.googleapis.com/workflow/task_instance/finished_count ti.finish.<dag_id>.<task_id>.<state> Numero di attività completate in un determinato DAG.
Durata dell'esecuzione dell'istanza dell'attività composer.googleapis.com/workflow/task_instance/run_duration dag.<dag_id>.<task_id>.duration Tempo impiegato per completare un'attività.
Attività avviate composer.googleapis.com/workflow/task_instance/started_count ti.start.<dag_id>.<task_id> Numero di attività avviate in un determinato DAG.
Durata in coda dell'istanza dell'attività composer.googleapis.com/workflow/task_instance/queued_duration dag.<dag_id>.<task_id>.queued_duration Il tempo che un'attività trascorre nello stato In coda prima di passare allo stato In esecuzione.
Utilizzo CPU attività composer.googleapis.com/workflow/task/cpu_usage task.cpu_usage.<dag_id>.<task_id> Percentuale di CPU utilizzata da un'attività.
Utilizzo della memoria delle attività composer.googleapis.com/workflow/task/mem_usage task.mem_usage.<dag_id>.<task_id> Percentuale di memoria utilizzata da un'attività.
Attività rimosse dal DAG composer.googleapis.com/workflow/task/removed_from_dag_count task_removed_from_dag.<dag_id> Numero di attività rimosse per un determinato DAG (ovvero l'attività non esiste più nel DAG).
Attività ripristinate nel DAG composer.googleapis.com/workflow/task/restored_to_dag_count task_restored_to_dag.<dag_id> Numero di attività ripristinate per un determinato DAG (ovvero l'istanza dell'attività che in precedenza era in stato REMOVED nel database viene aggiunta al file DAG).
Ritardo nella pianificazione dell'attività composer.googleapis.com/workflow/task/schedule_delay dagrun.schedule_delay.<dag_id> Tempo trascorso tra la data di inizio della prima attività e l'inizio previsto di dagrun.
Numero totale di trigger in esecuzione composer.googleapis.com/workload/triggerer/num_running_triggers triggers.running Il numero di trigger in esecuzione per istanza di attivatore.
Trigger di blocco composer.googleapis.com/environment/trigger/blocking_count triggers.blocked_main_thread Numero di trigger che hanno bloccato il thread principale (probabilmente perché non sono completamente asincroni).
Trigger non riusciti composer.googleapis.com/environment/trigger/failed_count triggers.failed Numero di trigger che non sono riusciti a generare un evento a causa di un errore.
Trigger riusciti composer.googleapis.com/environment/trigger/succeeded_count triggers.succeeded Numero di trigger che hanno attivato almeno un evento.

Utilizzo di Monitoring per gli ambienti Cloud Composer

Console

Puoi utilizzare Esplora metriche per visualizzare le metriche relative ai tuoi ambienti e ai tuoi DAG:

  • La risorsa Ambiente Cloud Composer contiene metriche per gli ambienti.

    Per mostrare le metriche per un ambiente specifico, filtra le metriche in base all'etichetta environment_name. Puoi anche filtrare in base ad altre etichette, come la posizione dell'ambiente o la versione dell'immagine.

  • La risorsa Workflow Cloud Composer contiene metriche per i DAG.

    Per mostrare le metriche per un DAG o un'attività specifici, filtra le metriche in base alle etichette workflow_name e task_name. Puoi anche filtrare in base ad altre etichette, come lo stato dell'attività o il nome dell'operatore Airflow.

API e gcloud

Puoi creare e gestire dashboard personalizzate e i widget tramite l'API Cloud Monitoring e il comando gcloud monitoring dashboards. Per saperne di più, consulta Gestione delle dashboard tramite API.

Per ulteriori informazioni su risorse, metriche e filtri, consulta il riferimento per l'API Cloud Monitoring:

Utilizzo degli avvisi di Cloud Monitoring

Puoi creare criteri di avviso per monitorare i valori delle metriche e ricevere una notifica quando queste metriche violano una condizione.

  1. Nella Google Cloud console, vai alla pagina  Avvisi:

    Vai ad Avvisi

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Monitoring.

  2. Se non hai creato i canali di notifica e vuoi ricevere le notifiche, fai clic su Modifica canali di notifica e aggiungi i tuoi canali di notifica. Torna alla pagina Avvisi dopo aver aggiunto i canali.
  3. Nella pagina Avvisi, seleziona Crea criterio.
  4. Per selezionare la metrica, espandi il menu Seleziona una metrica e poi segui questi passaggi:
    1. Per limitare il menu alle voci pertinenti, inserisci Cloud Composer nella barra dei filtri. Se non vengono visualizzati risultati dopo aver filtrato il menu, disattiva l'opzione Mostra solo risorse e metriche attive.
    2. Per Tipo di risorsa, seleziona Ambiente Cloud Composer o Flusso di lavoro Cloud Composer.
    3. Seleziona una categoria di metrica e una metrica, quindi seleziona Applica.
  5. Fai clic su Avanti.
  6. Le impostazioni nella pagina Configura attivatore di avvisi determinano quando viene attivato l'avviso. Seleziona un tipo di condizione e, se necessario, specifica una soglia. Per ulteriori informazioni, consulta Creare criteri di avviso basati su soglie delle metriche.
  7. Fai clic su Avanti.
  8. (Facoltativo) Per aggiungere notifiche al tuo criterio di avviso, fai clic su Canali di notifica. Nella finestra di dialogo, seleziona uno o più canali di notifica dal menu e fai clic su Ok.
  9. (Facoltativo) Aggiorna la Durata chiusura automatica incidenti. Questo campo determina quando Monitoring chiude gli incidenti in assenza di dati delle metriche.
  10. (Facoltativo) Fai clic su Documentazione e aggiungi tutte le informazioni che vuoi includere in un messaggio di notifica.
  11. Fai clic su Nome avviso e inserisci un nome per il criterio di avviso.
  12. Fai clic su Crea criterio.
Per ulteriori informazioni, consulta la panoramica degli avvisi.

Passaggi successivi