Informazioni sulla scalabilità degli ambienti

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Questa pagina descrive il funzionamento della scalabilità degli ambienti in Cloud Composer 2.

Altre pagine sulla scalabilità:

Ambienti di scalabilità automatica

Gli ambienti Cloud Composer 2 vengono scalati automaticamente in risposta alle esigenze dei DAG e delle attività eseguiti:

  • Se il tuo ambiente è sottoposto a un carico elevato, Cloud Composer aumenta automaticamente il numero di worker nell'ambiente.
  • Se il tuo ambiente non utilizza alcuni dei suoi worker, questi vengono rimossi per risparmiare risorse e costi dell'ambiente.
  • Puoi impostare il numero minimo e massimo di worker per il tuo ambiente. Cloud Composer scala automaticamente l'ambiente entro i limiti impostati. Puoi modificare questi limiti in qualsiasi momento.

Il numero di worker viene modificato in base alla metrica Target fattore di scalabilità. Questa metrica viene calcolata in base a:

  • Numero attuale di worker
  • Numero di attività Celery nella coda Celery che non sono assegnate a un worker
  • Numero di worker inattivi
  • celery.worker_concurrency Opzione di configurazione di Airflow

La scalabilità automatica di Cloud Composer utilizza tre diversi gestori della scalabilità automatica forniti da GKE:

Cloud Composer configura questi autoscaler nel cluster dell'ambiente. In questo modo, il numero di nodi nel cluster, il tipo di macchina e il numero di worker vengono scalati automaticamente.

Parametri di scalabilità e rendimento

Oltre alla scalabilità automatica, puoi controllare i parametri di scalabilità e prestazioni del tuo ambiente modificando i limiti di CPU, memoria e disco per scheduler, server web e worker. In questo modo puoi scalare verticalmente il tuo ambiente, oltre alla scalabilità orizzontale fornita dalla funzionalità di scalabilità automatica. Puoi regolare i parametri di scalabilità e prestazioni di scheduler, server web e worker di Airflow in qualsiasi momento.

Il parametro di rendimento Dimensione ambiente del tuo ambiente controlla i parametri di rendimento dell'infrastruttura Cloud Composer gestita che include il database Airflow. Se hai intenzione di eseguire un numero elevato di DAG e attività con un rendimento dell'infrastruttura più elevato, valuta la possibilità di selezionare dimensioni più grandi per l'ambiente. Ad esempio, le dimensioni maggiori dell'ambiente aumentano la quantità di voci di log delle attività di Airflow che l'ambiente può elaborare con un ritardo minimo.

Più scheduler

Airflow 2 può utilizzare più di uno scheduler Airflow contemporaneamente. Questa funzionalità di Airflow è nota anche come scheduler HA. In Cloud Composer 2, puoi impostare il numero di scheduler per il tuo ambiente e modificarlo in qualsiasi momento. Cloud Composer non scala automaticamente il numero di scheduler nel tuo ambiente.

Per ulteriori informazioni sulla configurazione del numero di scheduler per l'ambiente, vedi Scalare gli ambienti.

Spazio su disco del database

Lo spazio su disco per il database Airflow aumenta automaticamente per soddisfare la domanda.

Passaggi successivi