Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Questa pagina descrive come funziona la scalabilità dell'ambiente in Cloud Composer 2.
Altre pagine sulla scalabilità:
- Per una guida sulla scelta dei parametri di scalabilità e prestazioni ottimali per il tuo ambiente, consulta Ottimizzare le prestazioni e i costi dell'ambiente.
- Per informazioni sulla scalabilità degli ambienti, consulta Ambienti di scalabilità.
Scalabilità automatica degli ambienti
Gli ambienti Cloud Composer 2 scalano automaticamente in risposta alle esigenze delle attività e dei DAG eseguiti:
- Se il tuo ambiente è sottoposto a un carico elevato, Cloud Composer aumenta automaticamente il numero di worker nell'ambiente.
- Se il tuo ambiente non utilizza alcuni dei suoi worker, questi vengono rimossi per risparmiare risorse e costi dell'ambiente.
- Puoi impostare il numero minimo e massimo di worker per il tuo ambiente. Cloud Composer scala automaticamente il tuo ambiente entro i limiti impostati. Puoi modificare questi limiti in qualsiasi momento.
Il numero di worker viene regolato in base alla metrica Target fattore di scalabilità. Questa metrica viene calcolata in base a:
- Numero attuale di worker
- Numero di attività Celery nella coda Celery non assegnate a un worker
- Numero di worker inattivi
celery.worker_concurrencyOpzione di configurazione Airflow
La scalabilità automatica di Cloud Composer usa tre diversi gestori della scalabilità automatica
- HPA (Horizontal Pod Autoscaler)
- Gestore della scalabilità automatica dei cluster (CA)
- Provisioning automatico dei nodi (NAP)
Cloud Composer configura questi gestori della scalabilità automatica nel cluster dell'ambiente. Questo scala automaticamente il numero di nodi nel cluster, il tipo di macchina e il numero di worker.
Parametri di scalabilità e rendimento
Oltre alla scalabilità automatica, puoi controllare i parametri di scalabilità e prestazioni dell'ambiente regolando i limiti di CPU, memoria e disco per scheduler, server web e worker. In questo modo, puoi scalare l'ambiente in verticale, oltre alla scalabilità orizzontale fornita dalla funzionalità di scalabilità automatica. Puoi regolare in qualsiasi momento i parametri di scalabilità e prestazioni di scheduler, server web e worker di Airflow.
Il parametro delle prestazioni delle dimensioni dell'ambiente dell'ambiente controlla i parametri delle prestazioni dell'infrastruttura Cloud Composer gestita che include il database Airflow. Valuta la possibilità di selezionare una dimensione dell'ambiente più grande se vuoi eseguire un numero elevato di DAG e attività.
Più scheduler
Airflow 2 può utilizzare più di uno scheduler Airflow contemporaneamente. Questa funzionalità di Airflow è anche nota come scheduler ad alta disponibilità. In Cloud Composer 2, puoi impostare il numero di scheduler per il tuo ambiente e modificarlo in qualsiasi momento. Cloud Composer non scala automaticamente il numero di scheduler nell'ambiente.
Per ulteriori informazioni sulla configurazione del numero di scheduler per il tuo ambiente, consulta Ambienti di scalabilità.
Spazio su disco del database
Lo spazio su disco per il database Airflow aumenta automaticamente per soddisfare la domanda.
Passaggi successivi