Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Questa pagina descrive come funziona la scalabilità dell'ambiente in Cloud Composer 2.
Altre pagine sulla scalabilità:
- Per una guida sulla scelta della scalabilità e dei parametri di rendimento ottimali per il tuo consulta Ottimizzare le prestazioni e i costi dell'ambiente.
- Per informazioni sulla scalabilità degli ambienti, consulta Ambienti di scalabilità.
Scalabilità automatica degli ambienti
Gli ambienti Cloud Composer 2 scalano automaticamente in risposta alle esigenze dei DAG e delle attività eseguite:
- Se il tuo ambiente è sottoposto a un carico elevato, Cloud Composer aumenta automaticamente il numero di worker nel tuo ambiente.
- Se il tuo ambiente non utilizza alcuni dei suoi worker, rimosso per risparmiare risorse e costi dell'ambiente.
- Puoi impostare il numero minimo e massimo di worker per il tuo ambiente. Cloud Composer scala automaticamente l'ambiente all'interno impostare limiti. Puoi modificare questi limiti in qualsiasi momento.
Il numero di worker viene regolato in base a la metrica Target fattore di scala. Questa metrica è calcolato in base a:
- Numero attuale di worker
- Numero di attività Celery nella coda Celery non assegnate a un worker
- Numero di worker inattivi
celery.worker_concurrencyOpzione di configurazione Airflow
La scalabilità automatica di Cloud Composer utilizza tre diversi gestori della scalabilità automatica forniti da GKE:
- HPA (Horizontal Pod Autoscaler)
- Gestore della scalabilità automatica dei cluster (CA)
- Provisioning automatico dei nodi (NAP)
Cloud Composer configura questi gestori della scalabilità automatica nel in un cluster Kubernetes. Questo scala automaticamente il numero di nodi nel cluster, tipo di macchina e il numero di worker.
Parametri di scalabilità e rendimento
Oltre alla scalabilità automatica, puoi controllare la scalabilità e le prestazioni del tuo ambiente regolando i limiti di CPU, memoria e disco per scheduler, server web e worker. In questo modo, puoi scalare dell'ambiente in verticale, oltre alla scalabilità orizzontale fornita di scalabilità automatica. Puoi regolare i parametri di scala e prestazioni Scheduler, server web e worker di Airflow in qualsiasi momento.
Il parametro delle prestazioni dimensioni dell'ambiente dell'ambiente controlla la dei parametri prestazionali dell'infrastruttura Cloud Composer gestita che include il database Airflow. Valuta la possibilità di selezionare un ambiente più ampio se vuoi eseguire un numero elevato di DAG e attività.
Più scheduler
Airflow 2 può utilizzare più di uno scheduler Airflow contemporaneamente. Questo La funzionalità Airflow è anche nota come scheduler ad alta disponibilità. In Cloud Composer 2, puoi impostare il numero di scheduler per il tuo ambiente e regolarlo nel tempo. Cloud Composer non scala automaticamente il numero scheduler nel tuo ambiente.
Per ulteriori informazioni sulla configurazione del numero di scheduler per il tuo consulta Ambienti di scalabilità.
Spazio su disco del database
Lo spazio su disco per il database Airflow aumenta automaticamente per contenere domanda.
Passaggi successivi