Scalabilità dell'ambiente

Cloud Composer 1 | Cloud Composer 2

Questa pagina descrive come funziona la scalabilità dell'ambiente in Cloud Composer 2.

Altre pagine sulla scalabilità:

• Per una guida sulla selezione dei parametri di scalabilità e prestazioni ottimali per il tuo ambiente, consulta Ottimizzare le prestazioni e i costi dell'ambiente.
• Per informazioni sulla scalabilità degli ambienti, consulta Ambienti di scalabilità.

Ambienti di scalabilità automatica

Gli ambienti Cloud Composer 2 scalano automaticamente in risposta alle esigenze dei DAG e delle attività eseguiti:

• In caso di carico elevato, Cloud Composer aumenta automaticamente il numero di worker nell'ambiente.
• Se il tuo ambiente non utilizza alcuni worker, questi vengono rimossi per risparmiare risorse e costi dell'ambiente.
• Puoi impostare il numero minimo e massimo di worker per il tuo ambiente. Cloud Composer scala automaticamente il tuo ambiente entro i limiti impostati. Puoi modificare questi limiti in qualsiasi momento.

Il numero di worker viene regolato in base alla metrica Fattore di scalabilità target. Questa metrica viene calcolata in base a:

• Numero attuale di worker
• Numero di attività Celery nella coda Celery, che non sono assegnate a un worker
• Numero di worker inattivi
• celery.worker_concurrency opzione di configurazione Airflow

La scalabilità automatica di Cloud Composer utilizza tre diversi gestori della scalabilità automatica forniti da GKE:

• Horizontal Pod Autoscaler (HPA)
• Gestore della scalabilità automatica dei cluster (CA)
• Provisioning automatico dei nodi (NAP)

Cloud Composer configura questi gestori della scalabilità automatica nel cluster dell'ambiente. In questo modo viene scalato automaticamente il numero di nodi nel cluster, il tipo di macchina e il numero di worker.

Parametri di scalabilità e rendimento

Oltre alla scalabilità automatica, puoi controllare i parametri di scalabilità e prestazioni del tuo ambiente regolando i limiti di CPU, memoria e disco per scheduler, server web e worker. In questo modo puoi scalare l'ambiente verticalmente, oltre alla scalabilità orizzontale fornita dalla funzionalità di scalabilità automatica. Puoi regolare i parametri di scalabilità e prestazioni degli scheduler di Airflow, del server web e dei worker in qualsiasi momento.

Il parametro delle prestazioni relative alle dimensioni dell'ambiente del tuo ambiente controlla i parametri delle prestazioni dell'infrastruttura gestita di Cloud Composer che include il database Airflow. Valuta la possibilità di selezionare una dimensione dell'ambiente più grande se vuoi eseguire un numero elevato di DAG e attività.



Nota: le dimensioni dell'ambiente sono diverse da quelle predefinite per l'ambiente. Le preimpostazioni di ambiente, che puoi selezionare quando crei un ambiente, determinano tutti i limiti, la scalabilità e i parametri delle prestazioni del tuo ambiente, incluse le dimensioni dell'ambiente. Le dimensioni dell'ambiente determinano solo i parametri delle prestazioni dell'infrastruttura Cloud Composer gestita del tuo ambiente.

Più scheduler

Airflow 2 può utilizzare più scheduler Airflow contemporaneamente. Questa funzionalità Airflow è nota anche come programma di pianificazione ad alta disponibilità. In Cloud Composer 2, puoi impostare il numero di scheduler per il tuo ambiente e regolarlo in qualsiasi momento. Cloud Composer non scala automaticamente il numero di scheduler nel tuo ambiente.

Per ulteriori informazioni sulla configurazione del numero di scheduler per il tuo ambiente, consulta Ambienti di scalabilità.

Spazio su disco del database

Lo spazio su disco per il database Airflow aumenta automaticamente per soddisfare la domanda.

Passaggi successivi

• Ambienti di scalabilità
• Prezzi di Cloud Composer
• Crea ambienti
• Architettura dell'ambiente