Informazioni sulla scalabilità degli ambienti

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina descrive come funziona la scalabilità dell'ambiente in Cloud Composer 2.

Altre pagine sulla scalabilità:

Ambienti con scalabilità automatica

Gli ambienti Cloud Composer 2 eseguono automaticamente la scalabilità in risposta alle esigenze delle DAG e delle attività eseguite:

  • Se il tuo ambiente è sottoposto a un carico elevato, Cloud Composer aumenta automaticamente il numero di worker nel tuo ambiente.
  • Se il tuo ambiente non utilizza alcuni dei suoi worker, rimosso per risparmiare risorse e costi dell'ambiente.
  • Puoi impostare il numero minimo e massimo di worker per il tuo ambiente. Cloud Composer scala automaticamente l'ambiente all'interno impostare limiti. Puoi modificare questi limiti in qualsiasi momento.

Il numero di worker viene modificato in base alla metrica Target fattore di scalabilità. Questa metrica è calcolato in base a:

  • Numero attuale di worker
  • Numero di attività Celery nella coda Celery non assegnate a un worker
  • Numero di worker inattivi
  • celery.worker_concurrency Opzione di configurazione Airflow

La scalabilità automatica di Cloud Composer utilizza tre diversi gestori della scalabilità automatica forniti da GKE:

Cloud Composer configura questi regolatori automatici nel cluster dell'ambiente. In questo modo, viene scalato automaticamente il numero di nodi nel cluster, il tipo di macchina e il numero di worker.

Parametri di scalabilità e rendimento

Oltre alla scalabilità automatica, puoi controllare la scalabilità e le prestazioni del tuo ambiente regolando i limiti di CPU, memoria e disco per scheduler, server web e worker. In questo modo, puoi scalare il tuo ambiente verticalmente, oltre alla scalabilità orizzontale fornita dalla funzionalità di scalabilità automatica. Puoi regolare i parametri di scala e prestazioni Scheduler, server web e worker di Airflow in qualsiasi momento.

Il parametro delle prestazioni dimensioni dell'ambiente dell'ambiente controlla la dei parametri prestazionali dell'infrastruttura Cloud Composer gestita che include il database Airflow. Se hai intenzione di eseguire un numero elevato di DAG e attività, valuta la possibilità di selezionare dimensioni più grandi per l'ambiente.



Più pianificatori

Airflow 2 può utilizzare più di uno scheduler Airflow contemporaneamente. Questa funzionalità di Airflow è nota anche come HA scheduler. In Cloud Composer 2, puoi impostare il numero di scheduler per il tuo ambiente e regolarlo nel tempo. Cloud Composer non scala automaticamente il numero scheduler nel tuo ambiente.

Per saperne di più sulla configurazione del numero di pianificatori per il tuo ambiente, consulta Eseguire il ridimensionamento degli ambienti.

Spazio su disco del database

Lo spazio su disco per il database Airflow aumenta automaticamente per soddisfare la domanda.

Passaggi successivi