Cloud Composer 1 è in modalità post-manutenzione. Google non rilascia ulteriori aggiornamenti a Cloud Composer 1, incluse nuove versioni di Airflow, correzioni di bug e aggiornamenti della sicurezza. Ti consigliamo di pianificare la migrazione a Cloud Composer 2.

Questa pagina è stata tradotta dall'API Cloud Translation.

Informazioni sulla scalabilità degli ambienti

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina descrive come funziona la scalabilità dell'ambiente in Cloud Composer 2.

Altre pagine sulla scalabilità:

Per una guida sulla scelta della scalabilità e dei parametri di rendimento ottimali per il tuo consulta Ottimizzare le prestazioni e i costi dell'ambiente.
Per informazioni sulla scalabilità degli ambienti, consulta Eseguire la scalabilità degli ambienti.

Ambienti con scalabilità automatica

Gli ambienti Cloud Composer 2 scalano automaticamente in risposta alle esigenze dei DAG e delle attività eseguite:

Se il tuo ambiente è sottoposto a un carico elevato, Cloud Composer aumenta automaticamente il numero di worker nel tuo ambiente.
Se il tuo ambiente non utilizza alcuni dei suoi worker, rimosso per risparmiare risorse e costi dell'ambiente.
Puoi impostare il numero minimo e massimo di worker per il tuo ambiente. Cloud Composer scala automaticamente l'ambiente nei limiti impostati. Puoi modificare questi limiti in qualsiasi momento.

Il numero di worker viene modificato in base alla metrica Target fattore di scalabilità. Questa metrica è calcolato in base a:

Numero attuale di worker
Numero di attività Celery nella coda Celery non assegnate a un worker
Numero di worker inattivi
celery.worker_concurrency Opzione di configurazione Airflow

La scalabilità automatica di Cloud Composer utilizza tre diversi gestori della scalabilità automatica forniti da GKE:

Cloud Composer configura questi gestori della scalabilità automatica nel in un cluster Kubernetes. Questo scala automaticamente il numero di nodi nel cluster, tipo di macchina e il numero di worker.

Parametri di scalabilità e rendimento

Oltre alla scalabilità automatica, puoi controllare la scalabilità e le prestazioni del tuo ambiente regolando i limiti di CPU, memoria e disco per scheduler, server web e worker. In questo modo, puoi scalare dell'ambiente in verticale, oltre alla scalabilità orizzontale fornita di scalabilità automatica. Puoi regolare i parametri di scalabilità e prestazioni degli scheduler, del server web e dei worker di Airflow in qualsiasi momento.

Il parametro delle prestazioni dimensioni dell'ambiente dell'ambiente controlla la dei parametri prestazionali dell'infrastruttura Cloud Composer gestita che include il database Airflow. Se hai intenzione di eseguire un numero elevato di DAG e attività con un rendimento dell'infrastruttura superiore, valuta la possibilità di selezionare dimensioni più grandi per l'ambiente. Ad esempio, le dimensioni di un ambiente più grande aumentano la quantità di voci di log delle attività Airflow che l'ambiente può elaborare con un ritardo minimo.

Più scheduler

Airflow 2 può utilizzare più di uno scheduler Airflow contemporaneamente. Questo La funzionalità Airflow è anche nota come scheduler ad alta disponibilità. In Cloud Composer 2, puoi impostare il numero di pianificatori per il tuo ambiente e modificarlo in qualsiasi momento. Cloud Composer non scala automaticamente il numero di pianificatori nel tuo ambiente.

Per saperne di più sulla configurazione del numero di pianificatori per il tuo ambiente, consulta Eseguire il ridimensionamento degli ambienti.

Spazio su disco del database

Lo spazio su disco per il database Airflow aumenta automaticamente per soddisfare la domanda.