Cloud Composer 1 è in modalità post-manutenzione. Google non rilascia ulteriori aggiornamenti a Cloud Composer 1, incluse nuove versioni di Airflow, correzioni di bug e aggiornamenti della sicurezza. Ti consigliamo di pianificare la migrazione a Cloud Composer 2.

Questa pagina è stata tradotta dall'API Cloud Translation.

Scalabilità dell'ambiente

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina descrive il funzionamento della scalabilità degli ambienti in Cloud Composer 2.

Altre pagine sulla scalabilità:

Per una guida sulla selezione dei parametri di scalabilità e prestazioni ottimali per il tuo ambiente, consulta Ottimizzare le prestazioni e i costi dell'ambiente.
Per informazioni sulla scalabilità degli ambienti, consulta Eseguire la scalabilità degli ambienti.

Scalabilità automatica degli ambienti

Gli ambienti Cloud Composer 2 eseguono automaticamente la scalabilità in risposta alle esigenze delle DAG e delle attività eseguite:

Se il tuo ambiente è sottoposto a un carico elevato, Cloud Composer aumenta automaticamente il numero di worker nel tuo ambiente.
Se il tuo ambiente non utilizza alcuni dei suoi worker, rimosso per risparmiare risorse e costi dell'ambiente.
Puoi impostare il numero minimo e massimo di worker per il tuo ambiente. Cloud Composer scala automaticamente l'ambiente nei limiti impostati. Puoi modificare questi limiti in qualsiasi momento.

Il numero di worker viene modificato in base alla metrica Target fattore di scalabilità. Questa metrica viene calcolata in base a:

Numero attuale di worker
Numero di attività Celery nella coda Celery non assegnate a un worker
Numero di worker inattivi
celery.worker_concurrency Opzione di configurazione Airflow

La scalabilità automatica di Cloud Composer utilizza tre diversi gestori della scalabilità automatica forniti da GKE:

Cloud Composer configura questi regolatori automatici nel cluster dell'ambiente. In questo modo, viene scalato automaticamente il numero di nodi nel cluster, il tipo di macchina e il numero di worker.

Parametri di scalabilità e rendimento

Oltre alla scalabilità automatica, puoi controllare i parametri di scalabilità e prestazioni del tuo ambiente regolando i limiti di CPU, memoria e disco per gli scheduler, il server web e i worker. In questo modo puoi scalare il tuo ambiente verticalmente, oltre alla scalabilità orizzontale fornita dalla funzionalità di scalabilità automatica. Puoi regolare i parametri di scalabilità e prestazioni degli scheduler, del server web e dei worker di Airflow in qualsiasi momento.

Il parametro delle prestazioni dimensioni dell'ambiente dell'ambiente controlla la dei parametri prestazionali dell'infrastruttura Cloud Composer gestita che include il database Airflow. Valuta la possibilità di selezionare un ambiente più ampio se vuoi eseguire un numero elevato di DAG e attività con delle prestazioni dell'infrastruttura. Ad esempio, la dimensione dell'ambiente più grande la quantità di voci di log delle attività Airflow con cui il tuo ambiente può elaborare con un ritardo minimo.

Più pianificatori

Airflow 2 può utilizzare più di uno scheduler Airflow contemporaneamente. Questa funzionalità di Airflow è nota anche come HA scheduler. In Cloud Composer 2, puoi impostare il numero di scheduler per il tuo ambiente e regolarlo nel tempo. Cloud Composer non scala automaticamente il numero di pianificatori nel tuo ambiente.

Per ulteriori informazioni sulla configurazione del numero di scheduler per il tuo consulta Ambienti di scalabilità.

Spazio su disco del database

Lo spazio su disco per il database Airflow aumenta automaticamente per soddisfare la domanda.