Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Questa pagina spiega come ottimizzare i parametri di scalabilità e prestazioni dell'ambiente in base alle esigenze del progetto, in modo da migliorare le prestazioni e ridurre i costi delle risorse non utilizzate dal tuo ambiente.
Altre pagine su scalabilità e ottimizzazione:
- Per informazioni sulla scalabilità degli ambienti, consulta Ambienti di scalabilità.
- Per informazioni su come funziona la scalabilità dell'ambiente, consulta Scalabilità dell'ambiente.
- Per un tutorial sul monitoraggio delle metriche chiave dell'ambiente, consulta Monitorare l'integrità e le prestazioni dell'ambiente con le metriche chiave.
Panoramica del processo di ottimizzazione
Apportare modifiche ai parametri dell'ambiente può influire su molti aspetti delle prestazioni dell'ambiente. Ti consigliamo di ottimizzare il tuo ambiente in iterazioni:
- Inizia con i predefiniti di ambiente.
- Esegui i DAG.
- Osserva le prestazioni del tuo ambiente.
- Regola i parametri di scala e prestazioni dell'ambiente, quindi ripeti dal passaggio precedente.
Inizia con i predefiniti di ambiente
Quando crei un ambiente nella console Google Cloud, puoi selezionare uno dei tre predefiniti di ambiente. Queste preimpostazioni impostano la configurazione iniziale di scalabilità e prestazioni del tuo ambiente; dopo aver creato l'ambiente, puoi modificare tutti i parametri di scalabilità e prestazioni forniti da un valore preimpostato.
Ti consigliamo di iniziare con una delle preimpostazioni, in base alle seguenti stime:
- Numero totale di DAG di cui prevedi di eseguire il deployment nell'ambiente
- Numero massimo di esecuzioni di DAG simultanee
- Numero massimo di attività simultanee
Le prestazioni del tuo ambiente dipendono dall'implementazione di DAG specifici eseguiti nel tuo ambiente. La tabella seguente elenca le stime basate sul consumo medio delle risorse. Se prevedi che i DAG consumino più risorse, regola le stime di conseguenza.
| Preimpostazione consigliata | DAG totali | Numero massimo di esecuzioni di DAG simultanee | Numero massimo di attività simultanee |
|---|---|---|---|
| Piccola | 50 | 15 | 18 |
| Medio | 250 | 60 | 100 |
| Grande | 1000 | 250 | 400 |
Ad esempio, un ambiente deve eseguire 40 DAG. Tutti i DAG devono essere eseguiti contemporaneamente, con un'attività attiva. Questo ambiente utilizzerà quindi un preset Medio, perché il numero massimo di esecuzioni e attività di DAG simultanee supera le stime consigliate per il valore preimpostato Piccolo.
Esegui i DAG
Una volta creato l'ambiente, carica i DAG al suo interno. Esegui i DAG e osserva le prestazioni dell'ambiente.
Ti consigliamo di eseguire i DAG in base a una pianificazione che rifletta l'applicazione reale dei DAG. Ad esempio, se vuoi eseguire più DAG contemporaneamente, assicurati di controllare le prestazioni del tuo ambiente quando tutti questi DAG vengono eseguiti contemporaneamente.
Osserva le prestazioni del tuo ambiente
Questa sezione si concentra sugli aspetti più comuni di capacità e ottimizzazione delle prestazioni di Cloud Composer 2. Ti consigliamo di seguire questa guida passo passo, perché vengono spiegate per prime le considerazioni sulle prestazioni più comuni.
Vai alla dashboard di Monitoring
Puoi monitorare le metriche delle prestazioni del tuo ambiente nella dashboard di Monitoring del tuo ambiente.
Per accedere alla dashboard di monitoraggio per il tuo ambiente:
Nella console Google Cloud, vai alla pagina Ambienti.
Fai clic sul nome dell'ambiente.
Vai alla scheda Monitoring.
Monitora le metriche di CPU e memoria dello scheduler
Le metriche di CPU e memoria dello scheduler di Airflow consentono di verificare se le prestazioni dello scheduler costituiscono un collo di bottiglia nelle prestazioni complessive di Airflow.
Nella sezione Scheduler della dashboard di Monitoring, osserva i grafici per gli scheduler di Airflow del tuo ambiente:
- CPU totale utilizzata dagli scheduler
- Memoria totale utilizzata dagli scheduler
Regola in base alle tue osservazioni:
Se l'utilizzo della CPU dello scheduler è costantemente inferiore al 30%-35%, potresti voler:
Se l'utilizzo della CPU dello scheduler supera l'80% per un tempo superiore a qualche percentuale del tempo totale, puoi provare a:
Monitora il tempo totale di analisi per tutti i file DAG
Gli scheduler analizzano i DAG prima di pianificare le esecuzioni dei DAG. Se l'analisi dei DAG richiede molto tempo, questo consuma la capacità dello scheduler e potrebbe ridurre le prestazioni delle esecuzioni dei DAG.
Nella sezione Statistiche DAG della dashboard di Monitoring, osserva i grafici relativi al tempo totale di analisi dei DAG.
Se il numero supera i 10 secondi circa, i tuoi scheduler potrebbero essere sovraccarichi dell'analisi dei DAG e non poter eseguire i DAG in modo efficace. La frequenza predefinita di analisi dei DAG in Airflow è di 30 secondi; se il tempo di analisi dei DAG supera questa soglia, i cicli di analisi iniziano a sovrapporsi, il che a sua volta esaurisce la capacità dello scheduler.
In base alle tue osservazioni, potresti voler:
- Semplifica i DAG, incluse le loro dipendenze Python.
- Aumenta l'intervallo di analisi dei file DAG e l'intervallo di elenco delle directory dei DAG.
- Aumenta il numero di scheduler.
- Aumenta la CPU degli scheduler.
Monitora le eliminazioni dei pod dei worker
L'eliminazione dei pod può verificarsi quando un determinato pod nel cluster dell'ambiente raggiunge i limiti di risorse.
Se un pod worker Airflow viene rimosso, tutte le istanze delle attività in esecuzione su quel pod vengono interrotte e successivamente contrassegnate come non riuscite da Airflow.
La maggior parte dei problemi relativi all'eliminazione dei pod dei worker si verifica a causa di situazioni di esaurimento della memoria nei worker.
Nella sezione Worker della dashboard di Monitoring, osserva i grafici relativi all'eliminazione dei pod worker per il tuo ambiente.
Il grafico Utilizzo totale della memoria dei worker mostra una prospettiva totale dell'ambiente. Un singolo worker può comunque superare il limite di memoria, anche se l'utilizzo della memoria è integro a livello di ambiente.
In base alle tue osservazioni, potresti voler:
- Aumenta la memoria disponibile per i lavoratori.
- Riduci la contemporaneità dei worker. In questo modo, un singolo worker gestisce meno attività contemporaneamente. Ciò fornisce più memoria o spazio di archiviazione per ogni singola attività. Se modifichi la contemporaneità dei worker, potresti voler aumentare anche il numero massimo di worker. In questo modo, rimane invariato il numero di attività che il tuo ambiente è in grado di gestire contemporaneamente. Ad esempio, se riduci la contemporaneità dei worker da 12 a 6, potresti voler raddoppiare il numero massimo di worker.
Monitora i worker attivi
Il numero di worker nel tuo ambiente scala automaticamente in risposta alle attività in coda.
Nella sezione Worker della dashboard di Monitoring, osserva i grafici relativi al numero di worker attivi e al numero di attività in coda:
- Worker attivi
- Attività Airflow
Regola in base alle tue osservazioni:
- Se l'ambiente raggiunge spesso il limite massimo di worker e, allo stesso tempo, il numero di attività nella coda Celery è costantemente elevato, potresti voler aumentare il numero massimo di worker.
Se si verificano lunghi ritardi nella pianificazione tra le attività, ma allo stesso tempo l'ambiente non fa lo scale up per il numero massimo di worker, è probabile che esista un'impostazione di Airflow che limita l'esecuzione e impedisce ai meccanismi di Cloud Composer di scalare l'ambiente. Poiché gli ambienti Cloud Composer 2 scalano in base al numero di attività nella coda Celery, configura Airflow in modo da non limitare le attività in coda:
- Aumenta la contemporaneità dei worker. La contemporaneità dei worker deve essere impostata su un valore superiore al numero massimo previsto di attività simultanee, diviso per il numero massimo di worker nell'ambiente.
- Aumenta la contemporaneità dei DAG se un singolo DAG esegue un numero elevato di attività in parallelo, il che può portare a raggiungere il numero massimo di istanze di attività in esecuzione per DAG.
- Aumenta il numero massimo di esecuzioni attive per DAG, se esegui lo stesso DAG più volte in parallelo, il che può portare ad una limitazione dell'esecuzione di Airflow perché viene raggiunto il numero massimo di esecuzioni attive per limite di DAG.
Monitora l'utilizzo di CPU e memoria dei worker
Monitora l'utilizzo totale di CPU e memoria aggregato tra tutti i worker nel tuo ambiente per determinare se i worker di Airflow utilizzano correttamente le risorse del tuo ambiente.
Nella sezione Worker della dashboard di Monitoring, osserva i grafici relativi all'utilizzo di CPU e memoria da parte dei worker di Airflow:
- Utilizzo totale CPU worker
- Utilizzo totale memoria worker
Questo grafico rappresenta l'utilizzo aggregato delle risorse. I singoli worker potrebbero comunque raggiungere i limiti di capacità, anche se la visualizzazione aggregata mostra la capacità di riserva.
Regola in base alle tue osservazioni:
- Se l'utilizzo della memoria dei worker si avvicina al limite, può verificarsi l'eliminazione dei pod dei worker. Per risolvere il problema, aumenta la memoria dei worker.
- Se l'utilizzo della memoria è minimo rispetto al limite e non sono presenti eliminazioni dei pod worker, potrebbe essere utile ridurre la memoria dei worker.
Se l'utilizzo della CPU dei worker si avvicina al limite (supera l'80% per più di una percentuale del tempo totale), potrebbe essere utile:
- Aumenta il numero di worker. In questo modo, l'ambiente ha un maggiore controllo sulla capacità di cui è stato eseguito il provisioning per un determinato carico di lavoro.
- Aumenta la CPU dei worker o riduci la contemporaneità dei worker, se le singole attività necessitano di una maggiore allocazione della CPU. In caso contrario, consigliamo di aumentare il numero di worker.
Monitora le attività in esecuzione e in coda
Puoi monitorare il numero di attività in coda e in esecuzione per verificare l'efficienza del processo di pianificazione.
Nella sezione Worker della dashboard di Monitoring, osserva il grafico delle attività Airflow per il tuo ambiente.
Le attività in coda sono in attesa di essere eseguite dai worker. Se il tuo ambiente ha attività in coda, ciò potrebbe significare che i worker nel tuo ambiente sono occupati a eseguire altre attività.
Alcune accodamento sono sempre presenti in un ambiente, soprattutto durante i picchi di elaborazione. Tuttavia, se noti un numero elevato di attività in coda o una tendenza in crescita nel grafico, ciò potrebbe indicare che i worker non hanno una capacità sufficiente per elaborare le attività o che Airflow sta limitando l'esecuzione delle attività.
Solitamente si osserva un numero elevato di attività in coda quando raggiunge il livello massimo anche il numero di attività in esecuzione.
Per risolvere entrambi i problemi:
Monitora l'utilizzo di CPU e memoria del database
I problemi relativi alle prestazioni del database Airflow possono portare a problemi generali di esecuzione dei DAG. L'utilizzo del disco del database in genere non è motivo di preoccupazione perché lo spazio di archiviazione viene esteso automaticamente in base alle esigenze.
Nella sezione Worker della dashboard di Monitoring, osserva i grafici relativi all'utilizzo di CPU e memoria da parte del database Airflow:
- Utilizzo CPU database
- Utilizzo memoria database
Se l'utilizzo della CPU del database supera l'80% per più di una piccola percentuale del tempo totale, il database è sovraccarico e richiede scalabilità.
Le impostazioni delle dimensioni del database sono controllate dalla proprietà delle dimensioni dell'ambiente del tuo ambiente. Per fare lo scale up o lo scale down del database, modifica le dimensioni dell'ambiente impostandole su un livello diverso (Small, Medium o Large). Aumentando le dimensioni dell'ambiente, i costi aumentano.
Monitora la latenza della pianificazione delle attività
Se la latenza tra le attività supera i livelli previsti (ad esempio, 20 o più secondi), potrebbe significare che l'ambiente non è in grado di gestire il carico di attività generate dalle esecuzioni dei DAG.
Puoi visualizzare il grafico della latenza della pianificazione delle attività nella UI di Airflow del tuo ambiente.
In questo esempio, i ritardi (2,5 e 3,5 secondi) rientrano nei limiti accettabili, ma latenze significativamente più elevate potrebbero indicare che:
- Lo scheduler è sovraccarico. Monitora la CPU e la memoria dello scheduler per rilevare eventuali problemi.
- Le opzioni di configurazione di Airflow limitano l'esecuzione. Prova ad aumentare la contemporaneità dei worker, aumentare la contemporaneità dei DAG o aumentare il numero massimo di esecuzioni attive per DAG.
- Il numero di worker non è sufficiente per eseguire le attività, prova ad aumentare il numero massimo di worker.
Monitora la CPU e la memoria del server web
Le prestazioni del server web di Airflow influiscono sulla UI di Airflow. Non è frequente che il server web sia sovraccarico. In questo caso, le prestazioni della UI di Airflow potrebbero peggiorare, ma questo non influisce sulle prestazioni delle esecuzioni dei DAG.
Nella sezione Server web della dashboard di Monitoring, osserva i grafici relativi al server web di Airflow:
- Utilizzo CPU server web
- Utilizzo memoria server web
In base alle tue osservazioni:
- Se l'utilizzo della CPU del server web è superiore all'80% per più di qualche percentuale di tempo, prendi in considerazione l'aumento della CPU del server web.
- Se noti un utilizzo elevato di memoria del server web, valuta la possibilità di aggiungere più memoria al server web.
Regola i parametri di scalabilità e prestazioni dell'ambiente
Modificare il numero di scheduler
La regolazione del numero di scheduler migliora la capacità e la resilienza della pianificazione di Airflow.
Se aumenti il numero di scheduler, aumenta il traffico da e verso il database Airflow. Nella maggior parte degli scenari, consigliamo di utilizzare due scheduler Airflow. L'utilizzo di più di due scheduler è necessario solo in rari casi che richiedono considerazioni speciali.
Se hai bisogno di una pianificazione più rapida:
- Configurare due scheduler Airflow.
- Assegna più risorse di CPU e memoria agli scheduler Airflow.
- Aumenta dag-dir-list-interval
- Aumenta min-file-process-interval
- Aumenta job-heartbeat-sec
Esempi:
Console
Segui i passaggi descritti in Regolare il numero di scheduler per impostare il numero richiesto di scheduler per il tuo ambiente.
gcloud
Segui i passaggi descritti in Regolare il numero di scheduler per impostare il numero richiesto di scheduler per il tuo ambiente.
L'esempio seguente imposta il numero di scheduler su due:
gcloud composer environments update example-environment \
--scheduler-count=2
Terraform
Segui i passaggi descritti in Regolare il numero di scheduler per impostare il numero richiesto di scheduler per il tuo ambiente.
L'esempio seguente imposta il numero di scheduler su due:
resource "google_composer_environment" "example-environment" {
# Other environment parameters
config {
workloads_config {
scheduler {
count = 2
}
}
}
}
Modifica di CPU e memoria per gli scheduler
I parametri di CPU e memoria si riferiscono a ogni scheduler nel tuo ambiente. Ad esempio, se il tuo ambiente ha due scheduler, la capacità totale è il doppio del numero specificato di CPU e memoria.
Console
Segui i passaggi descritti in Regolare i parametri di scalabilità e prestazioni di worker, scheduler e server web per impostare CPU e memoria per gli scheduler.
gcloud
Segui i passaggi descritti in Regolare i parametri di scalabilità e prestazioni di worker, scheduler e server web per impostare CPU e memoria per gli scheduler.
L'esempio seguente modifica la CPU e la memoria per gli scheduler. Puoi specificare solo attributi di CPU o memoria, a seconda delle esigenze.
gcloud composer environments update example-environment \
--scheduler-cpu=0.5 \
--scheduler-memory=3.75
Terraform
Segui i passaggi descritti in Regolare i parametri di scalabilità e prestazioni di worker, scheduler e server web per impostare CPU e memoria per gli scheduler.
L'esempio seguente modifica la CPU e la memoria per gli scheduler. Puoi omettere gli attributi di CPU o memoria, a seconda delle esigenze.
resource "google_composer_environment" "example-environment" {
# Other environment parameters
config {
workloads_config {
scheduler {
cpu = "0.5"
memory_gb = "3.75"
}
}
}
}
Modificare il numero massimo di worker
L'aumento del numero massimo di worker consente al tuo ambiente di scalare automaticamente fino a un numero maggiore di worker, se necessario.
La riduzione del numero massimo di worker riduce la capacità massima dell'ambiente, ma potrebbe anche essere utile per ridurre i costi dell'ambiente.
Esempi:
Console
Segui i passaggi descritti in Regolare il numero minimo e massimo di worker per impostare il numero massimo richiesto di worker per il tuo ambiente.
gcloud
Segui i passaggi descritti in Regolare il numero minimo e massimo di worker per impostare il numero massimo richiesto di worker per il tuo ambiente.
L'esempio seguente imposta il numero massimo di worker su sei:
gcloud composer environments update example-environment \
--max-workers=6
Terraform
Segui i passaggi descritti in Regolare il numero minimo e massimo di worker per impostare il numero massimo richiesto di worker per il tuo ambiente.
L'esempio seguente imposta il numero massimo di scheduler su sei:
resource "google_composer_environment" "example-environment" {
# Other environment parameters
config {
workloads_config {
worker {
max_count = "6"
}
}
}
}
Modifica CPU e memoria dei worker
La riduzione della memoria dei worker può essere utile quando il grafico di utilizzo del worker indica un utilizzo della memoria molto basso.
L'aumento della memoria dei worker consente ai worker di gestire più attività contemporaneamente o di gestire attività che richiedono molta memoria. Potrebbe risolvere il problema dell'eliminazione dei pod dei worker.
La riduzione della CPU worker può essere utile quando il grafico di utilizzo della CPU worker indica che le risorse della CPU sono fortemente sovraallocate.
L'aumento della CPU worker consente ai worker di gestire più attività contemporaneamente e, in alcuni casi, di ridurre il tempo necessario per elaborare queste attività.
La modifica della CPU o della memoria dei worker riavvia i worker, che potrebbero influire sulle attività in esecuzione. Ti consigliamo di farlo quando non sono in esecuzione DAG.
I parametri di CPU e memoria si riferiscono a ciascun worker nel tuo ambiente. Ad esempio, se il tuo ambiente ha quattro worker, la capacità totale è quattro volte superiore al numero specificato di CPU e memoria.
Console
Segui i passaggi descritti in Regolare i parametri di scalabilità e prestazioni di worker, scheduler e server web per impostare CPU e memoria per i worker.
gcloud
Segui i passaggi descritti in Regolare i parametri di scalabilità e prestazioni di worker, scheduler e server web per impostare la CPU e la memoria per i worker.
L'esempio seguente modifica la CPU e la memoria per i worker. Puoi omettere l'attributo CPU o memoria, se necessario.
gcloud composer environments update example-environment \
--worker-memory=3.75 \
--worker-cpu=2
Terraform
Segui i passaggi descritti in Regolare i parametri di scalabilità e prestazioni di worker, scheduler e server web per impostare CPU e memoria per i worker.
L'esempio seguente modifica la CPU e la memoria per i worker. Puoi omettere il parametro CPU o memoria, se necessario.
resource "google_composer_environment" "example-environment" {
# Other environment parameters
config {
workloads_config {
worker {
cpu = "2"
memory_gb = "3.75"
}
}
}
}
Modifica CPU e memoria del server web
La riduzione della CPU o della memoria del server web può essere utile quando il grafico di utilizzo del server web indica che è continuamente sottoutilizzato.
La modifica dei parametri del server web riavvia il server web, causando un tempo di inattività temporaneo del server. Ti consigliamo di apportare modifiche al di fuori del normale orario di utilizzo.
Console
Segui i passaggi descritti in Regolare i parametri di scalabilità e prestazioni di worker, scheduler e server web per impostare CPU e memoria per il server web.
gcloud
Segui i passaggi descritti in Regolare i parametri di scalabilità e prestazioni di worker, scheduler e server web per impostare la CPU e la memoria per il server web.
L'esempio seguente modifica la CPU e la memoria per il server web. Puoi omettere gli attributi di CPU o memoria, a seconda delle esigenze.
gcloud composer environments update example-environment \
--web-server-cpu=2 \
--web-server-memory=3.75
Terraform
Segui i passaggi descritti in Regolare i parametri di scalabilità e prestazioni di worker, scheduler e server web per impostare CPU e memoria per il server web.
L'esempio seguente modifica la CPU e la memoria per il server web. Puoi omettere gli attributi di CPU o memoria, a seconda delle esigenze.
resource "google_composer_environment" "example-environment" {
# Other environment parameters
config {
workloads_config {
web_server {
cpu = "2"
memory_gb = "3.75"
}
}
}
}
Modifica le dimensioni dell'ambiente
La modifica delle dimensioni dell'ambiente modifica la capacità dei componenti di backend di Cloud Composer, come il database Airflow e la coda Airflow.
- Valuta la possibilità di modificare le dimensioni dell'ambiente con una dimensione più piccola (ad esempio, da Grande a Media o Da Medio a Piccola) quando le metriche di utilizzo del database mostrano un notevole sottoutilizzo.
Valuta la possibilità di aumentare le dimensioni dell'ambiente se noti un utilizzo elevato del database Airflow.
Console
Segui i passaggi descritti in Regolare le dimensioni dell'ambiente per impostare le dimensioni dell'ambiente.
gcloud
Segui i passaggi descritti in Regolare le dimensioni dell'ambiente per impostare le dimensioni dell'ambiente.
L'esempio seguente modifica le dimensioni dell'ambiente in Medie.
gcloud composer environments update example-environment \
--environment-size=medium
Terraform
Segui i passaggi descritti in Regolare le dimensioni dell'ambiente per impostare le dimensioni dell'ambiente.
L'esempio seguente modifica le dimensioni dell'ambiente in Medie.
resource "google_composer_environment" "example-environment" {
# Other environment parameters
config {
environment_size = "medium"
}
}
Modifica dell'intervallo di elenco delle directory dei DAG
L'aumento dell'intervallo di elenco delle directory dei DAG riduce il carico dello scheduler associato al rilevamento di nuovi DAG nel bucket dell'ambiente.
- Valuta la possibilità di aumentare questo intervallo se esegui il deployment di nuovi DAG raramente.
- Valuta la possibilità di ridurre questo intervallo se vuoi che Airflow reagisca più velocemente ai file DAG di cui è stato eseguito il nuovo deployment.
Per modificare questo parametro, esegui l'override della seguente opzione di configurazione di Airflow:
| Sezione | Chiave | Valore | Note |
|---|---|---|---|
scheduler |
dag_dir_list_interval |
Nuovo valore per l'intervallo di elenco | Il valore predefinito, in secondi, è 120. |
Modifica dell'intervallo di analisi dei file DAG
L'aumento dell'intervallo di analisi dei file DAG riduce il carico dello scheduler associato all'analisi continua dei DAG nel bag DAG.
Valuta la possibilità di aumentare questo intervallo quando hai un numero elevato di DAG che non cambiano troppo spesso o osservi un carico dello scheduler elevato in generale.
Per modificare questo parametro, esegui l'override della seguente opzione di configurazione di Airflow:
| Sezione | Chiave | Valore | Note |
|---|---|---|---|
scheduler |
min_file_process_interval |
Nuovo valore per l'intervallo di analisi dei DAG | Il valore predefinito, in secondi, è 30. |
Contemporaneità worker
Le prestazioni della contemporaneità e la capacità dell'ambiente di scalare automaticamente sono collegate a due impostazioni:
- il numero minimo di worker Airflow
- Il parametro
[celery]worker_concurrency
I valori predefiniti forniti da Cloud Composer sono ottimali per la maggior parte dei casi d'uso, ma il tuo ambiente potrebbe trarre vantaggio da regolazioni personalizzate.
Considerazioni sulle prestazioni della contemporaneità dei worker
Il parametro [celery]worker_concurrency definisce il numero di attività
che un singolo worker può recuperare dalla coda di attività.
La velocità di esecuzione delle attività dipende da più fattori, come CPU worker, memoria e il tipo di lavoro stesso.
Scalabilità automatica worker
Cloud Composer monitora la coda di attività e genera altri worker per gestire le attività in attesa. Se imposti [celery]worker_concurrency su un valore elevato, ogni worker può acquisire molte attività, quindi in determinate circostanze la coda potrebbe non riempirsi mai, impedendo l'attivazione della scalabilità automatica.
Ad esempio, in un ambiente Cloud Composer con due worker Airflow, [celery]worker_concurrency impostato su 100 e attività 200 in coda, ogni worker raccoglierà 100 attività. La coda rimane vuota e non viene attivata la scalabilità automatica. Se queste attività richiedono molto tempo, potrebbero verificarsi problemi di prestazioni.
Tuttavia, se le attività sono di piccole dimensioni e rapide da eseguire, un valore elevato nell'impostazione [celery]worker_concurrency potrebbe portare a una scalabilità eccessiva.
Ad esempio, se l'ambiente ha 300 attività in coda,
Cloud Composer inizia a creare nuovi worker. Tuttavia, se l'esecuzione
delle prime 200 attività termina quando i nuovi worker sono pronti, un worker esistente
può recuperarle. Il risultato finale è che la scalabilità automatica
crea nuovi worker, ma non ha attività.
La modifica di [celery]worker_concurrency per i casi speciali dovrebbe basarsi sui tempi di esecuzione delle attività di picco e sui numeri di coda:
- Per le attività che richiedono più tempo per essere completate, i lavoratori non devono essere in grado di svuotare completamente la coda.
- Per attività più rapide e di dimensioni ridotte, aumenta il numero minimo di worker di Airflow per evitare una scalabilità eccessiva.
Sincronizzazione dei log delle attività
I worker di Airflow presentano un componente che sincronizza i log di esecuzione delle attività con i bucket Cloud Storage. Un numero elevato di attività simultanee eseguite da un singolo worker comporta un alto numero di richieste di sincronizzazione. Questo potrebbe sovraccaricare il worker e causare problemi di prestazioni.
Se riscontri problemi di prestazioni dovuti a un elevato numero di traffico di sincronizzazione dei log, riduci i valori di [celery]worker_concurrency e regola invece il numero minimo di worker Airflow.
Cambia contemporaneità dei worker
La modifica di questo parametro regola il numero di attività che un singolo worker può eseguire contemporaneamente.
Ad esempio, un worker con CPU 0,5 può in genere gestire 6 attività simultanee; un ambiente con tre di questi worker può gestire fino a 18 attività simultanee.
Aumenta questo parametro quando ci sono attività in attesa e i tuoi worker utilizzano contemporaneamente una bassa percentuale di CPU e memoria.
Riduci questo parametro quando ottieni l'eliminazione dei pod. In questo modo, riduci il numero di attività che un singolo worker tenta di elaborare. In alternativa, puoi aumentare la memoria dei worker.
Il valore predefinito per la contemporaneità dei worker è uguale a:
- In Airflow 2.6.3 e versioni successive, un valore minimo tra
32,12 * worker_CPUe6 * worker_memory. - Nelle versioni di Airflow precedenti alla 2.6.3, un valore minimo tra
32,12 * worker_CPUe8 * worker_memory. - Nelle versioni di Airflow precedenti alla 2.3.3,
12 * worker_CPU.
Il valore worker_CPU è il numero di CPU allocate a un singolo worker. Il valore worker_memory è la quantità di memoria allocata a un singolo worker. Ad esempio, se i worker nel tuo ambiente utilizzano 0,5 CPU e 4 GB di memoria ciascuno, la contemporaneità dei worker è impostata su 6. Il valore della contemporaneità dei worker non dipende dal numero di worker nel tuo ambiente.
Per modificare questo parametro, esegui l'override della seguente opzione di configurazione di Airflow:
| Sezione | Chiave | Valore |
|---|---|---|
celery |
worker_concurrency |
Nuovo valore per la contemporaneità dei worker |
Modifica contemporaneità dei DAG
La contemporaneità dei DAG definisce il numero massimo di istanze di attività che è possibile eseguire contemporaneamente in ogni DAG. Aumentalo quando i tuoi DAG eseguono un numero elevato di attività simultanee. Se questa impostazione è bassa, lo scheduler ritarda l'aggiunta di più attività in coda, il che riduce anche l'efficienza della scalabilità automatica dell'ambiente.
Per modificare questo parametro, esegui l'override della seguente opzione di configurazione di Airflow:
| Sezione | Chiave | Valore | Note |
|---|---|---|---|
core |
max_active_tasks_per_dag |
Nuovo valore per la contemporaneità dei DAG | Il valore predefinito è 16 |
Aumenta il numero massimo di esecuzioni attive per DAG
Questo attributo definisce il numero massimo di esecuzioni di DAG attive per DAG. Quando lo stesso DAG deve essere eseguito più volte contemporaneamente, ad esempio con argomenti di input diversi, questo attributo consente allo scheduler di avviare queste esecuzioni in parallelo.
Per modificare questo parametro, esegui l'override della seguente opzione di configurazione di Airflow:
| Sezione | Chiave | Valore | Note |
|---|---|---|---|
core |
max_active_runs_per_dag |
Nuovo valore per il numero massimo di esecuzioni attive per DAG | Il valore predefinito è 25 |
Passaggi successivi
- Ambienti di scalabilità
- Informazioni sulla scalabilità degli ambienti
- Esegui l'override delle configurazioni Airflow
- Monitora l'integrità e le prestazioni dell'ambiente con metriche chiave