Dataproc Serverless per scalabilità automatica Spark

Quando invii il carico di lavoro Spark, Dataproc Serverless per Spark può scalare in modo dinamico le risorse del carico di lavoro, ad esempio il numero di esecutori, per eseguire il tuo carico di lavoro in modo efficiente. La scalabilità automatica serverless di Dataproc è il comportamento predefinito e utilizza l'allocazione dinamica delle risorse di Spark per determinare se, come e quando scalare il carico di lavoro.

Proprietà di allocazione dinamica di Spark

La seguente tabella elenca le proprietà dell'allocazione dinamica di Spark che puoi impostare quando invii un carico di lavoro in batch per controllare la scalabilità automatica (vedi come impostare le proprietà Spark).

Proprietà Descrizione
spark.dynamicAllocation.enabled Indica se utilizzare l'allocazione dinamica delle risorse, che consente di fare lo scale up e lo scale down del numero di esecutori in base al carico di lavoro. L'impostazione predefinita è true (allocazione dinamica delle risorse abilitata). Se imposti il valore su false, la scalabilità automatica viene disabilitata per il carico di lavoro. Valore predefinito: true.
spark.dynamicAllocation.initialExecutors Il numero iniziale di esecutori allocato al carico di lavoro. Dopo l'avvio del carico di lavoro, la scalabilità automatica potrebbe modificare il numero di esecutori attivi. Il valore minimo è 2; il valore massimo è 100. Valore predefinito: 2.
spark.dynamicAllocation.minExecutors Il numero minimo di esecutori a cui adeguare il carico di lavoro. Il valore minimo è 2. Valore predefinito: 2.
spark.dynamicAllocation.maxExecutors Il numero massimo di esecutori per scalare il carico di lavoro. Il valore massimo è 1000. Valore predefinito: 1000.
:

Monitoraggio delle metriche

I carichi di lavoro batch di Spark generano metriche basate sull'allocazione dinamica delle risorse Spark. Puoi utilizzare queste metriche per monitorare i carichi di lavoro batch Spark. Fai clic su un ID batch nella pagina Batch della console per aprire la pagina Dettagli del batch, in cui è visualizzato un grafico delle metriche per il carico di lavoro in batch nella scheda Monitoraggio.