L'ottimizzazione di un carico di lavoro Spark in termini di prestazioni e resilienza può essere complessa a causa del numero di opzioni di configurazione Spark e della difficoltà di valutare il modo in cui queste opzioni influiscono su un carico di lavoro. L'ottimizzazione automatica di Dataproc serverless fornisce un'alternativa alla configurazione manuale dei carichi di lavoro applicando automaticamente le impostazioni di configurazione di Spark a un carico di lavoro Spark ricorrente in base alle best practice di ottimizzazione di Spark e a un'analisi delle esecuzioni dei carichi di lavoro.
Registrati per l'ottimizzazione automatica di Dataproc Serverless
Per registrarti per accedere alla release di anteprima dell'ottimizzazione automatica di Dataproc serverless descritta in questa pagina, compila e invia il modulo di registrazione per l'anteprima di Gemini in BigQuery. Una volta approvato il modulo, i progetti elencati nel modulo avranno accesso alle funzionalità in anteprima.
Vantaggi
L'ottimizzazione automatica di Dataproc Serverless può offrire i seguenti vantaggi:
- Prestazioni migliorate: ottimizzazione per aumentare le prestazioni.
- Ottimizzazione più rapida: configurazione automatica per evitare test di configurazione manuali dispendiosi in termini di tempo
- Maggiore resilienza: allocazione automatica della memoria per evitare errori relativi alla memoria
Limitazioni
L'ottimizzazione automatica serverless di Dataproc ha le seguenti limitazioni:
- L'ottimizzazione automatica viene calcolata e applicata alla seconda esecuzione e a quelle successive di un carico di lavoro. La prima esecuzione di un carico di lavoro ricorrente non viene ottimizzata automaticamente perché l'ottimizzazione automatica di Dataproc Serverless utilizza la cronologia dei carichi di lavoro per l'ottimizzazione.
- Il ridimensionamento della memoria non è supportato.
- L'ottimizzazione automatica non viene applicata in modo retroattivo ai carichi di lavoro in esecuzione, ma solo alle coorti di carichi di lavoro appena inviati.
Coorti di ottimizzazione automatica
L'ottimizzazione automatica viene applicata alle esecuzioni ricorrenti di un carico di lavoro batch, chiamate coorti.
Il nome della coorte specificato quando invii un carico di lavoro
lo identifica come una delle esecuzioni successive del carico di lavoro ricorrente.
Ti consigliamo di utilizzare nomi delle coorti che descrivono il tipo di carico di lavoro o che aiutano a identificare le esecuzioni di un carico di lavoro come parte di un carico di lavoro ricorrente. Ad esempio, specifica TPCH-Query1
come nome della coorte per un carico di lavoro pianificato che esegue una query TPC-H giornaliera.
Scenari di ottimizzazione automatica
Puoi applicare l'ottimizzazione automatica di Dataproc Serverless al carico di lavoro selezionando uno o più dei seguenti scenari di ottimizzazione automatica:
MEMORY
: ottimizza automaticamente l'allocazione della memoria Spark per prevedere ed evitare potenziali errori di esaurimento della memoria per carichi di lavoro. Correggere un carico di lavoro non riuscito a causa di un errore di esaurimento della memoria.SCALING
: impostazioni di configurazione della scalabilità automatica di Spark con ottimizzazione automatica.BHJ
: ottimizza automaticamente le impostazioni di configurazione di Spark per ottimizzare le prestazioni del join di broadcast SQL.
Prezzi
L'ottimizzazione automatica serverless di Dataproc viene offerta durante l'anteprima senza costi aggiuntivi. Si applicano i prezzi di Dataproc Serverless standard.
Disponibilità a livello di area geografica
Puoi utilizzare l'ottimizzazione automatica di Dataproc Serverless con i batch inviati nelle regioni di Compute Engine disponibili.
Usa l'ottimizzazione automatica serverless di Dataproc
Puoi abilitare l'ottimizzazione automatica di Dataproc Serverless su un carico di lavoro utilizzando la console Google Cloud, Google Cloud CLI o l'API Dataproc.
Console
Per abilitare l'ottimizzazione automatica di Dataproc Serverless a ogni invio di un carico di lavoro batch ricorrente, segui questi passaggi:
Nella console Google Cloud, vai alla pagina Batch di Dataproc.
Per creare un carico di lavoro batch, fai clic su Crea.
Nella sezione Container, compila i seguenti campi per il carico di lavoro Spark:
- Coorte: il nome della coorte, che identifica il batch come uno di una serie di carichi di lavoro ricorrenti.
L'ottimizzazione automatica viene applicata al secondo carico di lavoro e a quelli successivi inviati con il nome di questa coorte. Ad esempio, specifica
TPCH-Query1
come nome della coorte per un carico di lavoro pianificato che esegue una query TPC-H giornaliera. - Scenari di ottimizzazione automatica: uno o più
scenari di ottimizzazione automatica da utilizzare per
ottimizzare il carico di lavoro, ad esempio
BHJ
,MEMORY
eSCALING
. Puoi modificare la selezione dello scenario a ogni invio di coorte in batch.
- Coorte: il nome della coorte, che identifica il batch come uno di una serie di carichi di lavoro ricorrenti.
L'ottimizzazione automatica viene applicata al secondo carico di lavoro e a quelli successivi inviati con il nome di questa coorte. Ad esempio, specifica
Compila le altre sezioni della pagina Crea batch in base alle tue esigenze, quindi fai clic su Invia. Per ulteriori informazioni su questi campi, consulta Inviare un carico di lavoro batch.
gcloud
Per abilitare l'ottimizzazione automatica di Dataproc Serverless a ogni invio di un carico di lavoro batch ricorrente, esegui il seguente comando gcloud CLI gcloud dataproc batches submit
localmente in una finestra del terminale o in Cloud Shell.
gcloud dataproc batches submit COMMAND \ --region=REGION \ --cohort=COHORT \ --autotuning-scenarios=SCENARIOS \ other arguments ...
Sostituisci quanto segue:
- COMMAND: il tipo di carico di lavoro Spark, ad esempio
Spark
,PySpark
,Spark-Sql
oSpark-R
. - REGION: la regione in cui verrà eseguito il carico di lavoro.
- COHORT: il nome della coorte, che identifica il batch come uno di una serie di carichi di lavoro ricorrenti.
L'ottimizzazione automatica viene applicata al secondo carico di lavoro e a quelli successivi inviati con questo nome coorte. Ad esempio, specifica
TPCH Query 1
come nome della coorte per un carico di lavoro pianificato che esegue una query TPC-H giornaliera. - SCENARIOS: uno o più scenari di ottimizzazione automatica separati da virgole da utilizzare per ottimizzare il carico di lavoro, ad esempio
--autotuning-scenarios=OOM,MEMORY,SCALING
. Puoi modificare l'elenco degli scenari a ogni invio di coorte in batch.
API
Per abilitare l'ottimizzazione automatica di Dataproc Serverless a ogni invio di un carico di lavoro batch ricorrente, invia una richiesta batches.create che includa i seguenti campi:
RuntimeConfig.cohort
: il nome della coorte, che identifica il batch come uno di una serie di carichi di lavoro ricorrenti. L'ottimizzazione automatica viene applicata al secondo carico di lavoro e a quelli successivi inviati con questo nome coorte. Ad esempio, specificaTPCH-Query1
come nome della coorte per un carico di lavoro pianificato che esegue una query TPC-H giornaliera.AutotuningConfig.scenarios
: uno o più scenari di ottimizzazione automatica da utilizzare per ottimizzare il carico di lavoro, ad esempioBHJ
,MEMORY
eSCALING
. Puoi modificare l'elenco degli scenari a ogni invio di coorte in batch.
Esempio:
...
runtimeConfig:
cohort: TPCH-Query1
autotuningConfig:
scenarios:
- BHJ
- MEMORY
- SCALING
...
Visualizza modifiche di ottimizzazione automatica
Per visualizzare le modifiche all'ottimizzazione automatica di Dataproc Serverless in un carico di lavoro batch, esegui il comando gcloud dataproc batches describe
.
Esempio: l'output gcloud dataproc batches describe
è simile al seguente:
...
runtimeInfo:
propertiesInfo:
# Properties set by autotuning.
autotuningProperties
spark.driver.memory:
annotation: Driver OOM was detected
value: 11520m
spark.driver.memoryOverhead:
annotation: Driver OOM was detected
value: 4608m
# Old overwritten properties.
userProperties
...
Puoi anche visualizzare le modifiche più recenti dell'ottimizzazione automatica applicate a un carico di lavoro in esecuzione, completato o non riuscito dalla pagina Dettagli batch della console Google Cloud, nella scheda Indaga.