Prezzi di Dataproc Serverless
I prezzi di Dataproc Serverless per Spark si basano sul numero di unità di calcolo dei dati (DCU) e sulla quantità di spazio di archiviazione shuffle utilizzato. Sia le DCU che lo spazio di archiviazione shuffle vengono fatturati al secondo, con una tariffa minima di 1 minuto.
Ogni vCPU Dataproc viene conteggiata come DCU di 0,6. La RAM viene addebitata in modo diverso al di sotto e al di sopra di 8 GB. Ogni gigabyte di RAM inferiore a 8 G gigabyte per vCPU viene conteggiato come 0,1 DCU e ogni gigabyte di RAM superiore a 8 G gigabyte per vCPU viene conteggiato come 0,2 DCU. La memoria utilizzata dai driver e dagli esecutori Spark, nonché l'utilizzo della memoria di sistema, viene conteggiata ai fini dell'utilizzo delle DCU.
Per impostazione predefinita, ogni carico di lavoro batch Dataproc Serverless per Spark utilizza un minimo di 12 DCU per la durata del carico di lavoro batch: il driver utilizza 4 vCPU e 16 GB di RAM e utilizza 4 DCU e ognuno dei 2 esecutori utilizza 4 vCPU e 16 GB di RAM e consuma 4 DCU. Puoi personalizzare il numero di vCPU e la quantità di memoria per vCPU impostando le proprietà Spark. Non si applicano addebiti aggiuntivi per VM di Compute Engine o Persistent Disk.
Prezzi di Data Compute Unit (DCU)
La tariffa DCU mostrata di seguito è una tariffa oraria. La tariffa viene ripartita proporzionalmente e fatturata al secondo, con un addebito minimo di 1 minuto se si utilizza lo shuffle standard e un addebito minimo di 5 minuti se si utilizza lo spazio di archiviazione shuffle Premium.
Prezzi dello spazio di archiviazione casuale
La frequenza di archiviazione shuffling mostrata di seguito è una tariffa mensile. Viene ripartito proporzionalmente e fatturato al secondo, con un addebito minimo di 1 minuto per l'archiviazione shuffle standard e un addebito minimo di 5 minuti per l'archiviazione shuffle Premium. Lo spazio di archiviazione shuffle Premium può essere utilizzato solo con l'unità di calcolo Premium.
Esempio di prezzi
Se il carico di lavoro batch Dataproc Serverless per Spark viene eseguito con 8 DCU per 24 ore nella regione us-central1 e utilizza 25 GB di spazio di archiviazione shuffle, il calcolo del prezzo è il seguente:
Total compute cost = 8 * 24 * $0.060000 = $11.52 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $11.52 + $0.03 = $11.55 Notes: 1. The example assumes a 30-day month. Since the batch workload duration is one day, the monthly shuffle storage rate is divided by 30.
Esempio di stima dei prezzi
Al completamento di un carico di lavoro, Dataproc Serverless per Spark calcola UsageMetrics, che contiene un'approssimazione delle risorse di archiviazione DCU e di archiviazione shuffling totali utilizzate dal carico di lavoro completato. Dopo aver eseguito un carico di lavoro, puoi eseguire il comando gcloud dataproc batches describe BATCH_ID per visualizzare le relative metriche di utilizzo al fine di stimare il costo dell'esecuzione del carico di lavoro.
Esempio:
Dataproc Serverless per Spark esegue un carico di lavoro su un cluster temporaneo con un master e due worker. Ogni nodo utilizza 4 DCU (il valore predefinito è 4 DCU per core, vedi spark.dataproc.driver.disk.size) e 400 GB di spazio di archiviazione shuffle (il valore predefinito è 100 GB per core, vedi spark.driver.cores). Il tempo di esecuzione del carico di lavoro è di 60 secondi.
L'utente esegue gcloud dataproc batches describe BATCH_ID --region REGION per ottenere le metriche di utilizzo. L'output comando include il seguente snippet
(milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 =
720000 e shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):
runtimeInfo:
approximateUsage:
milliDcuSeconds: '720000'
shuffleStorageGbSeconds: '72000'
Utilizzo di altre risorse di Google Cloud
Il carico di lavoro Dataproc Serverless per Spark può utilizzare facoltativamente le seguenti risorse, ognuna delle quali fatturata in base ai relativi prezzi, incluse a titolo esemplificativo:
Passaggi successivi
- Leggi la documentazione di Dataproc Serverless.
- Inizia a utilizzare Dataproc Serverless.
- Prova il Calcolatore prezzi.