Prezzi di Dataproc Serverless

I prezzi di Dataproc Serverless per Spark si basano sul numero di unità di calcolo dei dati (DCU), sul numero di acceleratori utilizzati e sulla quantità di spazio di archiviazione utilizzato per shuffle. DCU, acceleratori e archiviazione shuffle sono fatturati al secondo, con una tariffa minima di 1 minuto per DCU e archiviazione shuffle e un costo minimo di 5 minuti per gli acceleratori.

Ogni vCPU Dataproc viene conteggiata come 0,6 DCU. La RAM viene addebitata in modo diverso sotto e sopra gli 8 GB. Ogni gigabyte di RAM al di sotto di 8 GB per vCPU viene conteggiato come 0,1 DCU, mentre ogni gigabyte di RAM superiore a 8 G gigabyte per vCPU viene conteggiato come 0,2 DCU. La memoria utilizzata dai driver e dagli esecutori Spark e l'utilizzo della memoria di sistema vengono conteggiati ai fini dell'utilizzo di DCU.

Per impostazione predefinita, ogni carico di lavoro interattivo e batch di Dataproc per Spark consuma un minimo di 12 DCU per la durata del carico di lavoro: il driver utilizza 4 vCPU e 16 GB di RAM e utilizza 4 DCU, mentre ciascuno dei 2 esecutori utilizza 4 vCPU e 16 GB di RAM e consuma 4 DCU. Puoi personalizzare il numero di vCPU e la quantità di memoria per vCPU impostando le proprietà Spark. Non vengono applicati costi aggiuntivi per VM o Persistent Disk di Compute Engine.

Prezzi di Data Compute Unit (DCU)

La tariffa DCU mostrata di seguito è una tariffa oraria. È ripartito proporzionalmente e fatturato al secondo, con un addebito minimo di 1 minuto. Se la valuta utilizzata per il pagamento è diversa da USD, si applicano i prezzi elencati nella tua valuta negli SKU di Cloud Platform .

Il carico di lavoro interattivo Dataproc Serverless per Spark viene addebitato a Premium.

Distribuisci casualmente i prezzi dello spazio di archiviazione

La percentuale di archiviazione in ordine casuale mostrata di seguito è una tariffa mensile. È ripartito proporzionalmente e fatturato al secondo, con un addebito minimo di 1 minuto per l'archiviazione shuffle standard e un addebito minimo di 5 minuti per l'archiviazione shuffle Premium. L'archiviazione Premium shuffle può essere utilizzata solo con Premium Compute Unit.

Se la valuta utilizzata per il pagamento è diversa da USD, si applicano i prezzi elencati nella tua valuta negli SKU di Cloud Platform .

Prezzi di Accelerator

La frequenza dell'acceleratore mostrata di seguito è una tariffa oraria. È ripartito proporzionalmente e fatturato al secondo, con un addebito minimo di 5 minuti. Se la valuta utilizzata per il pagamento è diversa da USD, si applicano i prezzi elencati nella tua valuta negli SKU di Cloud Platform .

Esempio di prezzi

Se il carico di lavoro batch Dataproc serverless per Spark viene eseguito con 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) per 24 ore nella regione us-central1 e utilizza 25 GB di spazio di archiviazione per shuffle, il calcolo del prezzo è il seguente.

Total compute cost = 12 * 24 * $0.060000 = $17.28
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $17.28 + $0.03 = $17.31

Note:

  1. L'esempio presuppone un mese di 30 giorni. Poiché la durata del carico di lavoro batch è di un giorno, la percentuale di archiviazione shuffle mensile è divisa per 30.

Se il carico di lavoro batch Dataproc serverless per Spark viene eseguito con 12 DCU e 2 GPU L4 (spark.driver.cores=4,spark.executor.cores=4, spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium, spark.dataproc.executor.compute.tier=premium, spark.dataproc.executor.disk.tier=premium, spark.dataproc.executor.resource.accelerator.type=l4) per 24 ore nella regione us-central1 e utilizza 25 GB di spazio di archiviazione per shuffle, il calcolo del prezzo è il seguente.

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.1/301) = $0.083
Total accelerator cost = 2 * 24 * $0.6720 = $48.39
------------------------------------------------
Total cost = $25.632 + $0.083 + $48.39 = $74.105

Note:

  1. L'esempio presuppone un mese di 30 giorni. Poiché la durata del carico di lavoro batch è di un giorno, la percentuale di archiviazione shuffle mensile è divisa per 30.

Se il carico di lavoro interattivo Dataproc Serverless per Spark viene eseguito con 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) per 24 ore nella regione us-central1 e utilizza 25 GB di spazio di archiviazione shuffle, il calcolo del prezzo è il seguente:

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $25.632 + $0.03 = $25.662

Note:

  1. L'esempio presuppone un mese di 30 giorni. Poiché la durata del carico di lavoro batch è di un giorno, la percentuale di archiviazione shuffle mensile è divisa per 30.

Esempio di stima dei prezzi

Al completamento di un carico di lavoro batch, Dataproc Serverless per Spark calcola UsageMetrics, che contiene un'approssimazione del totale delle risorse di archiviazione DCU, acceleratore e shuffling utilizzate dal carico di lavoro completato. Dopo aver eseguito un carico di lavoro, puoi eseguire il comando gcloud dataproc batches describe BATCH_ID per visualizzare le metriche di utilizzo del carico di lavoro e stimare il costo di esecuzione del carico di lavoro.

Esempio:

Dataproc Serverless per Spark esegue un carico di lavoro su un cluster temporaneo con un master e due worker. Ogni nodo utilizza 4 DCU (l'impostazione predefinita è 4 DCU per core, vedi spark.dataproc.driver.disk.size) e 400 GB di spazio di archiviazione shuffle (l'impostazione predefinita è 100 GB per core, vedi spark.driver.cores). Il tempo di esecuzione del carico di lavoro è di 60 secondi. Inoltre, ogni worker ha una GPU per un totale di due nel cluster.

L'utente esegue gcloud dataproc batches describe BATCH_ID --region REGION per ottenere le metriche di utilizzo. L'output comando include il seguente snippet (milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 = 720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 = 120000 e shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):

runtimeInfo:
  approximateUsage:
    milliDcuSeconds: '720000'
    shuffleStorageGbSeconds: '72000'
    milliAcceleratorSeconds: '120000'

Utilizzo di altre risorse di Google Cloud

Il carico di lavoro Dataproc serverless per Spark può utilizzare facoltativamente le risorse seguenti, ciascuna fatturata in base ai relativi prezzi, inclusi, a titolo esemplificativo:

Passaggi successivi

Richiedi un preventivo personalizzato

Con i prezzi con pagamento a consumo di Google Cloud, paghi solo per i servizi che utilizzi. Per ricevere un preventivo personalizzato per la tua organizzazione, contatta il nostro team di vendita.
Contatta il team di vendita