Prezzi di Dataproc Serverless

I prezzi di Dataproc Serverless per Spark si basano sul numero di servizi di computing dei dati Unità (DCU), numero di acceleratori utilizzati e quantità di spazio di archiviazione per lo shuffling in uso. DCU, acceleratori e archiviazione shuffle vengono fatturati al secondo, con Addebito minimo di 1 minuto per DCU e archiviazione in modalità shuffling e minimo di 5 minuti per gli acceleratori.

Ogni vCPU Dataproc viene conteggiata come 0,6 DCU. La RAM viene caricata in modo diverso sotto e sopra gli 8 GB. Ogni gigabyte di RAM al di sotto di 8 GB per vCPU viene conteggiato come 0,1 DCU e ogni gigabyte di RAM superiore a 8 GB per vCPU viene conteggiato come 0,2 DCU. La memoria utilizzata da driver ed esecutori Spark e l'utilizzo della memoria di sistema vengono conteggiati per l'utilizzo di DCU.

Per impostazione predefinita, ogni batch e carico di lavoro interattivo Dataproc per Spark utilizza un minimo di 12 DCU per la durata del carico di lavoro: il driver utilizza 4 vCPU e 16 GB di RAM, consuma 4 DCU e ognuno dei 2 esecutori utilizza 4 vCPU e 16 GB di RAM e consuma 4 DCU. Puoi personalizzare il numero di vCPU e la quantità di memoria per vCPU impostando Proprietà di Spark. Non vengono applicati costi aggiuntivi per VM o Persistent Disk di Compute Engine.

Prezzi di Data Compute Unit (DCU)

La tariffa DCU mostrata di seguito è una tariffa oraria. Viene ripartito proporzionalmente e fatturato in base secondo, con una carica minima di 1 minuto. . Se la valuta utilizzata per il pagamento è diversa dai dollari statunitensi, i prezzi elencati nella tua valuta su SKU di Cloud Platform .

Il carico di lavoro interattivo Dataproc Serverless per Spark viene addebitato a Premium.

Distribuisci casualmente i prezzi dello spazio di archiviazione

La percentuale di archiviazione in ordine casuale mostrata di seguito è una tariffa mensile. Il costo è ripartito proporzionalmente fatturati al secondo, con una tariffa minima di 1 minuto per l'archiviazione shuffle standard e una tariffa minima di 5 minuti per l'archiviazione Premium in ordine casuale. Riproduzione casuale Premium l'archiviazione può essere utilizzata solo con Premium Compute Unit.

. Se la valuta utilizzata per il pagamento è diversa dai dollari statunitensi, i prezzi elencati nella tua valuta su SKU di Cloud Platform .

Prezzi di Accelerator

La frequenza dell'acceleratore mostrata di seguito è una tariffa oraria. Viene ripartito proporzionalmente e fatturato in base al secondo, con una ricarica minima di 5 minuti. . Se la valuta utilizzata per il pagamento è diversa dai dollari statunitensi, i prezzi elencati nella tua valuta su SKU di Cloud Platform .

Esempio di prezzi

Se il carico di lavoro batch Dataproc serverless per Spark viene eseguito con 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) per 24 ore nella regione us-central1 e consuma 25 GB di spazio di archiviazione shuffle, calcolo del prezzo è il seguente.

Total compute cost = 12 * 24 * $0.060000 = $17.28
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $17.28 + $0.03 = $17.31

Note:

  1. L'esempio presuppone un mese di 30 giorni. Poiché la durata del carico di lavoro batch è pari a uno, giorno, il tasso di archiviazione shuffle mensile viene diviso per 30.

Se il carico di lavoro batch Dataproc serverless per Spark viene eseguito con 12 DCU e 2 GPU L4 (spark.driver.cores=4,spark.executor.cores=4, spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium, spark.dataproc.executor.compute.tier=premium, spark.dataproc.executor.disk.tier=premium, spark.dataproc.executor.resource.accelerator.type=l4) per 24 ore in us-central1 e utilizza 25 GB di spazio di archiviazione shuffling, il calcolo dei prezzi è il seguente.

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.1/301) = $0.083
Total accelerator cost = 2 * 24 * $0.6720 = $48.39
------------------------------------------------
Total cost = $25.632 + $0.083 + $48.39 = $74.105

Note:

  1. L'esempio presuppone un mese di 30 giorni. Poiché la durata del carico di lavoro batch è pari a uno, giorno, il tasso di archiviazione shuffle mensile viene diviso per 30.

Se il carico di lavoro interattivo Dataproc Serverless per Spark viene eseguito con 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) per 24 ore nella regione us-central1 e consuma 25 GB di spazio di archiviazione shuffle, il calcolo del prezzo è il seguente:

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $25.632 + $0.03 = $25.662

Note:

  1. L'esempio presuppone un mese di 30 giorni. Poiché la durata del carico di lavoro batch è pari a uno, giorno, il tasso di archiviazione shuffle mensile viene diviso per 30.

Esempio di stima dei prezzi

Al completamento di un carico di lavoro batch, Dataproc Serverless per Spark calcola UsageMetrics, che contengono un'approssimazione della DCU, dell'acceleratore e dello shuffling totali e risorse di archiviazione utilizzate dal carico di lavoro completato. Dopo aver eseguito un carico di lavoro, puoi eseguire gcloud dataproc batches describe BATCH_ID per visualizzare le metriche di utilizzo dei carichi di lavoro e stimare il costo di esecuzione carico di lavoro.

Esempio:

Dataproc Serverless per Spark esegue un carico di lavoro su un cluster temporaneo con uno master e due worker. Ogni nodo utilizza 4 DCU (il valore predefinito è 4 DCU per principale (vedi spark.dataproc.driver.disk.size) e 400 GB di spazio di archiviazione per shuffling (il valore predefinito è 100 GB per core. Vedi spark.driver.cores). Il tempo di esecuzione del carico di lavoro è di 60 secondi. Inoltre, ogni worker ha 1 GPU per un totale di 2 nel cluster.

L'utente esegue gcloud dataproc batches describe BATCH_ID --region REGION per ottenere metriche di utilizzo. L'output comando include il seguente snippet (milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 = 720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 = 120000 e shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):

runtimeInfo:
  approximateUsage:
    milliDcuSeconds: '720000'
    shuffleStorageGbSeconds: '72000'
    milliAcceleratorSeconds: '120000'

Utilizzo di altre risorse di Google Cloud

Il carico di lavoro Dataproc Serverless per Spark può facoltativamente utilizzare seguenti risorse, ciascuna fatturata in base ai propri prezzi, inclusi, a titolo esemplificativo:

Passaggi successivi

Richiedi un preventivo personalizzato

Con i prezzi con pagamento a consumo di Google Cloud, paghi solo per i servizi che utilizzi. Per ricevere un preventivo personalizzato per la tua organizzazione, contatta il nostro team di vendita.
Contatta il team di vendita