Prezzi di Dataproc Serverless

I prezzi di Dataproc Serverless per Spark si basano sul numero di unità di calcolo di dati (DCU), sul numero di acceleratori utilizzati e sulla quantità di spazio di archiviazione shuffle utilizzato. Le DCU, gli acceleratori e l'archiviazione shuffle vengono fatturati al secondo, con una tariffa minima di 1 minuto per le DCU e l'archiviazione shuffle e una tariffa minima di 5 minuti per gli acceleratori.

Ogni vCPU Dataproc è pari a 0,6 DCU. La RAM viene addebitata in modo diverso al di sotto e al di sopra degli 8 GB. Ogni gigabyte di RAM inferiore a 8 GB per vCPU viene conteggiato come 0,1 DCU, mentre ogni gigabyte di RAM superiore a 8 GB per vCPU viene conteggiato come 0,2 DCU. La memoria utilizzata dai driver e dagli esecutori Spark e l'utilizzo della memoria di sistema vengono conteggiate ai fini dell'utilizzo delle DCU.

Per impostazione predefinita, ogni carico di lavoro interattivo e batch Dataproc Serverless per Spark consuma un minimo di 12 DCU per la durata del carico di lavoro: il driver utilizza 4 vCPU e 16 GB di RAM e 4 DCU. Ognuno dei 2 esecutori utilizza 4 vCPU e 16 GB di RAM e consuma 4 DCU. Puoi personalizzare il numero di vCPU e la quantità di memoria per vCPU impostando le proprietà Spark. Non si applicano addebiti aggiuntivi per VM o Persistent Disk di Compute Engine.

Prezzi di Data Compute Unit (DCU)

La tariffa DCU mostrata di seguito è una tariffa oraria. Viene ripartito proporzionalmente e fatturato al secondo, con un addebito minimo di 1 minuto se si utilizza lo shuffling standard e un addebito minimo di 5 minuti se si utilizza lo spazio di archiviazione shuffle Premium. Se la valuta utilizzata per il pagamento è diversa da USD, si applicano i prezzi elencati nella tua valuta negli SKU di Cloud Platform.

Il carico di lavoro interattivo Dataproc Serverless per Spark prevede il pagamento di un prezzo premium.

Prezzi di archiviazione shuffling

La frequenza di archiviazione shuffle mostrata di seguito è una tariffa mensile. Viene ripartito proporzionalmente e fatturato al secondo, con un addebito minimo di 1 minuto per l'archiviazione shuffle standard e un addebito minimo di 5 minuti per l'archiviazione shuffle Premium. Lo spazio di archiviazione shuffle premium può essere utilizzato solo con l'unità di calcolo Premium.

Se la valuta utilizzata per il pagamento è diversa da USD, si applicano i prezzi elencati nella tua valuta negli SKU di Cloud Platform.

Prezzi dell'acceleratore

La tariffa dell'acceleratore mostrata di seguito è una tariffa oraria. Viene ripartito proporzionalmente e fatturato al secondo, con un addebito minimo di 5 minuti. Se la valuta utilizzata per il pagamento è diversa da USD, si applicano i prezzi elencati nella tua valuta negli SKU di Cloud Platform.

Esempio di prezzi

Se il carico di lavoro batch Dataproc Serverless per Spark viene eseguito con 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) per 24 ore nella regione us-central1 e utilizza 25 GB di spazio di archiviazione shuffle, il calcolo del prezzo è il seguente.

Total compute cost = 12 * 24 * $0.060000 = $17.28
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $17.28 + $0.03 = $17.31

Note

  1. Nell'esempio si presuppone un mese di 30 giorni. Poiché la durata del carico di lavoro batch è di un giorno, la frequenza di archiviazione shuffle mensile è divisa per 30.

Se il carico di lavoro batch Dataproc Serverless per Spark viene eseguito con 12 DCU e 2 GPU L4 (spark.driver.cores=4,spark.executor.cores=4, spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium, spark.dataproc.executor.compute.tier=premium, spark.dataproc.executor.disk.tier=premium, spark.dataproc.executor.resource.accelerator.type=l4) per 24 ore nella regione us-central1 e utilizza 25 GB di spazio di archiviazione shuffle, il calcolo del prezzo è il seguente.

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.1/301) = $0.083
Total accelerator cost = 2 * 24 * $0.6720 = $48.39
------------------------------------------------
Total cost = $25.632 + $0.083 + $48.39 = $74.105

Note

  1. Nell'esempio si presuppone un mese di 30 giorni. Poiché la durata del carico di lavoro batch è di un giorno, la frequenza di archiviazione shuffle mensile è divisa per 30.

Se il carico di lavoro interattivo Dataproc Serverless per Spark viene eseguito con 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) per 24 ore nella regione us-central1 e utilizza 25 GB di spazio di archiviazione shuffle, il calcolo del prezzo è il seguente:

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $25.632 + $0.03 = $25.662

Note

  1. Nell'esempio si presuppone un mese di 30 giorni. Poiché la durata del carico di lavoro batch è di un giorno, la frequenza di archiviazione shuffle mensile è divisa per 30.

Esempio di stima dei prezzi

Al completamento di un carico di lavoro batch, Dataproc Serverless per Spark calcola UsageMetrics, che contiene un'approssimazione delle risorse di archiviazione DCU, acceleratore e shuffling totali utilizzate dal carico di lavoro completato. Dopo aver eseguito un carico di lavoro, puoi eseguire il comando gcloud dataproc batches describe BATCH_ID per visualizzare le metriche di utilizzo dei carichi di lavoro che ti aiutano a stimare il costo dell'esecuzione.

Esempio:

Dataproc Serverless per Spark esegue un carico di lavoro su un cluster temporaneo con un master e due worker. Ogni nodo utilizza 4 DCU (il valore predefinito è 4 DCU per core, vedi spark.dataproc.driver.disk.size) e 400 GB di spazio di archiviazione shuffle (il valore predefinito è 100 GB per core, vedi spark.driver.cores). Il tempo di esecuzione del carico di lavoro è di 60 secondi. Inoltre, ogni worker ha 1 GPU per un totale di 2 nel cluster.

L'utente esegue gcloud dataproc batches describe BATCH_ID --region REGION per ottenere le metriche sull'utilizzo. L'output comando include il seguente snippet (milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 = 720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 = 120000 e shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):

runtimeInfo:
  approximateUsage:
    milliDcuSeconds: '720000'
    shuffleStorageGbSeconds: '72000'
    milliAcceleratorSeconds: '120000'

Utilizzo di altre risorse di Google Cloud

Il tuo carico di lavoro Dataproc Serverless per Spark può utilizzare facoltativamente le seguenti risorse, ognuna delle quali fatturata secondo i relativi prezzi, inclusi a titolo esemplificativo:

Passaggi successivi

Richiedi un preventivo personalizzato

Grazie ai prezzi con pagamento a consumo di Google Cloud, paghi solo per i servizi che utilizzi. Contatta il nostro team di vendita per ricevere un preventivo personalizzato per la tua organizzazione.
Contatta il team di vendita