|

Prezzi di Dataproc Serverless

I prezzi di Dataproc Serverless per Spark si basano sul numero di unità di elaborazione di dati (DCU), sul numero di acceleratori utilizzati e sulla quantità di spazio di archiviazione di shuffle utilizzato. Le risorse DCU, Accelerator e Shuffle Storage vengono fatturate al secondo, con un minimo di 1 minuto per le risorse DCU e Shuffle Storage e un minimo di 5 minuti per le risorse Accelerator.

Ogni vCPU Dataproc vale 0,6 DCU. La RAM viene caricata in modo diverso al di sotto e al di sopra degli 8 GB. Ogni gigabyte di RAM inferiore a 8 GB per vCPU conta come 0,1 DCU e ogni gigabyte di RAM superiore a 8 GB per vCPU conta come 0,2 DCU. La memoria utilizzata dai driver e dagli executor Spark e l'utilizzo della memoria di sistema vengono conteggiati nell'utilizzo della DCU.

Per impostazione predefinita, ogni carico di lavoro interattivo e in batch di Dataproc Serverless per Spark consuma un minimo di 12 unità di calcolo per tutta la sua durata: il driver utilizza 4 vCPU e 16 GB di RAM e consuma 4 unità di calcolo, mentre ciascuno dei 2 executor utilizza 4 vCPU e 16 GB di RAM e consuma 4 unità di calcolo. Puoi personalizzare il numero di vCPU e la quantità di memoria per vCPU impostando le proprietà Spark. Non si applicano costi aggiuntivi per Compute Engine VM o Persistent Disk.

Prezzi delle unità di calcolo dei dati (DCU)

La tariffa DCU indicata di seguito è un importo orario. Viene ripartito e fatturato al secondo, con un addebito minimo di 1 minuto. Se la valuta utilizzata per il pagamento è diversa da USD, si applicano i prezzi elencati nella tua valuta negli SKU di Cloud Platform .

Il costo del carico di lavoro interattivo di Dataproc Serverless per Spark è calcolato in base al livello Premium.

Prezzi di Shuffle Storage

La tariffa per la memorizzazione casuale mostrata di seguito è una tariffa mensile. Viene proporzionato e fatturato al secondo, con una tariffa minima di 1 minuto per lo spazio di archiviazione di Shuffle standard e una tariffa minima di 5 minuti per lo spazio di archiviazione di Shuffle Premium. Lo spazio di archiviazione di Premium Shuffle può essere utilizzato solo con Premium Compute Unit.

Se la valuta utilizzata per il pagamento è diversa da USD, si applicano i prezzi elencati nella tua valuta negli SKU di Cloud Platform .

Prezzi degli acceleratori

La tariffa dell'acceleratore mostrata di seguito è oraria. Viene ripartito e fatturato al secondo, con un addebito minimo di 5 minuti. Se la valuta utilizzata per il pagamento è diversa da USD, si applicano i prezzi elencati nella tua valuta negli SKU di Cloud Platform .

Esempio di prezzi

Se il carico di lavoro batch di Dataproc Serverless per Spark viene eseguito con 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) per 24 ore nella regione us-central1 e consuma 25 GB di spazio di archiviazione shuffle, il calcolo del prezzo è il seguente.

Total compute cost = 12 * 24 * $0.060000 = $17.28
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $17.28 + $0.03 = $17.31

Note:

  1. L'esempio considera un mese di 30 giorni. Poiché la durata del carico di lavoro in batch è di un giorno, il tasso di archiviazione casuale mensile viene diviso per 30.

Se il carico di lavoro batch di Dataproc Serverless per Spark viene eseguito con 12 DCU e 2 GPU L4 (spark.driver.cores=4,spark.executor.cores=4, spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium, spark.dataproc.executor.compute.tier=premium, spark.dataproc.executor.disk.tier=premium, spark.dataproc.executor.resource.accelerator.type=l4) per 24 ore nella regione us-central1 e consuma 25 GB di spazio di archiviazione shuffle, il calcolo del prezzo è il seguente.

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.1/301) = $0.083
Total accelerator cost = 2 * 24 * $0.6720 = $48.39
------------------------------------------------
Total cost = $25.632 + $0.083 + $48.39 = $74.105

Note:

  1. L'esempio considera un mese di 30 giorni. Poiché la durata del carico di lavoro in batch è di un giorno, il tasso di archiviazione casuale mensile viene diviso per 30.

Se il carico di lavoro interattivo di Dataproc Serverless per Spark viene eseguito con 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) per 24 ore nella regione us-central1 e consuma 25 GB di spazio di archiviazione di shuffle, il calcolo del prezzo è il seguente:

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $25.632 + $0.03 = $25.662

Note:

  1. L'esempio considera un mese di 30 giorni. Poiché la durata del carico di lavoro in batch è di un giorno, il tasso di archiviazione casuale mensile viene diviso per 30.

Esempio di stima dei prezzi

Al completamento di un carico di lavoro batch, Dataproc Serverless per Spark calcola le UsageMetrics, che contengono un'approssimazione del numero totale di risorse DCU, acceleratore e di archiviazione di shuffle consumate dal carico di lavoro completato. Dopo aver eseguito un carico di lavoro, puoi eseguire il comando gcloud dataproc batches describe BATCH_ID per visualizzare le metriche sull'utilizzo del carico di lavoro, che ti aiutano a stimare il costo dell'esecuzione del carico di lavoro.

Esempio:

Dataproc Serverless per Spark esegue un carico di lavoro su un cluster temporaneo con un master e due worker. Ogni nodo consuma 4 unità di calcolo discreta (impostazione predefinita: 4 unità di calcolo discreta per core; vedi spark.dataproc.driver.disk.size) e 400 GB di spazio di archiviazione per il rimescolamento (impostazione predefinita: 100 GB per core; vedi spark.driver.cores). Il tempo di esecuzione del carico di lavoro è di 60 secondi. Inoltre, ogni worker ha 1 GPU per un totale di 2 nel cluster.

L'utente esegue gcloud dataproc batches describe BATCH_ID --region REGION per ottenere le metriche sull'utilizzo. L'output comando include il seguente snippet (milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 = 720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 = 120000 e shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):

runtimeInfo:
  approximateUsage:
    milliDcuSeconds: '720000'
    shuffleStorageGbSeconds: '72000'
    milliAcceleratorSeconds: '120000'

Utilizzo di altre risorse di Google Cloud

Il tuo carico di lavoro Dataproc Serverless per Spark può utilizzare facoltativamente le seguenti risorse, ognuna delle quali fatturata secondo i relativi prezzi, tra cui a titolo esemplificativo:

Passaggi successivi

Richiedi un preventivo personalizzato

Con i prezzi con pagamento a consumo di Google Cloud, paghi solo per i servizi che utilizzi. Per ricevere un preventivo personalizzato per la tua organizzazione, contatta il nostro team di vendita.
Contatta il team di vendita