Precios de Dataproc Serverless

Los precios de Dataproc Serverless para Spark se basan en la cantidad de unidades de procesamiento de datos (DCU), la cantidad de aceleradores usados y la cantidad de almacenamiento de Shuffle utilizado. Las DCU, los aceleradores y el almacenamiento aleatorio se facturan por segundo, con un cargo mínimo de 1 minuto para el almacenamiento de DCU y Shuffle, y un cargo mínimo de 5 minutos para los aceleradores.

Cada CPU virtual de Dataproc cuenta como 0.6 DCU. La RAM se carga de manera diferente por debajo y por encima de los 8 GB. Cada gigabyte de RAM por debajo de 8 G por CPU virtual cuenta como 0.1 DCU, y cada gigabyte de RAM por encima de 8 G gigabyte por CPU virtual cuenta como 0.2 DCU. La memoria que usan los controladores y ejecutores de Spark, y el uso de memoria del sistema, se cuentan en función del uso de DCU.

De forma predeterminada, cada carga de trabajo interactiva y por lotes de Dataproc Serverless para Spark consume un mínimo de 12 DCU para la duración de la carga de trabajo: el controlador usa 4 CPU virtuales y 16 GB de RAM, y consume 4 DCU, y cada uno de los 2 ejecutores usa 4 CPU virtuales y 16 GB de RAM, y consume 4 DCU. Puedes personalizar la cantidad de CPU virtuales y de memoria por CPU virtual si configuras las propiedades de Spark. No se aplican cargos adicionales por VMs de Compute Engine ni por Persistent Disk.

Precios de las unidades de procesamiento de datos (DCU)

La tarifa de DCU que se muestra a continuación corresponde a una tarifa por hora. Se prorratea y se factura por segundo, con un cargo mínimo de 1 minuto. Si pagas en una moneda distinta del dólar estadounidense, se aplican los precios que aparecen en tu moneda en SKU de Cloud Platform.

La carga de trabajo interactiva de Dataproc Serverless para Spark se cobra a Premium.

Precios de almacenamiento de Shuffle

La tarifa de almacenamiento aleatorio que se muestra a continuación es una tarifa mensual. Se prorratea y se factura por segundo, con un cargo mínimo de 1 minuto por el almacenamiento aleatorio estándar y un cargo mínimo de 5 minutos por el almacenamiento Shuffle premium. El almacenamiento aleatorio premium solo se puede usar con la unidad Premium de Compute.

Si pagas en una moneda distinta del dólar estadounidense, se aplican los precios que aparecen en tu moneda en SKU de Cloud Platform.

Precios del acelerador

La tarifa del acelerador que se muestra a continuación corresponde a una tarifa por hora. Se prorratea y se factura por segundo, con un cargo mínimo de 5 minutos. Si pagas en una moneda distinta del dólar estadounidense, se aplican los precios que aparecen en tu moneda en SKU de Cloud Platform.

Ejemplo de precios

Si la carga de trabajo por lotes de Dataproc Serverless para Spark se ejecuta con 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) durante 24 horas en la región us-central1 y consume 25 GB de almacenamiento aleatorio, el cálculo del precio es el siguiente.

Total compute cost = 12 * 24 * $0.060000 = $17.28
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $17.28 + $0.03 = $17.31

Notas:

  1. En este ejemplo, se supone que el mes tiene 30 días. Dado que la duración de la carga de trabajo por lotes es de un día, la tasa de almacenamiento aleatorio mensual se divide por 30.

Si la carga de trabajo por lotes de Dataproc Serverless para Spark se ejecuta con 12 DCU y 2 GPU L4 (spark.driver.cores=4, spark.executor.cores=4, spark.executor.instances=2, spark.dataproc.driver.compute.tier=premium, spark.dataproc.executor.compute.tier=premium, spark.dataproc.executor.disk.tier=premium y spark.dataproc.executor.resource.accelerator.type=l4) durante 24 horas en la región us-central1 y consume 25 GB de almacenamiento aleatorio, el cálculo del precio es el siguiente.

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.1/301) = $0.083
Total accelerator cost = 2 * 24 * $0.6720 = $48.39
------------------------------------------------
Total cost = $25.632 + $0.083 + $48.39 = $74.105

Notas:

  1. En este ejemplo, se supone que el mes tiene 30 días. Dado que la duración de la carga de trabajo por lotes es de un día, la tasa de almacenamiento aleatorio mensual se divide por 30.

Si la carga de trabajo interactiva de Dataproc Serverless para Spark se ejecuta con 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) durante 24 horas en la región us-central1 y consume 25 GB de almacenamiento aleatorio, el cálculo del precio es el siguiente:

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $25.632 + $0.03 = $25.662

Notas:

  1. En este ejemplo, se supone que el mes tiene 30 días. Dado que la duración de la carga de trabajo por lotes es de un día, la tasa de almacenamiento aleatorio mensual se divide por 30.

Ejemplo de estimación de precios

Cuando se completa una carga de trabajo por lotes, Dataproc Serverless para Spark calcula UsageMetrics, que contiene una aproximación del total de recursos de almacenamiento de DCU, acelerador y Shuffle que consume la carga de trabajo completada. Después de ejecutar una carga de trabajo, puedes ejecutar el comando gcloud dataproc batches describe BATCH_ID para ver las métricas de uso de la carga de trabajo a fin de estimar el costo de su ejecución.

Ejemplo:

Dataproc Serverless para Spark ejecuta una carga de trabajo en un clúster efímero con una instancia principal y dos trabajadores. Cada nodo consume 4 DCU (el valor predeterminado es 4 DCU por núcleo, consulta spark.dataproc.driver.disk.size) y 400 GB de almacenamiento aleatorio (el valor predeterminado es 100 GB por núcleo; consulta spark.driver.cores). El tiempo de ejecución de la carga de trabajo es de 60 segundos. Además, cada trabajador tiene 1 GPU, con un total de 2 en el clúster.

El usuario ejecuta gcloud dataproc batches describe BATCH_ID --region REGION para obtener métricas de uso. El resultado del comando incluye el siguiente fragmento (milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 = 720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 = 120000 y shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):

runtimeInfo:
  approximateUsage:
    milliDcuSeconds: '720000'
    shuffleStorageGbSeconds: '72000'
    milliAcceleratorSeconds: '120000'

Uso de otros recursos de Google Cloud

De manera opcional, tu carga de trabajo de Dataproc Serverless para Spark puede usar los siguientes recursos, que se facturan según sus propios precios, incluidos, sin limitaciones, los siguientes:

¿Qué sigue?

Solicita una cotización personalizada

Con los precios de pago por uso de Google Cloud, solo pagas por los servicios que usas. Comunícate con nuestro equipo de Ventas y obtén una cotización personalizada para tu organización.
Comunicarse con Ventas