En la siguiente tabla, se incluyen los detalles de precios de los recursos de trabajador y los datos de Shuffle procesados para Batch.

En la siguiente tabla, se incluyen los detalles de los precios de los recursos de trabajador y los datos de Shuffle procesados para los trabajos de FlexRS.

Precios de los recursos de procesamiento de Dataflow: transmisión

En la siguiente tabla, se incluyen los detalles de precios de los recursos de trabajadores, los datos procesados de Streaming Engine (heredado) y las unidades de procesamiento de Streaming Engine para trabajos de transmisión.

Ajustes de volumen para los datos procesados con Dataflow Shuffle

Los cobros se calculan por trabajo de Dataflow a través de los ajustes de volumen que se aplicaron a la cantidad total de datos procesados durante las operaciones de Dataflow Shuffle. Tu facturación actual por los datos procesados con Dataflow Shuffle es igual a que se te cobre el precio completo por un cantidad menor de datos en vez de la cantidad procesada por un trabajo de Dataflow. Esta diferencia hace que la métrica de datos de shuffle facturables procesados sea menor que la métrica de datos de shuffle totales procesados.

En la siguiente tabla, se explica cómo se aplican estos ajustes:

Dataflow Prime es una plataforma de procesamiento de datos que se basa en Dataflow para mejorar el uso de recursos y los diagnósticos distribuidos.

Los recursos de procesamiento que usa un trabajo de Dataflow Prime se cobran según la cantidad de unidades de procesamiento de datos (DCUs). Las DCU representan los recursos de procesamiento que se asignan para ejecutar la canalización. Otros recursos de Dataflow que usan los trabajos de Dataflow Prime, como discos persistentes, GPUs y snapshots, se facturan por separado.

Para obtener más información sobre las regiones disponibles y sus zonas, consulta la página Regiones y zonas de Compute Engine.

Unidad de procesamiento de datos

Una unidad de procesamiento de datos (DCU) es una unidad de medición de uso de Dataflow que realiza un seguimiento de la cantidad de recursos de procesamiento que consumen tus trabajos. Los recursos que rastrean las DCU incluyen CPU virtual, memoria, datos procesados con Dataflow Shuffle (para trabajos por lotes) y datos procesados con Streaming Engine (para trabajos de transmisión). Los trabajos que consumen más recursos tienen un uso mayor de DCU en comparación con los trabajos que consumen menos recursos. Una DCU es comparable a los recursos que usa un trabajo de Dataflow que se ejecuta durante una hora en un trabajador de 1 CPU virtual y 4 GB.

Facturación de la unidad de procesamiento de datos

Se te factura por la cantidad total de DCU que consume tu trabajo. El precio de una sola DCU varía según si tienes un trabajo por lotes o un trabajo de transmisión. Cuando usas Dataflow Prime con facturación basada en recursos, se te factura en función de los recursos totales usados en lugar de los bytes procesados.

Optimiza el uso de unidades de procesamiento de datos

No puedes establecer la cantidad de DCU para tus trabajos. Dataflow Prime cuenta las DCU. Sin embargo, puedes reducir la cantidad de DCU consumidas si administras los siguientes aspectos de tu trabajo:

• Reducir el consumo de memoria
• Reducción de la cantidad de datos procesados en la redistribución de pasos mediante filtros, combinadores y codificadores eficientes

Para identificar estas optimizaciones, usa la interfaz de supervisión de Dataflow y la interfaz de detalles de la ejecución.

¿En qué se diferencian los precios de Dataflow Prime con los precios de Dataflow?

En Dataflow, se te cobra por los distintos recursos que consumen los trabajos, como CPUs virtuales, memoria, Persistent Disk y la cantidad de datos que procesa Dataflow Shuffle o Streaming Engine.

Las unidades de procesamiento de datos consolidan todos los recursos, excepto el almacenamiento, en una sola unidad de medición. Se te facturan los recursos de Persistent Disk y la cantidad de DCU consumidas en función del tipo de trabajo, por lotes o transmisión. Para obtener más información, consulta Usa Dataflow Prime.

¿Qué sucede con mis trabajos existentes que usan el modelo de precios de Dataflow?

El modelo de Dataflow seguirá facturando tus trabajos de transmisión y por lotes existentes. Cuando actualices tus trabajos para usar Dataflow Prime, los trabajos usarán el modelo de precios de Dataflow Prime, en el que se facturan los recursos de Persistent Disk y las DCU consumidas.

El almacenamiento, las GPUs, las instantáneas y otros recursos se facturan de la misma manera para Dataflow y Dataflow Prime.

Precios de los recursos de almacenamiento

Los recursos de almacenamiento se facturan con la misma tarifa para los trabajos de transmisión, por lotes y FlexRS. Puedes usar opciones de canalización para cambiar el tamaño o el tipo de disco predeterminado. Dataflow Prime factura el Persistent Disk por separado según los precios de la siguiente tabla.

En la actualidad, el servicio de Dataflow está limitado a 15 discos persistentes por instancia de trabajador cuando se ejecuta un trabajo de transmisión. Cada disco persistente pertenece a una máquina virtual de Compute Engine individual. Una proporción de 1:1 entre trabajadores y discos es la asignación de recursos mínima.

Los trabajos que usan Streaming Engine usan discos de arranque de 30 GB. Los trabajos que usan Dataflow Shuffle usan discos de arranque de 25 GB. El tamaño predeterminado para cada disco persistente que no usa estas ofertas es de 250 GB en modo por lotes y 400 GB en modo de transmisión.

El uso de Compute Engine se basa en el número promedio de trabajadores, mientras que el uso de discos persistentes se basa en el valor exacto de --maxNumWorkers. Los discos persistentes se redistribuyen de modo que cada trabajador obtenga el mismo número de discos adjuntos.

Precios de recursos de GPU

Los recursos de GPU se facturan con la misma tarifa para los trabajos de transmisión y por lotes. Por el momento, FlexRS no admite GPUs. Para obtener información sobre las regiones y zonas disponibles para GPU, consulta Disponibilidad de regiones y zonas de GPU en la documentación de Compute Engine.

Precios de los recursos de TPU

Los recursos de TPU se facturan con la misma tarifa para los trabajos de transmisión y por lotes. Como los precios de Dataflow para TPU incluyen el costo de las TPU, la CPU virtual y la memoria, los trabajadores de TPU no incurren en cargos separados de CPU virtual y memoria en Dataflow. Además, FlexRS no admite TPUs en este momento. Para obtener información sobre las regiones y zonas disponibles para TPU, consulta Regiones y zonas de TPU en la documentación de Compute Engine. Para usar TPU en Dataflow, comunícate con tu equipo de cuentas.

Primas de administración para reservas de GPU/TPU

Cuando usas reservas de GPU o TPU de Compute Engine específicamente orientadas con Dataflow, se te factura según los precios de Compute Engine, incluidos los descuentos por compromiso de uso (CUD) aplicables. También se te cobra una prima de administración por los recursos de procesamiento consumidos en Dataflow. Para obtener más detalles, consulta Usa reservas de Compute Engine con Dataflow.

A continuación, se muestra una tabla que contiene las primas de administración para los recursos de procesamiento consumidos mientras se usan las reservas de GPU o TPU de Compute Engine en Dataflow. Ten en cuenta que los descuentos por compromiso de uso (CUD) de transmisión de Dataflow solo se aplican a las primas de administración de CPU y memoria para trabajos de transmisión.

Primas de administración para reservas de GPU/TPU: transmisión

Primas de administración para reservas de GPU y TPU: por lotes, GPU y TPU

Instantáneas

Para ayudarte a administrar la confiabilidad de tus canalizaciones de transmisión, puedes usar instantáneas para guardar y restablecer el estado de tu canalización. El uso de instantáneas se factura por el volumen de datos almacenados, que depende de los siguientes factores:

• El volumen de datos transferidos a tu canalización de transmisión
• Tu lógica de ventanas
• La cantidad de etapas de canalización

Puedes tomar una instantánea de tu trabajo de transmisión con la consola de Dataflow o Google Cloud CLI. No se aplican cargos adicionales por crear un trabajo desde tu instantánea para restablecer el estado de tu canalización. Para obtener más información, consulta Usa instantáneas de Dataflow.

Precios de las instantáneas

Confidential VM

Confidential VM para Dataflow encripta los datos en uso en las VMs de trabajador de Compute Engine. Para obtener más detalles, consulta Descripción general de Confidential VM.

El uso de Confidential VM para Dataflow genera costos fijos adicionales por CPU virtual y por GB.

Precios de Confidential VM

Los precios son globales y no cambian según la región de Google Cloud.

Además del uso de Dataflow, un trabajo puede consumir los siguientes recursos, que se facturan según sus precios correspondientes:

• Cloud Storage: Los trabajos de Dataflow usan Cloud Storage para almacenar archivos temporales durante la ejecución de la canalización. Para evitar cobros por costos de almacenamiento innecesarios, desactiva la función de eliminación no definitiva en los buckets que usan tus trabajos de Dataflow para almacenamiento temporal. Para obtener más información, consulta Quita una política de eliminación no definitiva de un bucket.
• Pub/Sub
• Datastore
• Bigtable
• BigQuery
• VPC
• Cloud Logging: Puedes enrutar registros a otros destinos o excluirlos de la transferencia. Para obtener información sobre cómo optimizar el volumen de registro de tus trabajos de Dataflow, consulta Controla el volumen de registro de Dataflow.

Puedes ver el total de recursos de discos persistentes, CPU virtuales y memoria asociados a un trabajo en el panel Información del trabajo en Métricas de recursos. Puedes hacer un seguimiento de las siguientes métricas en la interfaz de supervisión de Dataflow:

• Tiempo total de CPU virtuales
• Tiempo total de uso de la memoria
• Tiempo total de uso del Persistent Disk
• Total de datos de transmisión procesados (Total streaming data processed)
• Total de datos procesados con Shuffle
• Datos procesados con Shuffle facturables

Puedes usar la métrica Total de datos procesados con Shuffle para evaluar el rendimiento de tu canalización y la métrica Datos procesados con Shuffle facturables para determinar los costos del trabajo de Dataflow.

En Dataflow Prime, puedes ver la cantidad total de DCU que consumió un trabajo en el panel Información del trabajo en Métricas de recursos.

Usa la calculadora de precios de Google Cloud para comprender cómo se calcula tu factura.

Si pagas en una moneda distinta del dólar estadounidense, se aplican los precios que aparecen en tu moneda en los SKU de Cloud Platform.