Precios de Dataflow
En esta página se describen los precios de Dataflow. Para ver los precios de otros productos, consulta la documentación sobre precios.
Para obtener información sobre cómo puedes ahorrar un 40% con un compromiso de tres años o un 20% con un compromiso de un año, consulta nuestra página de descuentos por compromiso de uso (CUD).
Descripción general
El uso de Dataflow se factura por los recursos que usan tus trabajos. Según el modelo de precios que uses, los recursos se miden y facturan de manera diferente.
| Recursos de procesamiento de Dataflow | Recursos de procesamiento de Dataflow Prime |
|
Unidades de procesamiento de datos (DCU) (por lotes y de transmisión) |
Otros recursos de Dataflow que se facturan por todos los trabajos incluyen Persistent Disk, las GPU y las instantáneas.
Recursos de otros servicios pueden usarse para el trabajo de Dataflow. Los servicios que se usan con Dataflow pueden incluir BigQuery, Pub/Sub, Cloud Storage y Cloud Logging, entre otros.
Aunque la tarifa se basa en la hora, el uso de Dataflow se factura en incrementos por segundo por trabajo. El uso se expresa en horas para aplicar precios por hora al uso segundo por segundo. Por ejemplo, 30 minutos son 0.5 horas. Los trabajadores y los trabajos pueden consumir recursos según se describe en las siguientes secciones.
Las versiones futuras de Dataflow podrían tener cargos por servicio diferentes o agrupar servicios relacionados en paquetes.
Recursos de procesamiento de Dataflow
La facturación de Dataflow para los recursos de procesamiento incluye los siguientes componentes:
- CPU y memoria del trabajador
- Datos procesados de Dataflow Shuffle para cargas de trabajo por lotes
- Unidades de procesamiento de Streaming Engine
- Datos procesados de Streaming Engine
Para obtener más información sobre las regiones disponibles y sus zonas, consulta la página Regiones y zonas de Compute Engine.
CPU y memoria del trabajador
Cada trabajo de Dataflow usa al menos un trabajador de Dataflow. Este servicio ofrece dos tipos de trabajadores: lotes y transmisión. Los trabajadores por lotes y de transmisión tienen cargos del servicio independientes.
Los trabajadores de Dataflow consumen los siguientes recursos, que se facturan por segundo:
- CPU
- Memoria
Los trabajadores en transmisión y por lotes son recursos especializados que usan Compute Engine. Sin embargo, un trabajo de Dataflow no emite facturación de Compute Engine para los recursos de Compute Engine que administra el servicio de Dataflow. En cambio, los cargos por el servicio de Dataflow abarcan el uso de estos recursos de Compute Engine.
Puedes anular el recuento de trabajadores predeterminado para un trabajo. Si usas el ajuste de escala automático, puedes especificar la cantidad máxima de trabajadores que se asignarán a un trabajo. Los trabajadores y sus recursos respectivos se agregan y quitan automáticamente según la activación del ajuste de escala automático.
Además, puedes usar las opciones de canalización para anular la configuración de recursos predeterminada, como el tipo de máquina, el tipo y el tamaño del disco, que se asignan a cada trabajador y usan GPU.
FlexRS
Dataflow ofrece una opción de precios con descuento de CPU y memoria para el procesamiento por lotes. Flexible Resource Scheduling (FlexRS) combina VM interrumpibles y normales en un solo grupo de trabajadores de Dataflow para que los usuarios tengan acceso a recursos de procesamiento más económicos. Además, FlexRS retrasa la ejecución de un trabajo por lotes de Dataflow por un período de 6 horas a fin de identificar el mejor momento para iniciarlo según los recursos disponibles.
Aunque Dataflow usa una combinación de trabajadores para ejecutar un trabajo de FlexRS, se te factura una tarifa uniforme con descuento de alrededor del 40% en el costo de CPU y memoria en comparación con los precios normales de Dataflow, sin importar el tipo de trabajador. Para indicarle a Dataflow que use FlexRS en tus canalizaciones por lotes con ajuste de escala automático, debes especificar el parámetro de FlexRS.
Datos procesados con Dataflow Shuffle
Para las canalizaciones por lotes, Dataflow proporciona una función altamente escalable, Dataflow Shuffle, que redistribuye los datos sin usar trabajadores. Para obtener más información, consulta Dataflow Shuffle.
Dataflow Shuffle se cobra según el volumen de datos procesados durante la redistribución.
Precios de Streaming Engine
Para las canalizaciones de transmisión, Dataflow Streaming Engine traslada el procesamiento de la redistribución y el estado de la transmisión fuera de las VM de trabajador y lo envía al backend del servicio de Dataflow. Para obtener más información, consulta Streaming Engine.
Unidades de procesamiento de Streaming Engine
Con la facturación basada en recursos, los recursos de Streaming Engine se miden en unidades de procesamiento de Streaming Engine. Dataflow mide los recursos de Streaming Engine que usa cada trabajo y, luego, factura según los recursos totales que usa ese trabajo. Si quieres habilitar la facturación basada en recursos de tu trabajo, consulta Usa la facturación basada en recursos. Cuando usas la facturación basada en recursos, los descuentos existentes se aplican automáticamente.
Cuando usas Dataflow Prime con facturación basada en recursos, se te factura en función de los recursos totales que usa cada trabajo, pero se usa el SKU de unidad de procesamiento de datos (DCU) en lugar del SKU de unidad de procesamiento de Streaming Engine.
Datos procesados de Streaming Engine (heredados)
Dataflow continúa admitiendo la facturación heredada con procesamiento de datos. A menos que habilites la facturación basada en recursos, los trabajos se facturan mediante la facturación procesada con datos.
La facturación procesada con datos de Streaming Engine mide el uso según el volumen de los datos de transmisión procesados, que depende de los siguientes factores:
- El volumen de datos transferidos a tu canalización de transmisión
- La complejidad de la canalización
- La cantidad de etapas de canalización con operación de redistribución o con DoFn con estado
Entre los ejemplos de lo que se considera un byte procesado, se incluyen los siguientes elementos:
- Flujos de entrada de fuentes de datos
- Flujos de datos desde una etapa de canalización fusionada a otra etapa fusionada
- Flujos de datos que persisten en el estado definido por el usuario o que se usan para la renderización en ventanas
- Enviar mensajes de salida a receptores de datos, como a Pub/Sub o BigQuery
Precios de los recursos de procesamiento de Dataflow: por lotes y FlexRS
En la siguiente tabla, se incluyen los detalles de los precios de los recursos de trabajador y los datos de Shuffle procesados para trabajos por lotes y de FlexRS.
1 Valores predeterminados de los trabajadores por lotes: 1 CPU virtual, 3.75 GB de memoria, 250 GB de disco persistente si no se usa Dataflow Shuffle, 25 GB de disco persistente si se usa Dataflow Shuffle
2 Propiedades predeterminadas de los trabajadores FlexRS: 2 CPU virtuales, 7.50 GB de memoria, 25 GB de disco persistente por trabajador, con un mínimo de dos trabajadores
Precios de los recursos de procesamiento de Dataflow: transmisión
En la siguiente tabla, se incluyen detalles de los precios de los recursos de trabajadores, los datos procesados de Streaming Engine (heredados) y las unidades de procesamiento de Streaming Engine para trabajos de transmisión.
3 Valores predeterminados de los trabajadores de transmisión: 4 CPU virtuales, 15 GB de memoria, 400 GB de disco persistente si no usas Streaming Engine, 30 GB de disco persistente si usas Streaming Engine. En la actualidad, el servicio de Dataflow está limitado a 15 discos persistentes por instancia de trabajador cuando se ejecuta un trabajo de transmisión. Una proporción de 1:1 entre trabajadores y discos es la asignación de recursos mínima.
4 Los precios de Dataflow Shuffle se basan en los ajustes de volumen aplicados a la cantidad de datos procesados durante las operaciones de lectura y escritura mientras se redistribuye el conjunto de datos. Para obtener más información, consulta los detalles de precios de Dataflow Shuffle. Los precios de Dataflow Shuffle no se aplican a los trabajos de Streaming Engine que usan facturación basada en recursos.
5 Unidades de procesamiento de Streaming Engine: Para trabajos de transmisión que usan Streaming Engine y el modelo de facturación basado en recursos. A estos trabajos no se les facturan los datos procesados durante la redistribución.
Ajustes de volumen para los datos procesados de Dataflow Shuffle
Los cargos se calculan por trabajo de Dataflow a través de los ajustes de volumen aplicados a la cantidad total de datos procesados durante las operaciones de Dataflow Shuffle. Tu facturación actual por los datos procesados con Dataflow Shuffle es igual a que se te cobre el precio completo por un cantidad menor de datos en vez de la cantidad procesada por un trabajo de Dataflow. Esta diferencia hace que la métrica de datos procesados de Shuffle facturables sea menor que la métrica de datos de Shuffle totales procesados.
En la siguiente tabla, se explica cómo se aplican estos ajustes:
| Datos procesados de Dataflow Shuffle | Ajuste de facturación |
| Primeros 250 GB | Reducción del 75% |
| Siguientes 4,870 GB | Reducción del 50% |
| Datos restantes sobre 5,120 GB (5 TB) | ninguno |
Por ejemplo, si tu canalización consta de 1,024 GB (1 TB) de datos totales de Dataflow Shuffle procesados, el importe facturable se calcula de la siguiente manera:
250 GB * 25% + 774 GB * 50% = 449.5 GB * regional Dataflow Shuffle data processing rate
Si tu canalización consta de 10,240 GB (10 TB) de datos totales procesados con Dataflow Shuffle, la cantidad de datos facturable es la siguiente:
250 GB * 25% + 4870 GB * 50% + 5120 GB = 7617.5 GB
Precios de los recursos de procesamiento de Dataflow Prime
Dataflow Prime es una plataforma de procesamiento de datos que se basa en Dataflow para mejorar el uso de recursos y los diagnósticos distribuidos.
Los recursos de procesamiento que usa un trabajo de Dataflow Prime se cobran según la cantidad de unidades de procesamiento de datos (DCU). Las DCU representan los recursos de procesamiento que se asignan para ejecutar la canalización. Otros recursos de Dataflow que usan los trabajos de Dataflow Prime, como Persistent Disk, las GPU y las instantáneas, se facturan por separado.
Para obtener más información sobre las regiones disponibles y sus zonas, consulta la página Regiones y zonas de Compute Engine.
Unidad de procesamiento de datos
Una unidad de procesamiento de datos (DCU) es una unidad de medición de uso de Dataflow que hace un seguimiento de la cantidad de recursos de procesamiento que consumen tus trabajos. Los recursos con seguimiento de las DCU incluyen la CPU virtual, la memoria, los datos procesados con Dataflow Shuffle (para trabajos por lotes) y los datos procesados de Streaming Engine (para trabajos de transmisión). Los trabajos que consumen más recursos tienen más uso de DCU en comparación con los trabajos que consumen menos recursos. Una DCU se puede comparar con los recursos que usa un trabajo de Dataflow que se ejecuta durante una hora en un trabajador de 4 GB de 1 CPU virtual.
Facturación de unidades de procesamiento de datos
Se te factura por la cantidad total de DCU que consumió tu trabajo. El precio de un solo DCU varía según si tienes un trabajo por lotes o uno de transmisión. Cuando usas Dataflow Prime con facturación basada en recursos, se te factura en función del total de recursos usados, en lugar del proceso de bytes.
Optimiza el uso de unidades de procesamiento de datos
No puedes establecer la cantidad de DCU para tus trabajos. Dataflow Prime cuenta las DCU. Sin embargo, puedes reducir la cantidad de DCU consumidas si administras los siguientes aspectos de tu trabajo:
- Reduce el consumo de memoria
- Reducir la cantidad de datos procesados en pasos de redistribución a través de filtros, combinadores y codificadores eficientes
Para identificar estas optimizaciones, usa la interfaz de supervisión de Dataflow y la interfaz de detalles de ejecución.
¿En qué se diferencian los precios de Dataflow Prime de los de Dataflow?
En Dataflow, se te cobra por los recursos dispares que consumen los trabajos, como las CPU virtuales, la memoria, el Persistent Disk y la cantidad de datos que procesan Dataflow Shuffle o Streaming Engine.
Las unidades de procesamiento de datos consolidan todos los recursos, excepto el almacenamiento, en una sola unidad de medición. Se te factura por los recursos de Persistent Disk y la cantidad de DCU que se consuman según el tipo de trabajo, el lote o la transmisión. Para obtener más información, consulta Usa Dataflow Prime.
¿Qué sucederá con mis trabajos existentes que usan el modelo de precios de Dataflow?
Tus trabajos por lotes y de transmisión existentes se seguirán facturando con el modelo de Dataflow. Cuando actualices tus trabajos para usar Dataflow Prime, estos usarán el modelo de precios de Dataflow Prime, en el que se facturan los recursos de Persistent Disk y las DCU consumidas.
Otros recursos de Dataflow
El almacenamiento, las GPU, las instantáneas y otros recursos se facturan de la misma manera para Dataflow y Dataflow Prime.
Precios de los recursos de almacenamiento
Los recursos de almacenamiento se facturan con la misma tarifa para los trabajos de transmisión, por lotes y de FlexRS. Puedes usar las opciones de canalización para cambiar el tamaño o tipo de disco predeterminados. Dataflow Prime factura el Persistent Disk por separado según los precios de la siguiente tabla.
En la actualidad, el servicio de Dataflow está limitado a 15 discos persistentes por instancia de trabajador cuando se ejecuta un trabajo de transmisión. Cada disco persistente es local de una máquina virtual individual de Compute Engine. La asignación de recursos mínima es una proporción de 1:1 entre trabajadores y discos.
Los trabajos que usan Streaming Engine usan discos de arranque de 30 GB. Los trabajos que usan Dataflow Shuffle usan discos de arranque de 25 GB. Para los trabajos que no usan estas ofertas, el tamaño predeterminado de cada disco persistente es de 250 GB en modo por lotes y de 400 GB en modo de transmisión.
El uso de Compute Engine se basa en la cantidad promedio de trabajadores, mientras que el uso de Persistent Disk se basa en el valor exacto de --maxNumWorkers. Los discos persistentes se redistribuyen de modo que cada trabajador tenga el mismo número de discos conectados.
Precios de recursos de GPU
Los recursos de GPU se facturan con la misma tarifa para los trabajos de transmisión y por lotes. En la actualidad, FlexRS no admite GPU. Si deseas obtener información sobre las regiones y zonas disponibles para GPU, consulta la disponibilidad de regiones y zonas de GPU en la documentación de Compute Engine.
Instantáneas
Para ayudarte a administrar la confiabilidad de tus canalizaciones de transmisión, puedes usar instantáneas a fin de guardar y restablecer el estado de tu canalización. El uso de instantáneas se factura por el volumen de datos almacenados, que depende de los siguientes factores:
- El volumen de datos transferidos a tu canalización de transmisión
- Tu lógica de renderización en ventanas
- La cantidad de etapas de la canalización
Puedes tomar una instantánea de tu trabajo de transmisión con la consola de Dataflow o Google Cloud CLI. No se aplican cargos adicionales por crear un trabajo desde tu instantánea para restablecer el estado de tu canalización. Para obtener más información, consulta Usa instantáneas de Dataflow.
Precios de las instantáneas
Confidential VM
Confidential VM para Dataflow encripta los datos en uso en las VMs de trabajador de Compute Engine. Para obtener más detalles, consulta Conceptos de Confidential Computing.
El uso de Confidential VM para Dataflow genera costos fijos adicionales por CPU virtual y por GB.
Precios de Confidential VM
Los precios son globales y no cambian según la región de Google Cloud.
Recursos que no son de Dataflow
Además del uso de Dataflow, un trabajo podría consumir los siguientes recursos, cada uno facturado según sus propios precios, incluidos, sin limitaciones, los siguientes:
-
Los trabajos de Dataflow usan Cloud Storage para almacenar archivos temporales durante la ejecución de la canalización. Para evitar que se te facturen costos de almacenamiento innecesarios, desactiva la función de eliminación no definitiva en los buckets que usan tus trabajos de Dataflow para el almacenamiento temporal. Para obtener más información, consulta Quita una política de eliminación no definitiva de un bucket.
-
Puedes enrutar los registros a otros destinos o excluir registros de la transferencia. Si quieres obtener información sobre cómo optimizar el volumen de registros para tus trabajos de Dataflow, consulta cómo controlar el volumen de registros de Dataflow.
Ver uso de recursos
Puedes ver el total de CPU virtuales, memoria y recursos de Persistent Disk asociados con un trabajo en el panel Información del trabajo en Métricas de recursos. Puedes hacer un seguimiento de las siguientes métricas en la interfaz de supervisión de Dataflow:
- Tiempo total de CPU virtuales
- Tiempo de uso total de memoria
- Tiempo total de uso del disco persistente
- Total de datos de transmisión procesados (Total streaming data processed)
- Total de datos procesados de forma aleatoria
- Datos de Shuffle facturables procesados
Puedes usar la métrica Total Shuffle data Processing para evaluar el rendimiento de tu canalización y la métrica Datos de Shuffle facturables procesados para determinar los costos del trabajo de Dataflow.
Para Dataflow Prime, puedes ver la cantidad total de DCU que consume un trabajo en el panel Información del trabajo en Métricas de recursos.
Calculadora de precios
Usa la calculadora de precios de Google Cloud para comprender cómo se calcula tu factura.
Si pagas en una moneda distinta del dólar estadounidense, se aplican los precios que aparecen en tu moneda en Cloud Platform SKUs.
¿Qué sigue?
- Lee la documentación de Dataflow.
- Comienza a usar Dataflow.
- Prueba la calculadora de precios.
- Obtén información sobre las soluciones y los casos de uso de Dataflow.