Precios de Dataflow
En esta página se describen los precios de Dataflow. Para ver los precios de otros productos, consulta la documentación sobre precios.
Para saber cómo puedes ahorrar un 40% con un compromiso de tres años o un 20% con un compromiso de un año, consulta nuestra página de descuentos por compromiso de uso (CUD).
Descripción general
El uso de Dataflow se factura por los recursos que usan tus trabajos. Según el modelo de precios que uses, los recursos se miden y facturan de forma diferente.
| Recursos de procesamiento de Dataflow | Recursos de procesamiento de Dataflow Prime |
|
Unidades de procesamiento de datos (DCUs) (lotes y transmisión) |
Otros recursos de Dataflow que se facturan para todos los trabajos incluyen Persistent Disk, GPUs y instantáneas.
Es posible que se usen recursos de otros servicios para el trabajo de Dataflow. Los servicios que se usan con Dataflow pueden incluir BigQuery, Pub/Sub, Cloud Storage y Cloud Logging, entre otros.
Si bien la tarifa se establece por hora, el uso del servicio de Dataflow se factura en incrementos de un segundo por trabajo. El uso se expresa en horas para aplicar los precios por hora al uso por segundo. Por ejemplo, 30 minutos son 0.5 horas. Los trabajadores y los trabajos pueden consumir recursos, según se describe en las siguientes secciones.
Las versiones futuras de Dataflow podrían tener cargos por servicio diferentes o agrupar servicios relacionados en paquetes.
Recursos de procesamiento de Dataflow
La facturación de Dataflow para los recursos de procesamiento incluye los siguientes componentes:
- CPU y memoria del trabajador
- Datos procesados de Dataflow Shuffle para cargas de trabajo por lotes
- Unidades de procesamiento de Streaming Engine
- Datos procesados de Streaming Engine
Para obtener más información sobre las regiones disponibles y sus zonas, consulta la página de Compute Engine Regiones y zonas.
CPU y memoria del trabajador
Cada trabajo de Dataflow usa al menos un trabajador de Dataflow. Este servicio ofrece dos tipos de trabajadores: lotes y transmisión. Los trabajadores de transmisión y por lotes tienen cargos por el servicio diferentes.
Los trabajadores de Dataflow consumen los siguientes recursos, que se facturan por segundo:
- CPU
- Memoria
Los trabajadores en transmisión y por lotes son recursos especializados que usan Compute Engine. Sin embargo, un trabajo de Dataflow no emite facturación de Compute Engine para los recursos de Compute Engine que administra el servicio de Dataflow. En cambio, los cargos por el servicio de Dataflow abarcan el uso de estos recursos de Compute Engine.
Puedes anular el recuento de trabajadores predeterminado para un trabajo. Si usas el ajuste de escala automático, puedes especificar la cantidad máxima de trabajadores que se asignan a un trabajo. Los trabajadores y sus recursos se agregan y quitan automáticamente según la activación del ajuste de escala automático.
Además, puedes usar las opciones de canalización para anular la configuración de recursos predeterminada (como el tipo de máquina, el tipo de disco y el tamaño del disco) asignada a cada trabajador y que usa las GPU.
FlexRS
Dataflow ofrece una opción de precios con descuento para la CPU y la memoria, destinada al procesamiento por lotes. Flexible Resource Scheduling (FlexRS) combina VM interrumpibles y normales en un solo grupo de trabajadores de Dataflow para que los usuarios tengan acceso a recursos de procesamiento más económicos. Además, FlexRS retrasa la ejecución de un trabajo por lotes de Dataflow por un período de 6 horas a fin de identificar el mejor momento para iniciarlo según los recursos disponibles.
Aunque Dataflow usa una combinación de trabajadores para ejecutar un trabajo de FlexRS, se te cobrará una tarifa uniforme con descuento de alrededor del 40% en el costo de CPU y memoria en comparación con los precios normales de Dataflow, sin importar el tipo de trabajador. Para indicarle a Dataflow que use FlexRS en tus canalizaciones por lotes con ajuste de escala automático, debes especificar el parámetro de FlexRS.
Datos procesados con Dataflow Shuffle
Para las canalizaciones por lotes, Dataflow proporciona una función altamente escalable, Dataflow Shuffle, que reorganiza los datos sin usar trabajadores. Para obtener más información, consulta Dataflow Shuffle.
Dataflow Shuffle se cobra según el volumen de datos procesados durante el proceso de shuffle.
Precios de Streaming Engine
Para las canalizaciones de transmisión, Dataflow Streaming Engine traslada el procesamiento de la redistribución y el estado de las transmisiones fuera de las VMs de trabajador y lo envía al backend del servicio de Dataflow. Para obtener más información, consulta Motor de transmisión.
Unidades de procesamiento de Streaming Engine
Con la facturación basada en recursos, los recursos de Streaming Engine se miden en unidades de procesamiento de Streaming Engine. Dataflow mide los recursos de Streaming Engine que usa cada trabajo y, luego, factura según los recursos totales que usa ese trabajo. Para habilitar la facturación basada en recursos para tu trabajo, consulta Usar la facturación basada en recursos. Cuando usas la facturación basada en recursos, los descuentos existentes se aplican automáticamente.
Cuando usas Dataflow Prime con facturación basada en recursos, se te factura en función de los recursos totales que usa cada trabajo, pero se usa el SKU de la unidad de procesamiento de datos (DCU) en lugar del SKU de la unidad de procesamiento de Streaming Engine.
Datos procesados de Streaming Engine (heredado)
Dataflow sigue admitiendo la facturación de procesamiento de datos heredado. A menos que habilites la facturación basada en recursos, los trabajos se facturan a través de la facturación por datos procesados.
La facturación de datos procesados de Streaming Engine mide el uso según el volumen de datos de transmisión procesados, que depende de los siguientes factores:
- El volumen de datos transferidos a tu canalización de transmisión
- La complejidad de la canalización
- La cantidad de etapas de canalización con operaciones de baraja o con DoFns con estado
Los siguientes elementos son ejemplos de lo que se considera un byte procesado:
- Flujos de entrada de fuentes de datos
- Flujos de datos de una etapa de canalización fusionada a otra etapa fusionada
- Flujos de datos que persisten en el estado definido por el usuario o que se usan para los sistemas de ventanas
- Salida de mensajes a receptores de datos, como Pub/Sub o BigQuery
Precios de los recursos de procesamiento de Dataflow: lotes y FlexRS
La siguiente tabla contiene detalles de precios para los recursos de trabajadores y los datos de Shuffle procesados para trabajos por lotes y FlexRS.
1 Propiedades predeterminadas de los trabajadores por lotes: 1 CPU virtual, 3.75 GB de memoria, 250 GB de disco persistente si no se usa el mezclador de Dataflow, 25 GB de disco persistente si se usa el Dataflow Shuffle
2 Propiedades predeterminadas de los trabajadores FlexRS: 2 CPU virtuales, 7.50 GB de memoria, 25 GB de disco persistente por trabajador, con un mínimo de dos trabajadores
Precios de los recursos de procesamiento de Dataflow: transmisión
La siguiente tabla contiene detalles de precios para los recursos de los trabajadores, los datos procesados de Streaming Engine (heredados) y las unidades de procesamiento de Streaming Engine para trabajos de transmisión.
3 Propiedades predeterminadas de los trabajadores de transmisión: 4 CPU virtuales, 15 GB de memoria, 400 GB de disco persistente si no se usa Streaming Engine, 30 GB de disco persistente si se usa Streaming Engine. En la actualidad, el servicio de Dataflow está limitado a 15 discos persistentes por instancia de trabajador cuando se ejecuta un trabajo de transmisión. Una proporción de 1:1 entre trabajadores y discos es la asignación de recursos mínima.
4 Los precios de Dataflow Shuffle dependen de los ajustes de volumen que se aplican a la cantidad de datos procesados durante las operaciones de lectura y escritura mientras se reorganiza tu conjunto de datos. Para obtener más información, consulta los detalles de precios de Dataflow Shuffle. Los precios de Dataflow Shuffle no se aplican a los trabajos de Streaming Engine que usan la facturación basada en recursos.
5 unidades de procesamiento de Streaming Engine: para trabajos de transmisión que usan Streaming Engine y el modelo de facturación basada en recursos. Estos trabajos no se facturan por los datos procesados durante el reordenamiento.
Ajustes de volumen para los datos procesados con Dataflow Shuffle
Los cobros se calculan por trabajo de Dataflow a través de los ajustes de volumen que se aplicaron a la cantidad total de datos procesados durante las operaciones de Dataflow Shuffle. Tu facturación actual por los datos procesados con Dataflow Shuffle es igual a que se te cobre el precio completo por un cantidad menor de datos en vez de la cantidad procesada por un trabajo de Dataflow. Esta diferencia hace que la métrica de datos de shuffle procesados facturables sea menor que la métrica de datos de shuffle procesados totales.
En la siguiente tabla, se explica cómo se aplican estos ajustes:
| Datos procesados de Dataflow Shuffle | Ajuste de facturación |
| Primeros 250 GB | Reducción del 75% |
| Siguientes 4,870 GB | Reducción del 50% |
| Datos restantes sobre 5,120 GB (5 TB) | ninguno |
Por ejemplo, si tu canalización consta de 1,024 GB (1 TB) de datos procesados con Dataflow Shuffle, la cantidad facturable se calcula de la siguiente manera:
250 GB * 25% + 774 GB * 50% = 449.5 GB * regional Dataflow Shuffle data processing rate
Si el resultado de tu canalización es 10,240 GB (10 TB) de datos procesados en total con Dataflow Shuffle, entonces la cantidad facturable sería:
250 GB * 25% + 4870 GB * 50% + 5120 GB = 7617.5 GB
Precios de los recursos de procesamiento de Dataflow Prime
Dataflow Prime es una plataforma de procesamiento de datos que se basa en Dataflow para mejorar el uso de recursos y los diagnósticos distribuidos.
Los recursos de procesamiento que usa un trabajo de Dataflow Prime se cobran según la cantidad de unidades de procesamiento de datos (DCU). Las DCU representan los recursos de procesamiento que se asignan para ejecutar la canalización. Otros recursos de Dataflow que usan los trabajos de Dataflow Prime, como Persistent Disk, GPUs y instantáneas, se facturan por separado.
Para obtener más información sobre las regiones disponibles y sus zonas, consulta la página de Compute Engine Regiones y zonas.
Unidad de procesamiento de datos
Una unidad de procesamiento de datos (DCU) es una unidad de medición de uso de Dataflow que realiza un seguimiento de la cantidad de recursos de procesamiento que consumen tus trabajos. Los recursos que siguen las DPU incluyen CPU virtuales, memoria, datos procesados con Dataflow Shuffle (para trabajos por lotes) y datos procesados de Streaming Engine (para trabajos de transmisión). Los trabajos que consumen más recursos tienen un uso de DCU mayor en comparación con los trabajos que consumen menos recursos. Una DCU es comparable a los recursos que usa un trabajo de Dataflow que se ejecuta durante una hora en un trabajador de 1 CPU virtual y 4 GB.
Facturación de unidades de procesamiento de datos
Se te factura por la cantidad total de DCUs que consume tu trabajo. El precio de una sola DCU varía según si tienes un trabajo por lotes o de transmisión. Cuando usas Dataflow Prime con la facturación basada en recursos, se te factura en función de los recursos totales usados en lugar de los bytes procesados.
Optimiza el uso de unidades de procesamiento de datos
No puedes establecer la cantidad de DCUs para tus trabajos. Las DCU se cuentan por Dataflow Prime. Sin embargo, puedes reducir la cantidad de DCUs consumidas si administras los siguientes aspectos de tu trabajo:
- Reduce el consumo de memoria
- Reducción de la cantidad de datos procesados en la redistribución de pasos mediante filtros, combinadores y codificadores eficientes
Para identificar estas optimizaciones, usa la interfaz de supervisión de Dataflow y la interfaz de detalles de la ejecución.
¿En qué se diferencian los precios de Dataflow Prime de los de Dataflow?
En Dataflow, se te cobra por los distintos recursos que consumen los trabajos, como las CPU virtuales, la memoria, Persistent Disk y la cantidad de datos que procesa Dataflow Shuffle o Streaming Engine.
Las unidades de procesamiento de datos consolidan todos los recursos, excepto el almacenamiento, en una sola unidad de medición. Se te facturarán los recursos de Persistent Disk y la cantidad de DCUs consumidas en función del tipo de trabajo, por lotes o transmisión. Para obtener más información, consulta Usa Dataflow Prime.
¿Qué sucede con mis trabajos existentes que usan el modelo de precios de Dataflow?
El modelo de Dataflow seguirá facturando tus trabajos de transmisión y por lotes existentes. Cuando actualices tus trabajos para usar Dataflow Prime, los trabajos usarán el modelo de precios de Dataflow Prime, en el que se facturan los recursos de Persistent Disk y las DPU consumidas.
Otros recursos de Dataflow
El almacenamiento, las GPU, las instantáneas y otros recursos se facturan de la misma manera para Dataflow y Dataflow Prime.
Precios de los recursos de almacenamiento
Los recursos de almacenamiento se facturan con la misma tarifa para los trabajos de transmisión, por lotes y FlexRS. Puedes usar las opciones de la canalización para cambiar el tamaño o el tipo de disco predeterminado. Dataflow Prime factura el Persistent Disk por separado según los precios de la siguiente tabla.
En la actualidad, el servicio de Dataflow está limitado a 15 discos persistentes por instancia de trabajador cuando se ejecuta un trabajo de transmisión. Cada disco persistente pertenece a una máquina virtual de Compute Engine individual. Una proporción de 1:1 entre trabajadores y discos es la asignación de recursos mínima.
Los trabajos que usan Streaming Engine usan discos de arranque de 30 GB. Los trabajos que usan Dataflow Shuffle usan discos de arranque de 25 GB. El tamaño predeterminado para cada disco persistente que no usa estas ofertas es de 250 GB en modo por lotes y 400 GB en modo de transmisión.
El uso de Compute Engine se basa en el número promedio de trabajadores, mientras que el uso de Persistent Disk se basa en el número exacto de --maxNumWorkers. Los discos persistentes
se redistribuyen de modo que cada trabajador obtenga el mismo número de discos adjuntos.
Precios de los recursos de GPU
Los recursos de GPU se facturan con la misma tarifa para los trabajos de transmisión y por lotes. Por el momento, FlexRS no admite GPUs. Para obtener información sobre las regiones y zonas disponibles para GPU, consulta Disponibilidad de regiones y zonas de GPU en la documentación de Compute Engine.
Instantáneas
Para ayudarte a administrar la confiabilidad de tus canalizaciones de transmisión, puedes usar instantáneas para guardar y restablecer el estado de tu canalización. El uso de instantáneas se factura por el volumen de datos almacenados, que depende de los siguientes factores:
- El volumen de datos transferidos a tu canalización de transmisión
- Tu lógica de ventanas
- La cantidad de etapas de la canalización
Puedes tomar una instantánea de tu trabajo de transmisión con la consola de Dataflow o Google Cloud CLI. No se aplican cargos adicionales por crear un trabajo desde tu instantánea para restablecer el estado de tu canalización. Para obtener más información, consulta Usa instantáneas de Dataflow.
Precios de las instantáneas
Confidential VM
Las Confidential VMs para Dataflow encriptan los datos en uso en las VMs de trabajadores de Compute Engine. Para obtener más detalles, consulta la Descripción general de Confidential VMs.
El uso de Confidential VM para Dataflow genera costos fijos adicionales por CPU virtual y por GB.
Precios de Confidential VM
Los precios son globales y no cambian según la región de Google Cloud.
Recursos que no son de Dataflow
Además del uso de Dataflow, un trabajo podría consumir los siguientes recursos, que se facturan según sus precios correspondientes:
-
Los trabajos de Dataflow usan Cloud Storage para almacenar archivos temporales durante la ejecución de la canalización. Para evitar que se te facturen costos de almacenamiento innecesarios, desactiva la función de borrar de forma no definitiva en los buckets que usan tus trabajos de Dataflow para el almacenamiento temporal. Para obtener más información, consulta Quita una política de eliminación no definitiva de un bucket.
-
Puedes enrutar registros a otros destinos o excluirlos de la transferencia. Para obtener información sobre cómo optimizar el volumen de registro de tus trabajos de Dataflow, consulta Controla el volumen de registro de Dataflow.
Visualiza el uso de recursos
Puedes ver el total de recursos de Persistent Disk, CPU virtuales y memoria asociados a un trabajo en el panel Info del trabajo en Métricas de recursos. Puedes hacer un seguimiento de las siguientes métricas en la interfaz de Dataflow Monitoring:
- Tiempo total de CPU virtuales
- Tiempo de uso de memoria total
- Tiempo de uso total del disco persistente
- Total de datos de transmisión procesados (Total streaming data processed)
- Total de datos procesados con Shuffle
- Datos procesados con Shuffle facturables
Puedes usar la métrica Total shuffle data processed para evaluar el rendimiento de tu canalización y la métrica Billable shuffle data processed para determinar los costos del trabajo de Dataflow.
En el caso de Dataflow Prime, puedes ver la cantidad total de DCUs que consume un trabajo en el panel Job info en Resource metrics.
Calculadora de precios
Usa la calculadora de precios de para comprender cómo se calcula tu factura.
Si pagas en una moneda distinta del dólar estadounidense, se aplican los precios que aparecen en tu moneda en SKU de Google Cloud.
¿Qué sigue?
- Lee la documentación de Dataflow.
- Comienza a usar Dataflow.
- Prueba la calculadora de precios.
- Obtén información sobre las soluciones y los casos de uso de Dataflow.