Preços do Dataflow
Nesta página estão os preços do Dataflow. Para saber os preços de outros produtos, leia a documentação de preços.
Para saber como economizar 40% com um compromisso de três anos ou 20% com um compromisso de um ano, consulte nossa página de descontos por compromisso de uso (CUDs).
Visão geral
O uso do Dataflow é cobrado pelos recursos que seus jobs usam. Dependendo do modelo de preços que você usa, os recursos são medidos e cobrados de maneira diferente.
| Recursos de computação do Dataflow | Recursos de computação do Dataflow Prime |
|
Unidades de computação de dados (DCUs) (lote e streaming) |
Outros recursos do Dataflow cobrados para todos os jobs incluem Persistent Disk, GPUs e snapshots.
Recursos de outros serviços podem ser usados para o job do Dataflow. Os serviços usados com o Dataflow podem incluir BigQuery, Pub/Sub, Cloud Storage e Cloud Logging, entre outros.
A taxa de preços é baseada na hora, mas o uso do Dataflow é cobrado em incrementos por segundo para cada job. O uso é mostrado em horas para aplicar o preço por hora ao uso de segundo a segundo. Por exemplo, 30 minutos são 0,5 hora. Os workers e jobs consomem recursos conforme descrito nas seções a seguir.
Futuras versões do Dataflow podem ter taxas de serviço diferentes ou agrupamento de serviços relacionados.
Recursos de computação do Dataflow
O faturamento do Dataflow para recursos de computação inclui os seguintes componentes:
- CPU e memória do worker
- Dados do Dataflow Shuffle processados para cargas de trabalho em lote
- Unidades de computação do Streaming Engine
- Dados processados do Streaming Engine
Para mais informações sobre as regiões disponíveis e as zonas delas, consulte a página Regiões e zonas do Compute Engine.
CPU e memória do worker
Cada job do Dataflow usa pelo menos um worker do Dataflow. Há dois tipos deles: em lote e por streaming, Os workers em lote e por streaming têm taxas de serviço separadas.
Os workers do Dataflow consomem os recursos a seguir, todos cobrados por segundo:
- CPU
- Memória
Os workers em lote e por streaming são recursos especializados que utilizam o Compute Engine. No entanto, um job do Dataflow não emite o faturamento para recursos do Compute Engine gerenciados pelo serviço do Dataflow. Em vez disso, as cobranças de serviço do Dataflow incluem o uso desses recursos do Compute Engine.
É possível modificar a contagem de workers padrão de um job. Se você estiver usando o escalonamento automático, especifique o número máximo de workers a serem alocados para um job. Os workers e os respectivos recursos são adicionados e removidos automaticamente com base na atuação do escalonamento automático.
Além disso, é possível usar opções de pipeline para substituir as configurações de recursos padrão, como tipo de máquina, tipo e tamanho do disco, que são alocados para cada worker e que usam GPUs.
FlexRS
O Dataflow oferece uma opção de preço com desconto para CPU e memória para processamento em lote. O Flexible Resource Scheduling (FlexRS) combina VMs preemptivas e comuns em um único pool de workers do Dataflow. Isso oferece aos usuários acesso a recursos de processamento mais baratos. O FlexRS também atrasa a execução de um job em lote do Dataflow em uma janela de seis horas para identificar o melhor momento para iniciar o job com base nos recursos disponíveis.
Embora o Dataflow use uma combinação de workers para executar um job do FlexRS, será cobrada uma taxa de desconto uniforme de cerca de 40% no custo de CPU e memória em comparação com os preços normais do Dataflow, independentemente do tipo de worker. Especifique o parâmetro do FlexRS para instruir o Dataflow a usar o FlexRS nos pipelines de lote com escalonamento automático.
Dados processados do Dataflow Shuffle
Para pipelines em lote, o Dataflow fornece um recurso altamente escalonável, o Dataflow Shuffle, que embaralha os dados fora dos workers. Para mais informações, consulte Dataflow Shuffle.
O Dataflow Shuffle cobra pelo volume de dados processados durante o embaralhamento.
Preços do Streaming Engine
Para pipelines de streaming, o Dataflow Streaming Engine migra o embaralhamento de streaming e o processamento de estado das VMs de worker para o back-end do serviço do Dataflow. Para mais informações, consulte Streaming Engine.
Unidades de computação do Streaming Engine
Com o faturamento baseado em recursos, os recursos do Streaming Engine são medidos em unidades de computação do Streaming Engine. O Dataflow mede os recursos do Streaming Engine que cada job usa e cobra com base no total de recursos usados por esse job. Para ativar o faturamento baseado em recursos do job, consulte Usar o faturamento baseado em recursos. Quando você usa o faturamento baseado em recursos, os descontos atuais são aplicados automaticamente.
Quando você usa o Dataflow Prime com faturamento baseado em recursos, a cobrança é feita com base no total de recursos usados por cada job, mas a SKU da Unidade de computação de dados (DCU) é usada em vez da SKU do Streaming Engine.
Dados processados do Streaming Engine (legado)
O Dataflow continua oferecendo suporte ao faturamento processado por dados legados. A menos que você ative o faturamento baseado em recursos, os jobs serão faturados usando o faturamento processado com dados.
O faturamento processado por dados do Streaming Engine mede o uso pelo volume de dados de streaming processados, o que depende dos seguintes fatores:
- O volume de dados ingeridos no pipeline de streaming
- A complexidade do pipeline
- o número de estágios do pipeline com operação de embaralhamento ou com DoFns com estado;
Confira alguns exemplos do que conta como um byte processado:
- Fluxos de entrada de fontes de dados
- Fluxos de dados de um estágio de pipeline combinado para outro
- Fluxos de dados mantidos no estado definido pelo usuário ou usados para janelamento
- Enviar mensagens para coletores de dados, como o Pub/Sub ou o BigQuery
Preços de recursos de computação do Dataflow: lote e FlexRS
A tabela a seguir contém detalhes de preços para recursos de worker e dados de embaralhamento processados para jobs em lote e FlexRS.
1 Padrões do worker em lote: 1 vCPU, memória de 3,75 GB, disco permanente de 250 GB se não estiver usando o Dataflow Shuffle, disco permanente de 25 GB se estiver usando o Dataflow Shuffle
2 Padrões do worker no FlexRS: 2 vCPUs, 7,50 GB de memória, disco permanente de 25 GB por worker, com um mínimo de dois workers
Preços dos recursos de computação do Dataflow: streaming
A tabela a seguir contém detalhes de preços de recursos do worker, dados processados do Streaming Engine (legados) e unidades de computação do Streaming Engine para jobs de streaming.
3 Padrões do worker no streaming: 4 vCPUs, memória de 15 GB, disco permanente de 400 GB se você não usar o Streaming Engine e disco permanente de 30 GB se estiver usando o Streaming Engine. No momento, o serviço Dataflow está limitado a 15 discos permanentes por instância de worker ao executar um job de streaming. A proporção de 1:1 entre workers e discos é a cota mínima de recursos.
4 Os preços do Dataflow Shuffle são baseados nos ajustes de volume aplicados à quantidade de dados processados durante operações de leitura e gravação no embaralhamento do conjunto de dados. Para mais informações, consulte Detalhes de preços do Dataflow Shuffle. Os preços do Dataflow Shuffle não se aplicam a jobs do Streaming Engine que usam faturamento baseado em recursos.
5 Unidades de computação do Streaming Engine: para jobs de streaming que usam o Streaming Engine e o modelo de faturamento baseado em recursos. Esses jobs não são cobrados pelos dados processados durante o embaralhamento.
Ajustes de volume para dados processados no Dataflow Shuffle
As cobranças são calculadas por job do Dataflow por meio de ajustes de volume aplicados à quantidade total de dados processados durante as operações do Dataflow Shuffle. O faturamento real dos dados processados no Dataflow Shuffle equivale ao preço total cobrado por uma quantidade menor de dados, e não ao total processado por um job do Dataflow. Essa diferença faz com que a métrica de dados de embaralhamento processados faturáveis seja menor do que a métrica de dados de embaralhamento totais processados.
Na tabela a seguir, explicamos como esses ajustes são aplicados:
| Dados processados do Dataflow Shuffle | Ajuste de faturamento |
| Primeiros 250 GB | Redução de 75% |
| Próximos 4.870 GB | Redução de 50% |
| Dados restantes em 5.120 GB (5 TB) | nenhum |
Por exemplo, se o pipeline resultar em 1.024 GB (1 TB) de dados totais processados do Dataflow Shuffle, o valor faturável será calculado da seguinte forma:
250 GB * 25% + 774 GB * 50% = 449.5 GB * regional Dataflow Shuffle data processing rate
Se o pipeline resultar em 10.240 GB (10 TB) de dados totais processados do Dataflow Shuffle, a quantidade faturável de dados será:
250 GB * 25% + 4870 GB * 50% + 5120 GB = 7617.5 GB
Preços dos recursos de computação do Dataflow Prime
O Dataflow Prime é uma plataforma de processamento de dados baseado no Dataflow para melhorar a utilização de recursos e o diagnóstico distribuído.
Os recursos de computação usados por um job do Dataflow Prime são cobrados pelo número de unidades de computação de dados (DCUs). As DCUs representam os recursos de computação alocados para executar o pipeline. Outros recursos do Dataflow usados pelos jobs do Dataflow Prime, como Persistent Disk, GPUs e snapshots, são faturados separadamente.
Para mais informações sobre as regiões disponíveis e as zonas delas, consulte a página Regiões e zonas do Compute Engine.
Unidade de computação de dados
Uma unidade de computação de dados (DCU, na sigla em inglês) é uma unidade de medição de uso do Dataflow que rastreia o número de recursos de computação consumidos pelos jobs. Os recursos rastreados pelas DCUs incluem vCPU, memória, dados do Dataflow Shuffle processados (para jobs em lote) e dados processados do Streaming Engine (para jobs de streaming). Jobs que consomem mais recursos têm mais uso de DCU em comparação com aqueles que consomem menos recursos. Uma DCU é comparável aos recursos usados por um job do Dataflow executado por uma hora em um worker de 1 vCPU e 4 GB.
Faturamento de unidade de computação de dados
A cobrança é feita pelo número total de DCUs consumidas pelo job. O preço de uma única DCU varia de acordo com o tipo de job, se você tem um job em lote ou de streaming. Quando você usa o Dataflow Prime com faturamento baseado em recursos, a cobrança é feita com base no total de recursos usados, e não no processo em bytes.
Otimizar o uso da unidade de computação de dados
Não é possível definir o número de DCUs para seus jobs. As DCUs são contadas pelo Dataflow Prime. No entanto, é possível reduzir o número de DCUs consumidas, gerenciando os seguintes aspectos do job:
- Reduzir o consumo de memória
- Reduzir a quantidade de dados processados em etapas de embaralhamento usando filtros, combinadores e codificadores eficientes.
Para identificar essas otimizações, use a interface de monitoramento do Dataflow e a interface de detalhes de execução.
Qual é a diferença entre os preços do Dataflow Prime e os preços do Dataflow?
No Dataflow, você é cobrado pelos recursos diferentes que os jobs consomem, como vCPUs, memória, Persistent Disk e quantidade de dados processados pelo Dataflow Shuffle ou Streaming Engine.
As unidades de computação de dados consolidam todos os recursos, exceto o armazenamento, em uma única unidade de medição. A cobrança é feita pelos recursos do Persistent Disk e pelo número de DCUs consumidas com base no tipo de job, lote ou streaming. Para mais informações, consulte Como usar o Dataflow Prime.
O que vai acontecer com meus jobs atuais que usam o modelo de preços do Dataflow?
Os jobs em lote e de streaming atuais continuam sendo cobrados usando o modelo do Dataflow. Quando você atualiza seus jobs para usar o Dataflow Prime, eles usam o modelo de preços do Dataflow Prime, em que são cobrados pelos recursos do Persistent Disk e pelas DCUs consumidas.
Outros recursos do Dataflow
O armazenamento, as GPUs, os snapshots e outros recursos são cobrados da mesma maneira para o Dataflow e o Dataflow Prime.
Preços dos recursos de armazenamento
Os recursos de armazenamento são cobrados da mesma forma para jobs de streaming, em lote e FlexRS. Use as opções de pipeline para alterar o tamanho ou o tipo de disco padrão. O Dataflow Prime fatura o Persistent Disk separadamente com base na tabela a seguir.
No momento, o serviço Dataflow está limitado a 15 discos permanentes por instância de worker ao executar um job de streaming. Cada disco permanente é local a uma máquina virtual individual do Compute Engine. Uma proporção de 1:1 entre workers e discos é a cota mínima de recursos.
Os jobs que usam o Streaming Engine utilizam discos de inicialização de 30 GB. Os jobs que usam o Dataflow Shuffle usam discos de inicialização de 25 GB. Para jobs que não usam essas ofertas, o tamanho padrão de cada disco permanente é 250 GB no modo em lote e 400 GB no modo de streaming.
O uso do Compute Engine é baseado no número médio de workers, enquanto o uso do Persistent Disk é baseado no valor exato de --maxNumWorkers. Eles são redistribuídos de modo que cada worker tenha um número igual de discos anexados.
Preços dos recursos da GPU
Os recursos da GPU são cobrados da mesma forma para jobs de streaming e em lote. No momento, o FlexRS não é compatível com GPUs. Para informações sobre regiões e zonas disponíveis para GPUs, consulte a seção Disponibilidade de regiões e zonas de GPU na documentação do Compute Engine.
Snapshots
Para ajudar a gerenciar a confiabilidade dos pipelines de streaming, use snapshots para salvar e restaurar o estado do pipeline. O uso de snapshots é cobrado pelo volume de dados armazenados, que depende dos seguintes fatores:
- O volume de dados ingeridos no pipeline de streaming
- Sua lógica de janelamento
- o número de estágios do pipeline;
É possível tirar um snapshot do job de streaming usando o console do Dataflow ou a Google Cloud CLI. Não há custo extra para criar um job a partir do snapshot para restaurar o estado do pipeline. Para mais informações, consulte Como usar snapshots do Dataflow.
Preços de snapshots
VM confidencial
A VM confidencial do Dataflow criptografa os dados em uso nas VMs do Compute Engine de worker. Para mais detalhes, consulte Conceitos da Computação confidencial.
O uso da VM confidencial para o Dataflow gera custos fixos adicionais por vCPU e por GB.
Preços da VM confidencial
Os preços são globais e não mudam com base na região do Google Cloud.
Recursos que não são do Dataflow
Além do uso do Dataflow, um job pode consumir os recursos a seguir, cada um faturado de acordo com os próprios preços, incluindo, mas não se limitando a:
-
Os jobs do Dataflow usam o Cloud Storage para armazenar arquivos temporários durante a execução do pipeline. Para evitar a cobrança por custos desnecessários de armazenamento, desative o recurso de exclusão reversível nos buckets que os jobs do Dataflow usam para armazenamento temporário. Para mais informações, consulte Remover uma política de exclusão reversível de um bucket.
-
Encaminhe os registros para outros destinos ou exclua registros da ingestão. Para informações sobre como otimizar o volume de registros dos jobs do Dataflow, consulte Como controlar o volume de registros do Dataflow.
Conferir o uso dos recursos
Para ver os recursos totais de vCPU, memória e Persistent Disk associados a um job, consulte o painel Informações do job em Métricas de recursos. É possível rastrear as seguintes métricas na Interface de monitoramento do Dataflow:
- Tempo total de vCPU
- Tempo total de uso da memória
- Tempo de uso total do disco permanente
- Total de dados de streaming processados
- Total de dados de embaralhamento processados
- Dados de embaralhamento processados faturáveis
Use a métrica Total de dados de embaralhamento processados para avaliar o desempenho do pipeline e a métrica Dados de embaralhamento processados faturáveis para determinar os custos do job do Dataflow.
Para o Dataflow Prime, é possível ver o número total de DCUs consumidas por um job no painel Informações do job em Métricas de recursos.
Calculadora de preços
Use a calculadora de preços do Google Cloud para entender o cálculo da sua fatura.
Se você não paga em dólar americano, valem os preços na sua moeda local listados na página SKUs do Cloud Platform.
A seguir
- Leia a documentação do Dataflow.
- Primeiros passos com o Dataflow.
- Use a calculadora de preços.
- Saiba mais sobre soluções e casos de uso do Dataflow.