Preços do Dataflow
Nesta página estão os preços do Dataflow. Para saber os preços de outros produtos, leia a documentação de preços.
Para saber como economizar 40% com um compromisso de três anos ou 20% com um compromisso de um ano, consulte nossa página de descontos por compromisso de uso (CUDs).
Visão geral
O uso do Dataflow é cobrado pelos recursos usados pelos jobs. Dependendo do modelo de preços usado, os recursos são medidos e cobrados de maneira diferente.
| Recursos de computação do Dataflow | Recursos de computação do Dataflow Prime |
|
Unidades de computação de dados (DCUs) (lote e streaming) |
Outros recursos do Dataflow faturados para todos os jobs incluem Persistent Disk, GPUs e snapshots.
Recursos de outros serviços podem ser usados no job do Dataflow. Os serviços usados com o Dataflow podem incluir BigQuery, Pub/Sub, Cloud Storage e Cloud Logging, entre outros.
A taxa de preços é baseada na hora, mas o uso do Dataflow é cobrado em incrementos por segundo para cada job. O uso é indicado em horas para aplicar o preço por hora ao uso de segundo a segundo. Por exemplo, 30 minutos são 0,5 hora. Os workers e jobs podem consumir recursos conforme descrito nas seções a seguir.
Futuras versões do Dataflow podem ter taxas de serviço diferentes ou agrupamento de serviços relacionados.
Recursos de computação do Dataflow
O faturamento do Dataflow para recursos de computação inclui os seguintes componentes:
- CPU e memória do worker
- Dados do Dataflow Shuffle processados para cargas de trabalho em lote
- Unidades de computação do Streaming Engine
- Dados processados do Streaming Engine
Para mais informações sobre as regiões disponíveis e as zonas delas, consulte a página Regiões e zonas do Compute Engine.
CPU e memória do worker
Cada job do Dataflow usa pelo menos um worker do Dataflow. Há dois tipos deles: em lote e por streaming, Os workers em lote e de streaming têm taxas de serviço separadas.
Os workers do Dataflow consomem os seguintes recursos, todos cobrados por segundo:
- CPU
- Memória
Os workers em lote e por streaming são recursos especializados que utilizam o Compute Engine. No entanto, um job do Dataflow não emite o faturamento de recursos do Compute Engine gerenciados pelo serviço do Dataflow. Em vez disso, as taxas de serviço do Dataflow incluem o uso desses recursos do Compute Engine.
É possível modificar a contagem de workers padrão de um job. Se você estiver usando o escalonamento automático, especifique o número máximo de workers a serem alocados para um job. Os workers e os respectivos recursos são adicionados e removidos automaticamente com base na atuação do escalonamento automático.
Além disso, é possível usar opções de pipeline para substituir as configurações de recursos padrão, como tipo de máquina, tipo de disco e tamanho do disco, que são alocados para cada worker e que usam GPUs.
FlexRS
O Dataflow oferece uma opção de preço com desconto para CPU e memória no processamento em lote. O Flexible Resource Scheduling (FlexRS) combina VMs preemptivas e comuns em um único pool de workers do Dataflow. Isso oferece aos usuários acesso a recursos de processamento mais baratos. O FlexRS também atrasa a execução de um job em lote do Dataflow em uma janela de seis horas para identificar o melhor momento para iniciar o job com base nos recursos disponíveis.
O Dataflow usa uma combinação de workers para executar um job da FlexRS, mas é cobrada uma taxa de desconto uniforme de cerca de 40% no custo de CPU e memória em comparação com os preços normais do Dataflow, seja qual for o tipo de worker. Especifique o parâmetro do FlexRS para instruir o Dataflow a usar o FlexRS nos pipelines de lote com escalonamento automático.
Dados processados do Dataflow Shuffle
Para pipelines em lote, o Dataflow oferece um recurso altamente escalonável, o Dataflow Shuffle, que embaralha os dados fora dos workers. Para mais informações, consulte Dataflow Shuffle.
O Dataflow Shuffle cobra pelo volume de dados processados durante o embaralhamento.
Preços do Streaming Engine
Para pipelines de streaming, o Dataflow Streaming Engine move o embaralhamento de streaming e o processamento de estado das VMs de worker para o back-end do serviço do Dataflow. Para mais informações, consulte Streaming Engine.
Unidades de computação do Streaming Engine
Com o faturamento baseado em recursos, os recursos do Streaming Engine são medidos nas unidades de computação do Streaming Engine. O Dataflow mede os recursos do Streaming Engine que cada job usa e cobra com base no total de recursos usados por esse job. Para ativar o faturamento com base em recursos para o job, consulte Usar o faturamento com base em recursos. Quando você usa o faturamento com base em recursos, os descontos atuais são aplicados automaticamente.
Quando você usa o Dataflow Prime com faturamento baseado em recursos, a cobrança é feita com base no total de recursos usados por cada job, mas a SKU da Unidade de computação de dados (DCU) é usada em vez da SKU da unidade de computação do Streaming Engine.
Dados processados do Streaming Engine (legado)
O Dataflow continua a aceitar o faturamento legado com dados processados. A menos que você ative o faturamento com base em recursos, os jobs serão cobrados usando o faturamento processado por dados.
O faturamento processado por dados do Streaming Engine mede o uso pelo volume de dados de streaming processados, o que depende dos seguintes fatores:
- O volume de dados ingeridos no pipeline de streaming
- A complexidade do pipeline
- O número de estágios do pipeline com operação de embaralhamento ou DoFns com estado
Exemplos do que conta como um byte processado incluem os seguintes itens:
- Fluxos de entrada de fontes de dados
- Fluxos de dados de um estágio do pipeline combinado para outro estágio combinado
- fluxos de dados mantidos em um estado definido pelo usuário ou usados para janelamento.
- enviar mensagens para coletores de dados, como o Pub/Sub ou o BigQuery;
Preços de recursos de computação do Dataflow: lote e FlexRS
A tabela a seguir contém detalhes de preços para recursos do worker e dados do Shuffle processados para jobs em lote e do FlexRS.
1 Padrões do worker em lote: 1 vCPU, memória de 3,75 GB, disco permanente de 250 GB se não usar o Dataflow Shuffle, 25 GB de disco permanente se estiver usando o Dataflow Shuffle
2 Padrões do worker no FlexRS: 2 vCPUs, 7,50 GB de memória, disco permanente de 25 GB por worker, com um mínimo de dois workers
Preços de recursos de computação do Dataflow - streaming
A tabela a seguir contém detalhes de preços para recursos do worker, dados processados do Streaming Engine (legados) e unidades de computação do Streaming Engine para jobs de streaming.
3 Padrões do worker no streaming: 4 vCPUs, memória de 15 GB, disco permanente de 400 GB se não estiver usando o Streaming Engine, disco permanente de 30 GB se estiver usando o Streaming Engine. No momento, o serviço do Dataflow está limitado a 15 discos permanentes por instância de worker ao executar um job de streaming. A proporção de 1:1 entre workers e discos é a cota mínima de recursos.
4 Os preços do Dataflow Shuffle são baseados nos ajustes de volume aplicados à quantidade de dados processados durante as operações de leitura e gravação de embaralhamento do conjunto de dados. Para mais informações, consulte Detalhes dos preços do Dataflow Shuffle. Os preços do Dataflow Shuffle não se aplicam a jobs do Streaming Engine que usam faturamento baseado em recursos.
5 Unidades de computação do Streaming Engine: para jobs de streaming que usam o Streaming Engine e o modelo de faturamento baseado em recursos. Esses jobs não são cobrados pelos dados processados durante o embaralhamento.
Ajustes de volume dos dados processados do Dataflow Shuffle
As cobranças são calculadas por job do Dataflow por meio de ajustes de volume aplicados à quantidade total de dados processados durante as operações do Dataflow Shuffle. O faturamento real dos dados processados no Dataflow Shuffle equivale ao preço total cobrado por uma quantidade menor de dados, e não ao total processado por um job do Dataflow. Essa diferença faz com que a métrica de dados de embaralhamento processados faturáveis seja menor do que a de dados de embaralhamento totais processados.
Na tabela a seguir, explicamos como esses ajustes são aplicados:
| Dados processados do Dataflow Shuffle | Ajuste de faturamento |
| Primeiros 250 GB | Redução de 75% |
| Próximos 4.870 GB | Redução de 50% |
| Dados restantes em 5.120 GB (5 TB) | nenhum |
Por exemplo, se o pipeline resultar em 1.024 GB (1 TB) de dados totais processados do Dataflow Shuffle, o valor faturável será calculado da seguinte forma:
250 GB * 25% + 774 GB * 50% = 449.5 GB * regional Dataflow Shuffle data processing rate
Se o pipeline resultar em 10.240 GB (10 TB) do total de dados processados do Dataflow Shuffle, a quantidade faturável de dados será:
250 GB * 25% + 4870 GB * 50% + 5120 GB = 7617.5 GB
Preços dos recursos de computação do Dataflow Prime
O Dataflow Prime é uma plataforma de processamento de dados baseada no Dataflow para trazer melhorias na utilização de recursos e diagnósticos distribuídos.
Os recursos de computação usados por um job do Dataflow Prime são cobrados pelo número de unidades de computação de dados (DCUs, na sigla em inglês). As DCUs representam os recursos de computação alocados para executar o pipeline. Outros recursos do Dataflow usados pelos jobs do Dataflow Prime, como Persistent Disk, GPUs e snapshots, são faturados separadamente.
Para mais informações sobre as regiões disponíveis e as zonas delas, consulte a página Regiões e zonas do Compute Engine.
Unidade de computação de dados
Uma unidade de computação de dados (DCU, na sigla em inglês) é uma unidade de medição de uso do Dataflow que rastreia o número de recursos de computação consumidos pelos seus jobs. Os recursos rastreados por DCUs incluem vCPU, memória, dados do Dataflow Shuffle processados (para jobs em lote) e dados do Streaming Engine processados (para jobs de streaming). Jobs que consomem mais recursos têm mais uso de DCU em comparação a jobs que consomem menos recursos. Uma DCU é comparável aos recursos usados por um job do Dataflow executado por uma hora em um worker de 1 vCPU e 4 GB.
Faturamento da unidade de computação de dados
A cobrança é feita com base no número total de DCUs consumidas pelo job. O preço de uma única DCU varia de acordo com o job em lote ou de streaming. Ao usar o Dataflow Prime com faturamento baseado em recursos, a cobrança é baseada no total de recursos usados, e não no processo de bytes.
Otimizar o uso da unidade de computação de dados
Não é possível definir o número de DCUs para seus jobs. As DCUs são contadas pelo Dataflow Prime. No entanto, é possível reduzir o número de DCUs consumidas gerenciando os seguintes aspectos do seu job:
- Reduzir o consumo de memória
- reduzir a quantidade de dados processados nas etapas de embaralhamento usando filtros, combinadores e codificadores eficientes.
Para identificar essas otimizações, use a interface de monitoramento do Dataflow e a interface de detalhes de execução.
Qual é a diferença entre os preços do Dataflow Prime e do Dataflow?
No Dataflow, você é cobrado pelos diferentes recursos que os jobs consomem, como vCPUs, memória, Persistent Disk e a quantidade de dados processados pelo Dataflow Shuffle ou Streaming Engine.
As unidades de computação de dados consolidam todos os recursos, exceto armazenamento, em uma única unidade de medição. A cobrança é feita pelos recursos Persistent Disk e pelo número de DCUs consumidas com base no tipo de job, lote ou streaming. Para mais informações, consulte Como usar o Dataflow Prime.
O que acontecerá com meus jobs atuais que usam o modelo de preços do Dataflow?
Os jobs em lote e de streaming atuais continuam sendo cobrados pelo modelo do Dataflow. Quando você atualiza seus jobs para usar o Dataflow Prime, eles passam a usar o modelo de preços do Dataflow Prime, no qual são cobrados pelos recursos do Persistent Disk e pelas DCUs consumidas.
Outros recursos do Dataflow
Armazenamento, GPUs, snapshots e outros recursos são cobrados da mesma maneira no Dataflow e no Dataflow Prime.
Preços dos recursos de armazenamento
Os recursos de armazenamento são cobrados com a mesma taxa para jobs de streaming, em lote e FlexRS. Use as opções de pipeline para alterar o tamanho ou o tipo de disco padrão. O Dataflow Prime cobra o Persistent Disk separadamente com base nos preços da tabela a seguir.
No momento, o serviço do Dataflow está limitado a 15 discos permanentes por instância de worker ao executar um job de streaming. Cada disco permanente é local a uma máquina virtual individual do Compute Engine. Uma proporção de 1:1 entre workers e discos é a cota mínima de recursos.
Os jobs que usam o Streaming Engine usam discos de inicialização de 30 GB. Os jobs que utilizam o Dataflow Shuffle usam discos de inicialização de 25 GB. Para jobs que não usam essas ofertas, o tamanho padrão de cada disco permanente é de 250 GB no modo de lote e 400 GB no modo de streaming.
O uso do Compute Engine é baseado no número médio de workers, enquanto o uso do Persistent Disk é baseado no valor exato de --maxNumWorkers. Os discos permanentes são redistribuídos de modo que cada worker tenha um número igual de discos anexados.
Preços dos recursos da GPU
Os recursos de GPU são cobrados com a mesma taxa para jobs em lote e de streaming. O FlexRS não oferece suporte a GPUs no momento. Para informações sobre regiões e zonas disponíveis para GPUs, consulte Disponibilidade de regiões e zonas da GPU na documentação do Compute Engine.
Snapshots
Para ajudar a gerenciar a confiabilidade dos pipelines de streaming, é possível usar snapshots para salvar e restaurar o estado do pipeline. O uso de snapshots é cobrado pelo volume de dados armazenados, o que depende dos seguintes fatores:
- O volume de dados ingeridos no pipeline de streaming
- Sua lógica de janelamento
- O número de estágios do pipeline
É possível criar um snapshot do job de streaming usando o console do Dataflow ou a Google Cloud CLI. Não há custo extra para criar um job a partir do snapshot para restaurar o estado do pipeline. Para mais informações, consulte Como usar snapshots do Dataflow.
Preços de snapshots
VM confidencial
A VM confidencial do Dataflow criptografa os dados em uso nas VMs do Compute Engine de worker. Para mais detalhes, consulte Visão geral da VM confidencial.
O uso de VMs confidenciais para o Dataflow gera mais custos fixos por vCPU e por GB.
Preços da VM confidencial
Os preços são globais e não mudam de acordo com a região do Google Cloud.
Recursos que não são do Dataflow
Além do uso do Dataflow, um job pode consumir os recursos a seguir, cada um faturado de acordo com os próprios preços, incluindo, entre outros:
-
Os jobs do Dataflow usam o Cloud Storage para armazenar arquivos temporários durante a execução do pipeline. Para evitar cobranças por custos desnecessários de armazenamento, desative o recurso de exclusão reversível nos buckets que os jobs do Dataflow usam para armazenamento temporário. Para mais informações, consulte Remover uma política de exclusão reversível de um bucket.
-
É possível rotear registros para outros destinos ou excluir registros da ingestão. Para informações sobre como otimizar o volume de registros dos jobs do Dataflow, consulte Como controlar o volume de registros do Dataflow.
Conferir o uso de recursos
É possível ver os recursos totais de vCPU, memória e Persistent Disk associados a um job no painel Informações do job em Métricas de recursos. É possível acompanhar as seguintes métricas na Interface de monitoramento do Dataflow:
- Tempo total de vCPU
- Tempo total de uso da memória
- Tempo total de uso do disco permanente
- Total de dados de streaming processados
- Total de dados de embaralhamento processados
- Dados de embaralhamento faturáveis processados
Use a métrica Dados de embaralhamento totais processados para avaliar o desempenho do pipeline e a métrica Dados de embaralhamento faturáveis processados para determinar os custos do job do Dataflow.
Para o Dataflow Prime, é possível ver o número total de DCUs consumidas por um job no painel Informações do job em Métricas de recursos.
Calculadora de preços
Use a calculadora de preços do Google Cloud para entender o cálculo da sua fatura.
Se você não paga em dólar americano, são aplicados os preços na sua moeda local listados na página SKUs do Cloud Platform.
A seguir
- Leia a documentação do Dataflow.
- Primeiros passos com o Dataflow.
- Use a calculadora de preços.
- Saiba mais sobre soluções e casos de uso do Dataflow.