Documentação do Dataflow

O Dataflow é um serviço gerenciado para executar uma ampla variedade de padrões de processamento de dados. A documentação neste site mostra como implantar os pipelines de processamento de dados de streaming e em lote usando o Dataflow, incluindo instruções de uso dos recursos de serviço.

O SDK do Apache Beam é um modelo de programação de código aberto que permite desenvolver pipelines de lote e de streaming. Você cria pipelines com um programa do Apache Beam e os executa no serviço do Dataflow. A documentação do Apache Beam fornece informações conceituais aprofundadas e material de referência para o modelo de programação, os SDKs e outros executores do Apache Beam.

Apache, Apache Beam, Beam e o logotipo do Beam são marcas registradas da The Apache Software Foundation nos Estados Unidos e/ou em outros países.

Guias de início rápido: Python., Java, SQL ou Modelos
Criar um pipeline
Implantar um pipeline
Como especificar parâmetros de execução de pipeline
Como desenvolver com notebooks
Primeiros passos com os modelos fornecidos pelo Google
Interromper um pipeline em execução
Solução de problemas e depuração

Casos de uso

Arquitetura

Como criar pipelines de dados prontos para produção usando o Dataflow: visão geral

Uma visão geral de como usar o Dataflow para melhorar a prontidão da produção dos seus pipelines de dados. Primeira parte de uma série.

Transformações

Caso de uso

Como executar um pipeline automatizado do Dataflow para desidentificar um conjunto de dados de PII

Parte de uma série: mostra como executar um pipeline automatizado do Dataflow para desidentificar um conjunto de dados de amostra com informações de identificação pessoal.

DLP Privacidade

Caso de uso

Detectar anomalias em transações financeiras usando o AI Platform, o Dataflow e o BigQuery

Descreve como implementar um aplicativo de detecção de anomalias que identifica transações fraudulentas usando um modelo de árvore reforçada.

ML Detecção

Caso de uso

Como implantar exportações de registros prontas para produção no Splunk usando o Dataflow

Crie um mecanismo de exportação de registros escalonável e tolerante a falhas usando o Cloud Logging, o Pub/Sub e o Dataflow. Transmita seus registros e eventos de recursos no Google Cloud para o Splunk Enterprise ou o Splunk Cloud para casos de uso em operações de segurança ou de TI.

Splunk Streaming

Artigo

Padrões de design para exportar dados de geração de registros

Explore os padrões de design e as práticas recomendadas para cenários comuns de exportação de registros. Você pode exportar seus registros por várias razões, como a retenção de registros para requisitos de conformidade ou a execução de análise de dados em relação às métricas extraídas dos registros.

Padrões

Guias

Referência

Recursos

Casos de uso

Vídeos