Documentação do Dataflow

Documentação do Dataflow

Visão geral

Casos de uso

Vídeos

O Dataflow é um serviço gerenciado para executar uma ampla variedade de padrões de processamento de dados. A documentação neste site mostra como implantar os pipelines de processamento de dados de streaming e em lote usando o Dataflow, incluindo instruções de uso dos recursos de serviço.

O SDK do Apache Beam é um modelo de programação de código aberto que permite desenvolver pipelines de lote e de streaming. Você cria pipelines com um programa do Apache Beam e os executa no serviço do Dataflow. A documentação do Apache Beam fornece informações conceituais aprofundadas e material de referência para o modelo de programação, os SDKs e outros executores do Apache Beam.

Apache, Apache Beam, Beam, o logotipo do Beam e o mascote Firefly são marcas registradas da Apache Software Foundation nos Estados Unidos e/ou em outros países.

Guias

• Guias de início rápido: Guia de início rápido: criar um pipeline do Dataflow usando Python, Guia de início rápido: criar um pipeline do Dataflow usando Java, Guia de início rápido: criar um pipeline do Dataflow usando Go ou Guia de início rápido: criar um pipeline de streaming usando um modelo do Dataflow

• Criar um pipeline

• Implantar um pipeline

• Como especificar parâmetros de execução de pipeline

• Como desenvolver com notebooks

• Primeiros passos com os modelos fornecidos pelo Google

• Interromper um pipeline em execução

• Solução de problemas e depuração

• Mais

Referência

• Apache Beam SDK 2.x: Java, Python, ou Go

• API REST

• SQL do Dataflow

• Funções de linha de comando gcloud

• Mais

Recursos

• Preços

• Cotas e limites

• Notas de lançamento

• Status do suporte da versão do SDK

• Como receber suporte

• Dúvidas sobre faturamento

• Mais

Casos de uso

Explore casos de uso, arquiteturas de referência, artigos, práticas recomendadas e soluções do setor.

Arquitetura

Como criar pipelines de dados prontos para produção usando o Dataflow: visão geral

Uma visão geral de como usar o Dataflow para melhorar a prontidão da produção dos seus pipelines de dados. Primeira parte de uma série.

Transformações

Saiba mais

Caso de uso

Como executar um pipeline automatizado do Dataflow para desidentificar um conjunto de dados de PII

Parte de uma série: mostra como executar um pipeline automatizado do Dataflow para desidentificar um conjunto de dados de amostra com informações de identificação pessoal.

DLP Privacidade

Saiba mais

Caso de uso

Detectar anomalias em transações financeiras usando o AI Platform, o Dataflow e o BigQuery

Descreve como implementar um aplicativo de detecção de anomalias que identifica transações fraudulentas usando um modelo de árvore reforçada.

ML Detecção

Saiba mais  

Caso de uso

Como implantar exportações de registros prontas para produção no Splunk usando o Dataflow

Crie um mecanismo de exportação de registros escalonável e tolerante a falhas usando o Cloud Logging, o Pub/Sub e o Dataflow. Transmita seus registros e eventos de recursos no Google Cloud para o Splunk Enterprise ou o Splunk Cloud para casos de uso em operações de segurança ou de TI.

Splunk Streaming

Saiba mais  

Artigo

Padrões de design para exportar dados de geração de registros

Explore os padrões de design e as práticas recomendadas para cenários comuns de exportação de registros. Você pode exportar seus registros por várias razões, como a retenção de registros para requisitos de conformidade ou a execução de análise de dados em relação às métricas extraídas dos registros.

Padrões

Saiba mais  

Vídeos