Padrões de referência

Nesta página, fornecemos links para exemplos de código e guias de referência técnica para casos de uso comuns do Dataflow. Use esses recursos para aprender, identificar práticas recomendadas e aproveitar o código de amostra para criar os recursos necessários.

Os padrões de referência listados aqui são orientados por código e destinados a agilizar a implementação. Para ver uma variedade maior de soluções do Dataflow, consulte a lista de guias de referência técnica do Dataflow.

Detecção de anomalias

Solução Descrição Links
Como criar um aplicativo de detecção de anomalias de rede de telecomunicações usando o clustering k-means

Nesta solução, mostramos como criar um aplicativo de detecção de anomalias de rede baseado em ML para redes de telecomunicações e identificação de ameaças de segurança cibernética usando o Dataflow, BigQuery ML e Cloud Data Loss Prevention.

Guia técnico de referência: Como criar uma solução segura de detecção de anomalias usando Dataflow, BigQuery ML e Cloud Data Loss Prevention

Código de amostra: detecção de anomalias em registros do Netflow

Postagem do blog: detecção de anomalias usando análise de streaming e IA

Vídeo com a visão geral sobre: como criar uma solução de detecção de anomalias segura

Como encontrar anomalias em transações financeiras em tempo real usando o BoostedTrees

Use esta implementação de referência para saber como identificar transações fraudulentas usando um modelo de árvore otimizada do TensorFlow com o Dataflow e AI Platform.

Guia de referência técnica: Como detectar anomalias em transações financeiras usando o AI Platform, o Dataflow e o BigQuery

Código de amostra: detecção de anomalias em transações financeiras

Análise geral

Solução Descrição Links
Como criar um painel de análise de sites em tempo real

Saiba como criar um painel que forneça métricas em tempo real e que você possa usar para entender o desempenho de incentivos ou testes no seu site.

Código de amostra: análise em tempo real usando Dataflow e Memorystore

Vídeo de visão geral: Avanço de nível, análise em tempo real usando Dataflow e Memorystore

Como criar um pipeline para transcrever e analisar arquivos de voz

Use o Dataflow para transcrever e analisar arquivos de fala e, em seguida, salve esses dados no BigQuery para uso em visualizações.

Código de amostra: framework de análise de voz

Como processar clipes de áudio em uma transcrição usando o Dataflow e a API Speech-to-Text

Saiba como processar clipes de áudio em tempo real para criar uma transcrição no formato WebVTT.

Guia técnico de referência: Como legendar clipes de mídia em tempo real usando Dataflow, Pub/Sub e a API Speech-to-Text

Exemplo de código: Legenda automática WebVTT da API Streaming STT usando o Dataflow

Análise de registros

Solução Descrição Links
Como criar um pipeline para capturar interações do Dialogflow

Use o Dataflow para criar um pipeline e capturar e armazenar interações do Dialogflow para análise posterior.

Código de amostra: analisador de registros do Dialogflow

Como processar registros em escala usando o Dataflow

Aprenda a criar pipelines analíticos que processam entradas de registro de várias fontes e combine os dados de registro usando maneiras que ajudem a extrair informação significativa.

Guia de referência técnica: Como processar registros em escala usando o Dataflow

Exemplo de código: Como processar registros em escala usando o Dataflow

Reconhecimento de padrões

Solução Descrição Links
Como detectar objetos em trechos de vídeo

Nesta solução, mostramos como criar uma solução de análise de trechos de vídeo em tempo real para rastreamento de objetos usando o Dataflow e a API Video Intelligence. Isso permitirá a você analisar grandes volumes de dados não estruturados quase em tempo real.

Código de amostra: solução de análise de vídeo usando o Dataflow e a API Video Intelligence

Ptransform do Apache Beam para chamar a API Video Intelligence: apache_beam.ml.gcp.videointelligenceml module

Anonimizar (desidentificar) e reidentificar dados de PII no pipeline de análise inteligente Neste conjunto de soluções, mostramos como usar o Dataflow, o Cloud Data Loss Prevention, o BigQuery e o Pub/Sub para desidentificar e reidentificar informações de identificação pessoal (PII) em um conjunto de dados de amostra.

Guias de referência técnica:

Código de amostra: migrar dados confidenciais no BigQuery usando o Dataflow e o Cloud Data Loss Prevention

Previsão preditiva

Solução Descrição Links
Criação e exibição de embeddings para recomendações em tempo real

Saiba como criar e disponibilizar embeddings para fazer recomendações de itens semelhantes em tempo real. Use o BigQuery ML para criar um modelo de fatoração de matrizes para prever os embeddings e o framework de código aberto ScaNN para criar um distintivo mais próximo, e implante o modelo no AI Platform Prediction para correspondência de itens semelhantes em tempo real.

Guia de referência técnica: Arquitetura de um sistema de machine learning para correspondência de itens

Exemplo de código: recomendação de matriz de ML do BigQuery para itens em tempo real e ScaNN

Prever falhas físicas usando um pipeline de análise de visão

Nesta solução, você aprende a criar um pipeline do Dataflow para receber insights de arquivos de imagem em larga escala armazenados em um bucket do Cloud Storage. A inspeção visual automatizada pode ajudar a alcançar metas de fabricação, como a melhoria dos processos de controle de qualidade ou o monitoramento da segurança do trabalhador e, ao mesmo tempo, reduzir custos.

Código de amostra: solução do Vision Analytics usando o Dataflow e a API Cloud Vision