Padrões de design para análise de dados

Nesta página, você encontrará links para casos de uso empresariais, códigos de amostra e guias de referência técnica para casos de uso de análise de dados do setor. Use esses recursos para aprender, identificar práticas recomendadas para acelerar a implementação de suas cargas de trabalho.

Os padrões de design listados aqui são casos de uso orientados a código e destinados a levar rapidamente à implementação. Para ver mais soluções de análise, consulte a lista de guias de referência técnica de análise de dados.

Detecção de anomalias

Solução Descrição Produtos Links

Como criar um aplicativo de detecção de anomalias de rede de telecomunicações usando o clustering k-means

Nesta solução, mostramos como criar um aplicativo de detecção de anomalias de rede baseado em ML para redes de telecomunicações e identificação de ameaças de segurança cibernética usando o Dataflow, BigQuery ML e Cloud Data Loss Prevention.

Guia técnico de referência: Como criar uma solução segura de detecção de anomalias usando Dataflow, BigQuery ML e Cloud Data Loss Prevention

Código de amostra: detecção de anomalias em registros do Netflow

Postagem do blog: detecção de anomalias usando análise de streaming e IA

Vídeo com a visão geral sobre: como criar uma solução de detecção de anomalias segura

Como encontrar anomalias em transações financeiras em tempo real usando o BoostedTrees

Use esta implementação de referência para saber como identificar transações fraudulentas usando um modelo de árvore otimizada do TensorFlow com o Dataflow e AI Platform.

Guia de referência técnica: Como detectar anomalias em transações financeiras usando o AI Platform, o Dataflow e o BigQuery

Código de amostra: detecção de anomalias em transações financeiras

Como encontrar anomalias em dados de série temporal usando um codificador automático LSTM

Use esta implementação de referência para saber como processar previamente dados de série temporal para preencher as lacunas nos dados de origem e, em seguida, executar os dados por meio de um codificador automático LSTM para identificar anomalias. O codificador automático é criado como um modelo Keras que implementa uma rede neural LSTM.

Código de amostra: como processar dados de série temporal

Detecção de fraude em cartão de crédito em tempo real

Saiba como usar dados de transações e do cliente para treinar modelos de machine learning no BigQuery ML que podem ser usados em um pipeline de dados em tempo real para identificar, analisar e acionar alertas de potencial fraude de cartão de crédito.

Exemplo de código: Detecção de fraude em cartão de crédito em tempo real

Postagem técnica do blog: Como criar uma solução de detecção de fraudes em cartão de crédito em tempo real sem servidor

Vídeo de visão geral: Como criar uma solução de detecção de fraude em cartão de crédito em tempo real sem servidor

Webinário: Detecção de fraude em cartão de crédito

Modelagem de força relativa em séries temporais para mercados de capitais

Esse padrão é relevante principalmente para clientes do Capital Markets e seus departamentos de análise quantitativa (Quants) para rastrear seus indicadores técnicos em tempo real para tomar decisões de investimento ou rastrear índices. Ele foi desenvolvido com base na detecção de anomalias de séries temporais, e pode ser aplicado facilmente a outros setores, como a indústria, para detectar anomalias em métricas relevantes de séries temporais.

Código de amostra: exemplo de série temporal de serviços financeiros do Dataflow

Postagem do blog sobre negócios e técnico: Como detectar anomalias aprendidas por máquina em dados de câmbio em tempo real

Monetização de dados

Solução Descrição Produtos Links

Como listar dados para venda no Google Cloud Marketplace usando o Datashare Toolkit

Saiba como trocar e gerar receita com dados de mercado históricos e em tempo real com segurança e facilidade. Essa solução de referência funciona para editores de dados de mercado, agregadores e consumidores.

Visão geral técnica: arquivo readme do Datashare Toolkit (em inglês)

Exemplo de código: Datashare Toolkit (em inglês)

Vídeo de visão geral: visão geral do Datashare (em inglês)

Implantação (conta do Google Cloud necessária): VMs do Datashare

Ambiental, social e governança

Solução Descrição Produtos Links

Como calcular o risco climático físico para finanças sustentáveis

Conheça um padrão de design de análise de risco climático para portfólios de empréstimo e investimento usando ferramentas nativas da nuvem e conjuntos de dados geoespaciais granulares.

Visão geral técnica: Repositório do Bitbucket sobre análise de risco climático

Vídeo da visão geral: Como usar insights de dados independentes da ESG

Postagem do blog: Quantificar o risco climático do portfólio para investimento sustentável com análises geoespaciais

Análise geral

Solução Descrição Produtos Links

Como criar um painel de análise de sites em tempo real

Saiba como criar um painel que forneça métricas em tempo real e que você possa usar para entender o desempenho de incentivos ou testes no seu site.

Código de amostra: análise em tempo real usando Dataflow e Memorystore

Vídeo de visão geral: Avanço de nível, análise em tempo real usando Dataflow e Memorystore

Como criar um pipeline para transcrever e analisar arquivos de voz

Saiba como transcrever e analisar arquivos de voz enviados e salvar esses dados no BigQuery para uso em visualizações.

Código de amostra: framework de análise de voz

Como construir um armazenamento de dados para gerenciamento de experiência

Saiba como transformar os dados da pesquisa em formatos que podem ser usados em um armazenamento de dados e para análises mais profundas. Esse padrão se aplica às experiências do cliente e do funcionário, além de outros casos de uso focados na experiência.

Guia de referência técnica: Como gerar insights com formulários em um armazenamento de dados de pesquisas (em inglês)

Exemplo de código: Como transformar e carregar dados de pesquisas no BigQuery usando o Dataprep by Trifacta (em inglês)

Postagem do blog: Como criar um armazenamento de dados para gerenciamento de experiência (XM, na sigla em inglês) com respostas de pesquisas (em inglês)

Vídeo de visão geral: Como criar um armazenamento de dados para gerenciamento de experiência com respostas de pesquisas (em inglês)

Tutorial: Transformar e carregar respostas de formulários de pesquisa no BigQuery (em inglês)

Experiência de demonstração: Pesquisa de mercado do Cloud (em inglês)

Legendagem de clipes de mídia em tempo real

Saiba como criar legendas WebVTT em tempo real para clipes de áudio ou vídeo usando a API Speech-to-Text em um pipeline do Dataflow.

Guia técnico de referência: Como legendar clipes de mídia em tempo real usando Dataflow, Pub/Sub e a API Speech-to-Text

Exemplo de código: Legenda automática WebVTT da API Streaming Speech-to-Text usando o Dataflow

Como criar uma plataforma unificada de análise de aplicativos

Saiba como centralizar suas fontes de dados em um armazenamento de dados e se aprofundar no comportamento do cliente para tomar decisões de negócios informadas.

Guia de referência técnica: Como criar uma plataforma unificada de análise de aplicativos usando o Firebase, o BigQuery e o Looker

Postagem do blog: Como criar uma plataforma de análise unificada para nativos digitais

Vídeo de visão geral: como criar uma plataforma de análise de aplicativo unificada

Código de amostra: análise de aplicativos unificada

Saiba como usar o conjunto de dados público do Google Trends dos nossos conjuntos de dados do Google Cloud para lidar com desafios comerciais comuns, como identificar tendências nas suas lojas de varejo. antecipar a demanda do produto e desenvolver novas campanhas de marketing.

Postagem do blog: Tome decisões com base nos dados do Google Trends

Vídeo de visão geral: O conjunto de dados do Google Trends agora está no BigQuery

Código de amostra (notebook): Notebook de exemplo de tendências

Código de amostra (SQL): Amostras de consultas do Google Trends

Painel de exemplo: 25 principais termos de pesquisa do Google em alta

Como entender e otimizar seus gastos com o Google Cloud

Saiba como levar seus dados do Google Cloud Billing para o BigQuery para entender e otimizar seus gastos e visualizar os resultados acionáveis no Looker ou no Data Studio.

Postagem do blog: Como otimizar seus gastos com o Google Cloud com o BigQuery e o Looker

Código de amostra: Bloqueio do Looker para o Google Cloud Billing

Otimização de preços orientada por dados

Saiba como reagir rapidamente às mudanças do mercado para manter a competição, já que os clientes com otimização mais rápida podem oferecer preços competitivos aos usuários finais usando os serviços do Google Cloud, o que aumenta as vendas e os resultados. Esta solução usa o Dataprep by Trifacta para integrar e destacar fontes de dados, o BigQuery para gerenciar e armazenar seus modelos de preços e visualizar resultados acionáveis no Looker.

Postagem do blog: Otimização de preços baseada em dados

Tutorial: como otimizar o preço de produtos de varejo

Código de amostra: Bloqueio do Looker para o Google Cloud Billing

Saúde e ciências biológicas

Solução Descrição Produtos Links

Como executar uma análise genômica de célula única

Saiba como configurar o Dataproc com Dask, RAPIDS, GPUs e JupyterLab e, em seguida, executar uma análise genômica de célula única.

Visão geral técnica: como executar uma análise genômica com Dask, RAPIDS e GPUs no Dataproc

Código de amostra: notebook

Postagem do blog: Análise genômica de célula única acelerada pela NVIDIA no Google Cloud

Análise de registros

Solução Descrição Produtos Links

Como criar um pipeline para capturar interações do Dialogflow

Saiba como criar um pipeline para capturar e armazenar interações do Dialogflow para análise posterior.

Código de amostra: analisador de registros do Dialogflow

Como processar registros em escala usando o Dataflow

Aprenda a criar pipelines analíticos que processam entradas de registro de várias fontes e combine os dados de registro usando maneiras que ajudem a extrair informação significativa.

Guia de referência técnica: Como processar registros em escala usando o Dataflow

Exemplo de código: Como processar registros em escala usando o Dataflow

Reconhecimento de padrões

Solução Descrição Produtos Links

Como detectar objetos em trechos de vídeo

Nesta solução, mostramos como criar uma solução de análise de trechos de vídeo em tempo real para rastreamento de objetos usando o Dataflow e a API Video Intelligence. Isso permitirá a você analisar grandes volumes de dados não estruturados quase em tempo real.

Código de amostra: solução de análise de vídeo usando o Dataflow e a API Video Intelligence

Ptransform do Apache Beam para chamar a API Video Intelligence: apache_beam.ml.gcp.videointelligenceml module

Anonimizar (desidentificar) e reidentificar dados de PII no pipeline de análise inteligente

 Neste conjunto de soluções, mostramos como usar o Dataflow, o Cloud Data Loss Prevention, o BigQuery e o Pub/Sub para desidentificar e reidentificar informações de identificação pessoal (PII) em um conjunto de dados de amostra.

Guias de referência técnica:

Código de amostra: migrar dados confidenciais no BigQuery usando o Dataflow e o Cloud Data Loss Prevention

Previsão preditiva

Solução Descrição Produtos Links

Crie e visualize previsões de demanda usando o Datastream, Dataflow, BigQuery ML e Looker

Saiba como replicar e processar dados operacionais de um banco de dados Oracle no Google Cloud em tempo real. No tutorial, também demonstramos como prever a demanda futura e como visualizar esses dados de previsão à medida que eles chegam. Por exemplo, para minimizar o desperdício de alimentos no varejo.

Postagem do blog: Como resolver o desperdício de alimentos com análise de dados no Google Cloud (em inglês)

Guia de referência técnica: Crie e visualize previsões de demanda usando o Datastream, o Dataflow, o BigQuery e o Looker

Como criar um modelo de previsão de demanda

Aprenda a criar um modelo de série temporal que possa ser usado para prever a demanda de varejo de vários produtos.

Postagem do blog: Como criar modelos de previsão de demanda com o BigQuery ML

Notebook: bqml_retail_demand_forecasting.ipynb

Como criar um sistema de recomendação de comércio eletrônico

Saiba como criar um sistema de recomendações usando o BigQuery ML para gerar recomendações de produtos ou serviços com base nos dados do cliente disponíveis no BigQuery. Em seguida, saiba como disponibilizar esses dados para outros sistemas de produção exportando-os para o Google Analytics 360 ou o Cloud Storage ou fazendo a leitura de maneira programada na tabela do BigQuery.

Guia técnico de referência: como criar um sistema de recomendações de comércio eletrônico usando o BigQuery ML

Notebook: bqml_retail_recommendation_system.ipynb

Como criar um modelo de clustering k-means para segmentação de mercado

Saiba como segmentar dados de público do Google Analytics 360 com fins de marketing criando clusters k-means com o BigQuery ML.

Guia técnico de referência: Como criar um modelo de clustering k-means para segmentação de mercado usando o BigQuery ML

Notebook: Como criar modelos de clustering k-means para segmentação de mercado usando o BigQuery ML

Como criar uma solução de propensão de compra

Saiba como criar e implantar um modelo de propensão de compra, usá-lo para receber previsões sobre o comportamento de compra do cliente e, em seguida, criar um pipeline para automatizar o fluxo de trabalho.

Guia de referência técnica: como prever a propensão do cliente à compra usando o BigQuery ML e o AI Platform

Exemplo de código: como criar uma solução ponta a ponta de propensão de compra usando o BigQuery ML e os pipelines do Kubeflow

Postagem do blog: Como criar uma solução ponta a ponta de propensão de compra usando o BigQuery ML e os pipelines do Kubeflow

Criar novos públicos-alvo com base no valor atual da vida útil do cliente

Saiba como identificar seus clientes mais valiosos, atualmente, e usá-los para desenvolver público-alvo semelhante no Google Ads.

Guia de referência técnica: Como criar novos públicos-alvo com base no valor de vida útil do cliente existente

Exemplo de código: Ativar previsões de LTV

Como criar um modelo de previsão de demanda de série temporal

Aprenda a criar uma solução completa para prever a demanda de produtos de varejo. Use dados de vendas históricos para treinar um modelo de previsão de demanda usando o BigQuery ML e visualize os valores previstos em um painel.

Exemplo de código: Como criar um modelo de previsão de demanda de série temporal usando o BigQuery ML

Previsão do Planilhas usando o BigQuery ML

Saiba como operacionalizar o machine learning com seus processos de negócios combinando Planilhas conectadas com um modelo de previsão no BigQuery ML. Neste exemplo específico, analisaremos o processo de criação de um modelo de previsão para o tráfego do site usando dados do Google Analytics. Esse padrão pode ser estendido para trabalhar com outros tipos de dados e outros modelos de machine learning.

Postagem do blog: Como usar um modelo de machine learning do Planilhas com o BigQuery ML

Exemplo de código: Previsões do BigQuery ML com o Planilhas

Modelo: Previsões do BigQuery ML com o Planilhas

Prever falhas físicas usando um pipeline de análise de visão

Nesta solução, você aprende a criar um pipeline do Dataflow para receber insights de arquivos de imagem em larga escala armazenados em um bucket do Cloud Storage. A inspeção visual automatizada pode ajudar a alcançar metas de fabricação, como a melhoria dos processos de controle de qualidade ou o monitoramento da segurança do trabalhador e, ao mesmo tempo, reduzir custos.

Código de amostra: solução do Vision Analytics usando o Dataflow e a API Cloud Vision

Como prever o valor da vida útil do cliente

Nesta série, mostramos como prever o valor de vida útil do cliente (CLV, na sigla em inglês) usando o AI Platform e o BigQuery.

Guias de referência técnica:

Código de amostra: previsão do valor de vida útil do cliente no Google Cloud

Modelos de propensão para aplicativos de jogos

Aprenda a usar o BigQuery ML para treinar, avaliar e receber previsões de vários tipos diferentes de modelos de propensão. Eles ajudam a determinar a probabilidade de usuários específicos voltarem ao seu app. Assim, você poderá usar essas informações em decisões de marketing.

Postagem do blog: Previsão de desligamento de usuários para desenvolvedores de jogos que usam o Google Analytics 4 e o BigQuery ML (em inglês)

Notebook: Previsão de desligamento de usuários para desenvolvedores de jogos que usam o Google Analytics 4 e o BigQuery ML (em inglês)

Visão geral técnica: modelo de propensão para aplicativos de jogos (em inglês)

Como fazer recomendações personalizadas de produtos de investimento

Saiba como fazer recomendações de investimento personalizadas usando ingestão, processamento e melhoria de dados de mercado gerados por APIs públicas com a utilização do Cloud Functions. Carregue dados no BigQuery com o Dataflow e, em seguida, use o AI Platform para treinar e implantar vários modelos do AutoML Tables. Orquestre esses pipelines com o Cloud Composer e implante um front-end básico da Web para recomendar investimentos aos usuários.

Postagem do blog: Como capacitar os apps de finanças do cliente com recomendações de investimento altamente personalizadas usando o AI Platform (em inglês)

Guia técnico de referência: Uma solução técnica para gerar recomendações de investimento altamente personalizadas usando ML

Exemplo de código: mecanismo de recomendação de produtos de investimento (IPRE) do padrão de design FSI

Análise da sequência de cliques em tempo real

Solução Descrição Produtos Links

Aplicativo de amostra de comércio eletrônico com análise de streaming e IA em tempo real

O aplicativo de amostra de comércio eletrônico ilustra casos de uso comuns e práticas recomendadas para implementar análises de dados de streaming e IA em tempo real. Use-o para saber como responder dinamicamente às ações dos clientes analisando e respondendo a eventos em tempo real e também como armazenar, analisar e visualizar esses dados de eventos para insights de longo prazo.

Visão geral técnica: aplicativo de amostra de comércio eletrônico usando análise de streaming e IA em tempo real

Exemplo de código: aplicativo de amostra de comércio eletrônico para Java

Demonstração interativa: explore a análise de stream do Google

Vídeo de visão geral: ativar experiências da Web em tempo real com a análise de stream

Análise de séries temporais

Solução Descrição Produtos Links

Como processar dados de série temporal de streaming

Saiba mais sobre os principais desafios do processamento de dados de série temporal de streaming ao usar o Apache Beam e veja como a solução Timeseries Streaming aborda esses desafios.

Visão geral técnica: Como processar dados de série temporal de streaming: visão geral

Tutorial: Como processar dados de série temporal de streaming: tutorial

Exemplo de código: Streaming de séries temporais

Como trabalhar com data lakes

Solução Descrição Produtos Links

Como criar pipelines de CI/CD para serviços de processamento de dados sem servidor de um data lake

Saiba como configurar a integração contínua e a entrega contínua (CI/CD) para os pipelines de processamento de dados de um data lake. Implemente métodos de CI/CD com o Terraform, o GitHub e o Cloud Build usando a conhecida metodologia GitOps.

Visão geral técnica: Como criar pipelines de CI/CD para serviços de processamento de dados sem servidor de um data lake