Padrões de referência de análises inteligentes

Nesta página, fornecemos links para códigos de amostra e guias de referência técnica para casos de uso comuns de análise. Use esses recursos para aprender, identificar práticas recomendadas e aproveitar o código de amostra para criar os recursos de análise necessários.

Os padrões de referência listados aqui são orientados por código e destinados a agilizar a implementação. Para ver uma variedade maior de soluções de análise, consulte a lista de guias de referência técnica de Big Data.

Detecção de anomalias

Solução Descrição Produtos Links

Como criar um aplicativo de detecção de anomalias de rede de telecomunicações usando o clustering k-means

Nesta solução, mostramos como criar um aplicativo de detecção de anomalias de rede baseado em ML para redes de telecomunicações e identificação de ameaças de segurança cibernética usando o Dataflow, BigQuery ML e Cloud Data Loss Prevention.

Guia técnico de referência: Como criar uma solução segura de detecção de anomalias usando Dataflow, BigQuery ML e Cloud Data Loss Prevention

Código de amostra: detecção de anomalias em registros do Netflow

Postagem do blog: detecção de anomalias usando análise de streaming e IA

Vídeo com a visão geral sobre: como criar uma solução de detecção de anomalias segura

Como encontrar anomalias em transações financeiras em tempo real usando o BoostedTrees

Use esta implementação de referência para saber como identificar transações fraudulentas usando um modelo de árvore otimizada do TensorFlow com o Dataflow e AI Platform.

Guia de referência técnica: Como detectar anomalias em transações financeiras usando o AI Platform, o Dataflow e o BigQuery

Código de amostra: detecção de anomalias em transações financeiras

Como encontrar anomalias em dados de série temporal usando um codificador automático LSTM

Use esta implementação de referência para saber como processar previamente dados de série temporal para preencher as lacunas nos dados de origem e, em seguida, executar os dados por meio de um codificador automático LSTM para identificar anomalias. O codificador automático é criado como um modelo Keras que implementa uma rede neural LSTM.

Código de amostra: como processar dados de série temporal

Detecção de fraude em cartão de crédito em tempo real

Saiba como usar dados de transações e do cliente para treinar modelos de machine learning no BigQuery ML que podem ser usados em um pipeline de dados em tempo real para identificar, analisar e acionar alertas de potencial fraude de cartão de crédito.

Exemplo de código: Detecção de fraude em cartão de crédito em tempo real

Postagem técnica do blog: Como criar uma solução de detecção de fraudes em cartão de crédito em tempo real sem servidor

Vídeo de visão geral: Como criar uma solução de detecção de fraude em cartão de crédito em tempo real sem servidor

Webinário: Detecção de fraude em cartão de crédito

Modelagem de força relativa em séries temporais para mercados de capitais

Esse padrão é relevante principalmente para clientes do Capital Markets e seus departamentos de análise quantitativa (Quants) para rastrear seus indicadores técnicos em tempo real para tomar decisões de investimento ou rastrear índices. Ele foi desenvolvido com base na detecção de anomalias de séries temporais, e pode ser aplicado facilmente a outros setores, como a indústria, para detectar anomalias em métricas relevantes de séries temporais.

Código de amostra: exemplo de série temporal de serviços financeiros do Dataflow

Postagem do blog sobre negócios e técnico: Como detectar anomalias aprendidas por máquina em dados de câmbio em tempo real

Monetização de dados

Solução Descrição Produtos Links

Como listar dados para venda no Google Cloud Marketplace usando o Datashare Toolkit

Saiba como trocar e gerar receita com dados de mercado históricos e em tempo real com segurança e facilidade. Essa solução de referência funciona para editores de dados de mercado, agregadores e consumidores.

Visão geral técnica: arquivo readme do Datashare Toolkit (em inglês)

Exemplo de código: Datashare Toolkit (em inglês)

Vídeo de visão geral: visão geral do Datashare (em inglês)

Implantação (conta do Google Cloud necessária): VMs do Datashare

Análise geral

Solução Descrição Produtos Links

Como criar um painel de análise de sites em tempo real

Saiba como criar um painel que forneça métricas em tempo real e que você possa usar para entender o desempenho de incentivos ou testes no seu site.

Código de amostra: análise em tempo real usando Dataflow e Memorystore

Vídeo de visão geral: Avanço de nível, análise em tempo real usando Dataflow e Memorystore

Como criar um pipeline para transcrever e analisar arquivos de voz

Saiba como transcrever e analisar arquivos de voz enviados e salvar esses dados no BigQuery para uso em visualizações.

Código de amostra: framework de análise de voz

Como construir um armazenamento de dados para gerenciamento de experiência

Saiba como transformar os dados da pesquisa em formatos que podem ser usados em um armazenamento de dados e para análises mais profundas. Esse padrão se aplica às experiências do cliente e do funcionário, além de outros casos de uso focados na experiência.

Guia de referência técnica: Como gerar insights com formulários em um armazenamento de dados de pesquisas (em inglês)

Exemplo de código: Como transformar e carregar dados de pesquisas no BigQuery usando o Dataprep by Trifacta (em inglês)

Postagem do blog: Como criar um armazenamento de dados para gerenciamento de experiência (XM, na sigla em inglês) com respostas de pesquisas (em inglês)

Vídeo de visão geral: Como criar um armazenamento de dados para gerenciamento de experiência com respostas de pesquisas (em inglês)

Tutorial: Transformar e carregar respostas de formulários de pesquisa no BigQuery (em inglês)

Experiência de demonstração: Pesquisa de mercado do Cloud (em inglês)

Legendagem de clipes de mídia em tempo real

Saiba como criar legendas WebVTT em tempo real para clipes de áudio ou vídeo usando a API Speech-to-Text em um pipeline do Dataflow.

Guia técnico de referência: Como legendar clipes de mídia em tempo real usando Dataflow, Pub/Sub e a API Speech-to-Text

Exemplo de código: Legenda automática WebVTT da API Streaming Speech-to-Text usando o Dataflow

Como criar uma plataforma unificada de análise de aplicativos

Saiba como centralizar suas fontes de dados em um armazenamento de dados e se aprofundar no comportamento do cliente para tomar decisões de negócios informadas.

Guia de referência técnica: Como criar uma plataforma unificada de análise de aplicativos usando o Firebase, o BigQuery e o Looker

Postagem do blog: Como criar uma plataforma de análise unificada para nativos digitais

Vídeo de visão geral: como criar uma plataforma de análise de aplicativo unificada

Código de amostra: análise de aplicativos unificada

Saiba como usar o conjunto de dados público do Google Trends dos nossos conjuntos de dados do Google Cloud para lidar com desafios comerciais comuns, como identificar tendências nas suas lojas de varejo. antecipar a demanda do produto e desenvolver novas campanhas de marketing.

Postagem do blog: Tome decisões com base nos dados do Google Trends

Vídeo de visão geral: O conjunto de dados do Google Trends agora está no BigQuery

Código de amostra (notebook): Notebook de exemplo de tendências

Código de amostra (SQL): Amostras de consultas do Google Trends

Painel de exemplo: 25 principais termos de pesquisa do Google em alta

Como entender e otimizar seus gastos com o Google Cloud

Saiba como levar seus dados do Google Cloud Billing para o BigQuery para entender e otimizar seus gastos e visualizar os resultados acionáveis no Looker ou no Data Studio.

Postagem do blog: Como otimizar seus gastos com o Google Cloud com o BigQuery e o Looker

Código de amostra: Bloqueio do Looker para o Google Cloud Billing

Otimização de preços orientada por dados

Saiba como reagir rapidamente às mudanças do mercado para manter a competição, já que os clientes com otimização mais rápida podem oferecer preços competitivos aos usuários finais usando os serviços do Google Cloud, o que aumenta as vendas e os resultados. Esta solução usa o Dataprep by Trifacta para integrar e destacar fontes de dados, o BigQuery para gerenciar e armazenar seus modelos de preços e visualizar resultados acionáveis no Looker.

Postagem do blog: Otimização de preços baseada em dados

Tutorial: como otimizar o preço de produtos de varejo

Código de amostra: Bloqueio do Looker para o Google Cloud Billing

Saúde e ciências biológicas

Solução Descrição Produtos Links

Como executar uma análise genômica de célula única

Saiba como configurar o Dataproc com Dask, RAPIDS, GPUs e JupyterLab e, em seguida, executar uma análise genômica de célula única.

Visão geral técnica: como executar uma análise genômica com Dask, RAPIDS e GPUs no Dataproc

Código de amostra: notebook

Postagem do blog: Análise genômica de célula única acelerada pela NVIDIA no Google Cloud

Análise de registros

Solução Descrição Produtos Links

Como criar um pipeline para capturar interações do Dialogflow

Saiba como criar um pipeline para capturar e armazenar interações do Dialogflow para análise posterior.

Código de amostra: analisador de registros do Dialogflow

Como processar registros em escala usando o Dataflow

Aprenda a criar pipelines analíticos que processam entradas de registro de várias fontes e combine os dados de registro usando maneiras que ajudem a extrair informação significativa.

Guia de referência técnica: Como processar registros em escala usando o Dataflow

Exemplo de código: Como processar registros em escala usando o Dataflow

Reconhecimento de padrões

Solução Descrição Produtos Links

Como detectar objetos em trechos de vídeo

Nesta solução, mostramos como criar uma solução de análise de trechos de vídeo em tempo real para rastreamento de objetos usando o Dataflow e a API Video Intelligence. Isso permitirá a você analisar grandes volumes de dados não estruturados quase em tempo real.

Código de amostra: solução de análise de vídeo usando o Dataflow e a API Video Intelligence

Ptransform do Apache Beam para chamar a API Video Intelligence: apache_beam.ml.gcp.videointelligenceml module

Como processar conteúdo gerado pelo usuário usando a API Video Intelligence e a API Cloud Vision

Neste conjunto de soluções, descrevemos a arquitetura de implantação de um sistema escalonável para filtrar envios de imagens e vídeos usando a API Cloud Vision e a API Video Intelligence.

Arquitetura: como processar conteúdo gerado pelo usuário usando a API Video Intelligence e a API Cloud Vision

Tutorial: como processar conteúdo gerado pelo usuário usando a API Video Intelligence e a API Cloud Vision

Código de amostra: como processar conteúdo gerado pelo usuário usando a API Video Intelligence e a API Cloud Vision

Ptransform do Apache Beam para chamar a API Cloud Vision: apache_beam.ml.gcp.visionml module

Anonimizar (desidentificar) e reidentificar dados de PII no pipeline de análise inteligente

Neste conjunto de soluções, mostramos como usar o Dataflow, o Cloud Data Loss Prevention, o BigQuery e o Pub/Sub para desidentificar e reidentificar informações de identificação pessoal (PII) em um conjunto de dados de amostra.

Guias de referência técnica:

Código de amostra: migrar dados confidenciais no BigQuery usando o Dataflow e o Cloud Data Loss Prevention

Previsão preditiva

Solução Descrição Produtos Links

Como criar um modelo de previsão de demanda

Aprenda a criar um modelo de série temporal que possa ser usado para prever a demanda de varejo de vários produtos.

Postagem do blog: Como criar modelos de previsão de demanda com o BigQuery ML

Notebook: bqml_retail_demand_forecasting.ipynb

Como criar um sistema de recomendação de comércio eletrônico

Saiba como criar um sistema de recomendações usando o BigQuery ML para gerar recomendações de produtos ou serviços com base nos dados do cliente disponíveis no BigQuery. Em seguida, saiba como disponibilizar esses dados para outros sistemas de produção exportando-os para o Google Analytics 360 ou o Cloud Storage ou fazendo a leitura de maneira programada na tabela do BigQuery.

Guia técnico de referência: como criar um sistema de recomendações de comércio eletrônico usando o BigQuery ML

Notebook: bqml_retail_recommendation_system.ipynb

Como criar um modelo de clustering k-means para segmentação de mercado

Saiba como segmentar dados de público do Google Analytics 360 com fins de marketing criando clusters k-means com o BigQuery ML.

Guia técnico de referência: Como criar um modelo de clustering k-means para segmentação de mercado usando o BigQuery ML

Notebook: Como criar modelos de clustering k-means para segmentação de mercado usando o BigQuery ML

Como criar um modelo de propensão para serviços financeiros no Google Cloud

Nesta solução, mostramos como explorar dados e criar um modelo de machine learning (ML) do scikit-learn no Google Cloud. O caso de uso desta solução é um modelo preditivo de propensão a comprar voltado para serviços financeiros. Os modelos de propensão têm sido usados amplamente no setor financeiro para analisar a tendência de um cliente em potencial de fazer uma compra, mas as práticas recomendadas descritas nesta solução podem ser aplicadas a uma ampla variedade de casos de uso de ML.

Guia de referência técnica: como construir um modelo de propensão para serviços financeiros no Google Cloud

Código de amostra: serviços profissionais

Como criar uma solução de propensão de compra

Saiba como criar e implantar um modelo de propensão de compra, usá-lo para receber previsões sobre o comportamento de compra do cliente e, em seguida, criar um pipeline para automatizar o fluxo de trabalho.

Guia de referência técnica: como prever a propensão do cliente à compra usando o BigQuery ML e o AI Platform

Exemplo de código: como criar uma solução ponta a ponta de propensão de compra usando o BigQuery ML e os pipelines do Kubeflow

Postagem do blog: Como criar uma solução ponta a ponta de propensão de compra usando o BigQuery ML e os pipelines do Kubeflow

Criar novos públicos-alvo com base no valor atual da vida útil do cliente

Saiba como identificar seus clientes mais valiosos, atualmente, e usá-los para desenvolver público-alvo semelhante no Google Ads.

Guia de referência técnica: Como criar novos públicos-alvo com base no valor de vida útil do cliente existente

Exemplo de código: Ativar previsões de LTV

Como criar um modelo de previsão de demanda de série temporal

Aprenda a criar uma solução completa para prever a demanda de produtos de varejo. Use dados de vendas históricos para treinar um modelo de previsão de demanda usando o BigQuery ML e visualize os valores previstos em um painel.

Exemplo de código: Como criar um modelo de previsão de demanda de série temporal usando o BigQuery ML

Como criar e exibir embeddings para recomendações em tempo quase real

Saiba como criar e disponibilizar embeddings para fazer recomendações de itens semelhantes em tempo real. Use o BigQuery ML para criar um modelo de fatoração de matrizes para prever os embeddings e o framework de código aberto ScaNN para criar um distintivo mais próximo, e implante o modelo no AI Platform Prediction para correspondência de itens semelhantes em tempo real.

Guia de referência técnica: Arquitetura de um sistema de machine learning para correspondência de itens

Exemplo de código: recomendação de matriz de ML do BigQuery para itens em tempo real e ScaNN

Previsão do Planilhas usando o BigQuery ML

Saiba como operacionalizar o machine learning com seus processos de negócios combinando Planilhas conectadas com um modelo de previsão no BigQuery ML. Neste exemplo específico, analisaremos o processo de criação de um modelo de previsão para o tráfego do site usando dados do Google Analytics. Esse padrão pode ser estendido para trabalhar com outros tipos de dados e outros modelos de machine learning.

Postagem do blog: Como usar um modelo de machine learning do Planilhas com o BigQuery ML

Exemplo de código: Previsões do BigQuery ML com o Planilhas

Modelo: Previsões do BigQuery ML com o Planilhas

Prever falhas físicas usando um pipeline de análise de visão

Nesta solução, você aprende a criar um pipeline do Dataflow para receber insights de arquivos de imagem em larga escala armazenados em um bucket do Cloud Storage. A inspeção visual automatizada pode ajudar a alcançar metas de fabricação, como a melhoria dos processos de controle de qualidade ou o monitoramento da segurança do trabalhador e, ao mesmo tempo, reduzir custos.

Código de amostra: solução do Vision Analytics usando o Dataflow e a API Cloud Vision

Como prever o valor da vida útil do cliente

Nesta série, mostramos como prever o valor de vida útil do cliente (CLV, na sigla em inglês) usando o AI Platform e o BigQuery.

Guias de referência técnica:

Código de amostra: previsão do valor de vida útil do cliente no Google Cloud

Modelos de propensão para aplicativos de jogos

Aprenda a usar o BigQuery ML para treinar, avaliar e receber previsões de vários tipos diferentes de modelos de propensão. Eles ajudam a determinar a probabilidade de usuários específicos voltarem ao seu app. Assim, você poderá usar essas informações em decisões de marketing.

Postagem do blog: Previsão de desligamento de usuários para desenvolvedores de jogos que usam o Google Analytics 4 e o BigQuery ML (em inglês)

Notebook: Previsão de desligamento de usuários para desenvolvedores de jogos que usam o Google Analytics 4 e o BigQuery ML (em inglês)

Visão geral técnica: modelo de propensão para aplicativos de jogos (em inglês)

Análise da sequência de cliques em tempo real

Solução Descrição Produtos Links

Aplicativo de amostra de comércio eletrônico com análise de streaming e IA em tempo real

O aplicativo de amostra de comércio eletrônico ilustra casos de uso comuns e práticas recomendadas para implementar análises de dados de streaming e IA em tempo real. Use-o para saber como responder dinamicamente às ações dos clientes analisando e respondendo a eventos em tempo real e também como armazenar, analisar e visualizar esses dados de eventos para insights de longo prazo.

Visão geral técnica: aplicativo de amostra de comércio eletrônico usando análise de streaming e IA em tempo real

Exemplo de código: aplicativo de amostra de comércio eletrônico para Java

Demonstração interativa: explore a análise de stream do Google

Vídeo de visão geral: ativar experiências da Web em tempo real com a análise de stream

Análise de séries temporais

Solução Descrição Produtos Links

Como processar dados de série temporal de streaming

Saiba mais sobre os principais desafios do processamento de dados de série temporal de streaming ao usar o Apache Beam e veja como a solução Timeseries Streaming aborda esses desafios.

Visão geral técnica: Como processar dados de série temporal de streaming: visão geral

Tutorial: Como processar dados de série temporal de streaming: tutorial

Exemplo de código: Streaming de séries temporais

Como trabalhar com data lakes

Solução Descrição Produtos Links

Como criar pipelines de CI/CD para serviços de processamento de dados sem servidor de um data lake

Saiba como configurar a integração contínua e a entrega contínua (CI/CD) para os pipelines de processamento de dados de um data lake. Implemente métodos de CI/CD com o Terraform, o GitHub e o Cloud Build usando a conhecida metodologia GitOps.

Visão geral técnica: Como criar pipelines de CI/CD para serviços de processamento de dados sem servidor de um data lake