Padrões de referência de análises inteligentes

Nesta página, fornecemos links para códigos de amostra e guias de referência técnica para casos de uso comuns de análise. Use esses recursos para aprender, identificar práticas recomendadas e aproveitar o código de amostra para criar os recursos de análise necessários.

Os padrões de referência listados aqui são orientados por código e destinados a agilizar a implementação. Para ver uma variedade maior de soluções de análise, consulte a lista de guias de referência técnica de Big Data.

Detecção de anomalias

Solução Descrição Produtos Links

Como criar um aplicativo de detecção de anomalias de rede de telecomunicações usando o clustering k-means

Nesta solução, mostramos como criar um aplicativo de detecção de anomalias de rede baseado em ML para redes de telecomunicações e identificação de ameaças de segurança cibernética usando o Dataflow, BigQuery ML e Cloud Data Loss Prevention.

Guia técnico de referência: Como criar uma solução segura de detecção de anomalias usando Dataflow, BigQuery ML e Cloud Data Loss Prevention

Código de amostra: detecção de anomalias em registros do Netflow

Postagem do blog: detecção de anomalias usando análise de streaming e IA

Vídeo com a visão geral sobre: como criar uma solução de detecção de anomalias segura

Como encontrar anomalias em transações financeiras em tempo real usando o BoostedTrees

Use esta implementação de referência para saber como identificar transações fraudulentas usando um modelo de árvore otimizada do TensorFlow com o Dataflow e AI Platform.

Guia de referência técnica: Como detectar anomalias em transações financeiras usando o AI Platform, o Dataflow e o BigQuery

Código de amostra: detecção de anomalias em transações financeiras

Como encontrar anomalias em dados de série temporal usando um codificador automático LSTM

Use esta implementação de referência para saber como processar previamente dados de série temporal para preencher as lacunas nos dados de origem e, em seguida, executar os dados por meio de um codificador automático LSTM para identificar anomalias. O codificador automático é criado como um modelo Keras que implementa uma rede neural LSTM.

Código de amostra: como processar dados de série temporal

Detecção de fraude em cartão de crédito em tempo real

Saiba como usar dados de transações e do cliente para treinar modelos de machine learning no BigQuery ML que podem ser usados em um pipeline de dados em tempo real para identificar, analisar e acionar alertas de potencial fraude de cartão de crédito.

Exemplo de código: Detecção de fraude em cartão de crédito em tempo real

Postagem técnica do blog: Como criar uma solução de detecção de fraudes em cartão de crédito em tempo real sem servidor

Vídeo de visão geral: Como criar uma solução de detecção de fraude em cartão de crédito em tempo real sem servidor

Webinário: Detecção de fraude em cartão de crédito

Monetização de dados

Solução Descrição Produtos Links

Como listar dados para venda no Google Cloud Marketplace usando o Datashare Toolkit

Saiba como trocar e gerar receita com dados de mercado históricos e em tempo real com segurança e facilidade. Essa solução de referência funciona para editores de dados de mercado, agregadores e consumidores.

Visão geral técnica: arquivo readme do Datashare Toolkit (em inglês)

Exemplo de código: Datashare Toolkit (em inglês)

Vídeo de visão geral: visão geral do Datashare (em inglês)

Implantação (conta do Google Cloud necessária): VMs do Datashare

Análise geral

Solução Descrição Produtos Links

Como criar um painel de análise de sites em tempo real

Saiba como criar um painel que forneça métricas em tempo real e que você possa usar para entender o desempenho de incentivos ou testes no seu site.

Código de amostra: análise em tempo real usando Dataflow e Memorystore

Vídeo de visão geral: Avanço de nível, análise em tempo real usando Dataflow e Memorystore

Como criar um pipeline para transcrever e analisar arquivos de voz

Saiba como transcrever e analisar arquivos de voz enviados e salvar esses dados no BigQuery para uso em visualizações.

Código de amostra: framework de análise de voz

Como construir um armazenamento de dados para gerenciamento de experiência

Saiba como transformar os dados da pesquisa em formatos que podem ser usados em um armazenamento de dados e para análises mais profundas. Esse padrão se aplica às experiências do cliente e do funcionário, além de outros casos de uso focados na experiência.

Guia de referência técnica: Como gerar insights com formulários em um armazenamento de dados de pesquisas (em inglês)

Exemplo de código: Como transformar e carregar dados de pesquisas no BigQuery usando o Dataprep by Trifacta (em inglês)

Postagem do blog: Como criar um armazenamento de dados para gerenciamento de experiência (XM, na sigla em inglês) com respostas de pesquisas (em inglês)

Vídeo de visão geral: Como criar um armazenamento de dados para gerenciamento de experiência com respostas de pesquisas (em inglês)

Tutorial: Transformar e carregar respostas de formulários de pesquisa no BigQuery (em inglês)

Experiência de demonstração: Pesquisa de mercado do Cloud (em inglês)

Legendagem de clipes de mídia em tempo real

Saiba como criar legendas WebVTT em tempo real para clipes de áudio ou vídeo usando a API Speech-to-Text em um pipeline do Dataflow.

Guia técnico de referência: Como legendar clipes de mídia em tempo real usando Dataflow, Pub/Sub e a API Speech-to-Text

Exemplo de código: Legenda automática WebVTT da API Streaming Speech-to-Text usando o Dataflow

Análise de registros

Solução Descrição Produtos Links

Como criar um pipeline para capturar interações do Dialogflow

Saiba como criar um pipeline para capturar e armazenar interações do Dialogflow para análise posterior.

Código de amostra: analisador de registros do Dialogflow

Como processar registros em escala usando o Dataflow

Aprenda a criar pipelines analíticos que processam entradas de registro de várias fontes e combine os dados de registro usando maneiras que ajudem a extrair informação significativa.

Guia de referência técnica: Como processar registros em escala usando o Dataflow

Exemplo de código: Como processar registros em escala usando o Dataflow

Reconhecimento de padrões

Solução Descrição Produtos Links

Como detectar objetos em trechos de vídeo

Nesta solução, mostramos como criar uma solução de análise de trechos de vídeo em tempo real para rastreamento de objetos usando o Dataflow e a API Video Intelligence. Isso permitirá a você analisar grandes volumes de dados não estruturados quase em tempo real.

Código de amostra: solução de análise de vídeo usando o Dataflow e a API Video Intelligence

Ptransform do Apache Beam para chamar a API Video Intelligence: apache_beam.ml.gcp.videointelligenceml module

Como processar conteúdo gerado pelo usuário usando a API Video Intelligence e a API Cloud Vision

Neste conjunto de soluções, descrevemos a arquitetura de implantação de um sistema escalonável para filtrar envios de imagens e vídeos usando a API Cloud Vision e a API Video Intelligence.

Arquitetura: como processar conteúdo gerado pelo usuário usando a API Video Intelligence e a API Cloud Vision

Tutorial: como processar conteúdo gerado pelo usuário usando a API Video Intelligence e a API Cloud Vision

Código de amostra: como processar conteúdo gerado pelo usuário usando a API Video Intelligence e a API Cloud Vision

Ptransform do Apache Beam para chamar a API Cloud Vision: apache_beam.ml.gcp.visionml module

Anonimizar (desidentificar) e reidentificar dados de PII no pipeline de análise inteligente

Neste conjunto de soluções, mostramos como usar o Dataflow, o Cloud Data Loss Prevention, o BigQuery e o Pub/Sub para desidentificar e reidentificar informações de identificação pessoal (PII) em um conjunto de dados de amostra.

Guias de referência técnica:

Código de amostra: migrar dados confidenciais no BigQuery usando o Dataflow e o Cloud Data Loss Prevention

Previsão preditiva

Solução Descrição Produtos Links

Como criar um modelo de previsão de demanda

Aprenda a criar um modelo de série temporal que possa ser usado para prever a demanda de varejo de vários produtos.

Postagem do blog: Como criar modelos de previsão de demanda com o BigQuery ML

Notebook: bqml_retail_demand_forecasting.ipynb

Como criar um sistema de recomendação de comércio eletrônico

Saiba como criar um sistema de recomendações usando o BigQuery ML para gerar recomendações de produtos ou serviços com base nos dados do cliente disponíveis no BigQuery. Em seguida, saiba como disponibilizar esses dados para outros sistemas de produção exportando-os para o Google Analytics 360 ou o Cloud Storage ou fazendo a leitura de maneira programada na tabela do BigQuery.

Guia técnico de referência: como criar um sistema de recomendações de comércio eletrônico usando o BigQuery ML

Notebook: bqml_retail_recommendation_system.ipynb

Como criar um modelo de clustering k-means para segmentação de mercado

Saiba como segmentar dados de público do Google Analytics 360 com fins de marketing criando clusters k-means com o BigQuery ML.

Guia técnico de referência: Como criar um modelo de clustering k-means para segmentação de mercado usando o BigQuery ML

Notebook: Como criar modelos de clustering k-means para segmentação de mercado usando o BigQuery ML

Como criar um modelo de propensão para serviços financeiros no Google Cloud

Nesta solução, mostramos como explorar dados e criar um modelo de machine learning (ML) do scikit-learn no Google Cloud. O caso de uso desta solução é um modelo preditivo de propensão a comprar voltado para serviços financeiros. Os modelos de propensão têm sido usados amplamente no setor financeiro para analisar a tendência de um cliente em potencial de fazer uma compra, mas as práticas recomendadas descritas nesta solução podem ser aplicadas a uma ampla variedade de casos de uso de ML.

Guia de referência técnica: como construir um modelo de propensão para serviços financeiros no Google Cloud

Código de amostra: serviços profissionais

Como criar uma solução de propensão de compra

Saiba como criar e implantar um modelo de propensão de compra, usá-lo para receber previsões sobre o comportamento de compra do cliente e, em seguida, criar um pipeline para automatizar o fluxo de trabalho.

Guia de referência técnica: como prever a propensão do cliente à compra usando o BigQuery ML e o AI Platform

Exemplo de código: como criar uma solução ponta a ponta de propensão de compra usando o BigQuery ML e os pipelines do Kubeflow

Postagem do blog: Como criar uma solução ponta a ponta de propensão de compra usando o BigQuery ML e os pipelines do Kubeflow

Criar novos públicos-alvo com base no valor atual da vida útil do cliente

Saiba como identificar seus clientes mais valiosos, atualmente, e usá-los para desenvolver público-alvo semelhante no Google Ads.

Guia de referência técnica: Como criar novos públicos-alvo com base no valor de vida útil do cliente existente

Exemplo de código: Ativar previsões de LTV

Como criar um modelo de previsão de demanda de série temporal

Aprenda a criar uma solução completa para prever a demanda de produtos de varejo. Use dados de vendas históricos para treinar um modelo de previsão de demanda usando o BigQuery ML e visualize os valores previstos em um painel.

Exemplo de código: Como criar um modelo de previsão de demanda de série temporal usando o BigQuery ML

Como criar e exibir embeddings para recomendações em tempo quase real

Saiba como criar e disponibilizar embeddings para fazer recomendações de itens semelhantes em tempo real. Use o BigQuery ML para criar um modelo de fatoração de matrizes para prever os embeddings e o framework de código aberto ScaNN para criar um distintivo mais próximo, e implante o modelo no AI Platform Prediction para correspondência de itens semelhantes em tempo real.

Guia de referência técnica: Arquitetura de um sistema de machine learning para correspondência de itens

Exemplo de código: recomendação de matriz de ML do BigQuery para itens em tempo real e ScaNN

Previsão do Planilhas usando o BigQuery ML

Saiba como operacionalizar o machine learning com seus processos de negócios combinando Planilhas conectadas com um modelo de previsão no BigQuery ML. Neste exemplo específico, analisaremos o processo de criação de um modelo de previsão para o tráfego do site usando dados do Google Analytics. Esse padrão pode ser estendido para trabalhar com outros tipos de dados e outros modelos de machine learning.

Postagem do blog: Como usar um modelo de machine learning do Planilhas com o BigQuery ML

Exemplo de código: Previsões do BigQuery ML com o Planilhas

Modelo: Previsões do BigQuery ML com o Planilhas

Prever falhas físicas usando um pipeline de análise de visão

Nesta solução, você aprende a criar um pipeline do Dataflow para receber insights de arquivos de imagem em larga escala armazenados em um bucket do Cloud Storage. A inspeção visual automatizada pode ajudar a alcançar metas de fabricação, como a melhoria dos processos de controle de qualidade ou o monitoramento da segurança do trabalhador e, ao mesmo tempo, reduzir custos.

Código de amostra: solução do Vision Analytics usando o Dataflow e a API Cloud Vision

Como prever o valor da vida útil do cliente

Nesta série, mostramos como prever o valor de vida útil do cliente (CLV, na sigla em inglês) usando o AI Platform e o BigQuery.

Guias de referência técnica:

Código de amostra: previsão do valor de vida útil do cliente no Google Cloud

Modelos de propensão para aplicativos de jogos

Aprenda a usar o BigQuery ML para treinar, avaliar e receber previsões de vários tipos diferentes de modelos de propensão. Eles ajudam a determinar a probabilidade de usuários específicos voltarem ao seu app. Assim, você poderá usar essas informações em decisões de marketing.

Postagem do blog: Previsão de desligamento de usuários para desenvolvedores de jogos que usam o Google Analytics 4 e o BigQuery ML (em inglês)

Notebook: Previsão de desligamento de usuários para desenvolvedores de jogos que usam o Google Analytics 4 e o BigQuery ML (em inglês)

Visão geral técnica: modelo de propensão para aplicativos de jogos (em inglês)

Análise da sequência de cliques em tempo real

Solução Descrição Produtos Links

Aplicativo de amostra de comércio eletrônico com análise de streaming e IA em tempo real

O aplicativo de amostra de comércio eletrônico ilustra casos de uso comuns e práticas recomendadas para implementar análises de dados de streaming e IA em tempo real. Use-o para saber como responder dinamicamente às ações dos clientes analisando e respondendo a eventos em tempo real e também como armazenar, analisar e visualizar esses dados de eventos para insights de longo prazo.

Visão geral técnica: aplicativo de amostra de comércio eletrônico usando análise de streaming e IA em tempo real

Exemplo de código: aplicativo de amostra de comércio eletrônico para Java

Demonstração interativa: explore a análise de stream do Google

Vídeo de visão geral: ativar experiências da Web em tempo real com a análise de stream

Análise de séries temporais

Solução Descrição Produtos Links

Como processar dados de série temporal de streaming

Saiba mais sobre os principais desafios do processamento de dados de série temporal de streaming ao usar o Apache Beam e veja como a solução Timeseries Streaming aborda esses desafios.

Visão geral técnica: Como processar dados de série temporal de streaming: visão geral

Tutorial: Como processar dados de série temporal de streaming: tutorial

Exemplo de código: Streaming de séries temporais

Como trabalhar com data lakes

Solução Descrição Produtos Links

Como criar pipelines de CI/CD para serviços de processamento de dados sem servidor de um data lake

Saiba como configurar a integração contínua e a entrega contínua (CI/CD) para os pipelines de processamento de dados de um data lake. Implemente métodos de CI/CD com o Terraform, o GitHub e o Cloud Build usando a conhecida metodologia GitOps.

Visão geral técnica: Como criar pipelines de CI/CD para serviços de processamento de dados sem servidor de um data lake