Padrões de design para análise de dados

Last reviewed 2023-02-06 UTC

Nesta página, você encontrará links para casos de uso empresariais, códigos de amostra e guias de referência técnica para casos de uso de análise de dados do setor. Use esses recursos para aprender, identificar práticas recomendadas para acelerar a implementação de suas cargas de trabalho.

Os padrões de design listados aqui são casos de uso orientados a código e destinados a levar rapidamente à implementação. Para ver mais soluções de análise, consulte a lista de guias de referência técnica de análise de dados.

Detecção de anomalias

Solução Descrição Produtos Links

Como encontrar anomalias em dados de série temporal usando um codificador automático LSTM

Use esta implementação de referência para saber como processar previamente dados de série temporal para preencher as lacunas nos dados de origem e, em seguida, executar os dados por meio de um codificador automático LSTM para identificar anomalias. O codificador automático é criado como um modelo Keras que implementa uma rede neural LSTM.

Código de amostra: como processar dados de série temporal

Detecção de fraude em cartão de crédito em tempo real

Saiba como usar dados de transações e do cliente para treinar modelos de machine learning no BigQuery ML que podem ser usados em um pipeline de dados em tempo real para identificar, analisar e acionar alertas de potencial fraude de cartão de crédito.

Exemplo de código: Detecção de fraude em cartão de crédito em tempo real

Vídeo de visão geral: Fraudfinder: uma solução abrangente para problemas reais de ciência de dados

Modelagem de força relativa em séries temporais para mercados de capitais

Esse padrão é relevante principalmente para clientes do Capital Markets e seus departamentos de análise quantitativa (Quants) para rastrear seus indicadores técnicos em tempo real para tomar decisões de investimento ou rastrear índices. Ele foi desenvolvido com base na detecção de anomalias de séries temporais, e pode ser aplicado facilmente a outros setores, como a indústria, para detectar anomalias em métricas relevantes de séries temporais.

Código de amostra: exemplo de série temporal de serviços financeiros do Dataflow

Postagem do blog sobre negócios e técnico: Como detectar anomalias aprendidas por máquina em dados de câmbio em tempo real

Ambiental, social e governança

Solução Descrição Produtos Links

Como calcular o risco climático físico para finanças sustentáveis

Conheça um padrão de design de análise de risco climático para portfólios de empréstimo e investimento usando ferramentas nativas da nuvem e conjuntos de dados geoespaciais granulares.

Visão geral técnica: Repositório do Bitbucket sobre análise de risco climático

Vídeo da visão geral: Como usar insights de dados independentes da ESG

Postagem do blog: Quantificar o risco climático do portfólio para investimento sustentável com análises geoespaciais

Análise geral

Solução Descrição Produtos Links

Como criar um painel de análise de sites em tempo real

Saiba como criar um painel que forneça métricas em tempo real e que você possa usar para entender o desempenho de incentivos ou testes no seu site.

Código de amostra: análise em tempo real usando Dataflow e Memorystore

Vídeo de visão geral: Avanço de nível, análise em tempo real usando Dataflow e Memorystore

Como criar um pipeline para transcrever e analisar arquivos de voz

Saiba como transcrever e analisar arquivos de voz enviados e salvar esses dados no BigQuery para uso em visualizações.

Código de amostra: framework de análise de voz

Analisar dados não estruturados em armazenamentos de objetos

Saiba como analisar dados não estruturados no Cloud Storage, ativando análises com funções remotas, como Vertex AI Vision em imagens. Saiba como fazer inferência em dados não estruturados usando o BigQuery ML.

Guia técnico de referência: Introdução às tabelas de objetos

Tutorial: Analisar uma tabela de objetos usando uma função remota e a API Cloud Vision

Tutorial: Executar inferência em tabelas de objetos de imagem usando o TensorFlow e o BigQuery ML

Analisar arquivos de documentos não estruturados em um data warehouse

Saiba como usar tabelas de objetos do BigLake e funções remotas para analisar documentos não estruturados com a Document AI e salvar a saída como dados estruturados no BigQuery.

Exemplo de código: análise de documentos não estruturados no SQL

Como construir um armazenamento de dados para gerenciamento de experiência

Saiba como transformar os dados da pesquisa em formatos que podem ser usados em um armazenamento de dados e para análises mais profundas. Esse padrão se aplica às experiências do cliente e do funcionário, além de outros casos de uso focados na experiência.

Guia de referência técnica: Como gerar insights com o app Formulários Google em um armazenamento de dados de pesquisas (em inglês)

Exemplo de código: Como transformar e carregar dados de pesquisas no BigQuery usando o Dataprep by Trifacta (em inglês)

Postagem do blog: Como criar um armazenamento de dados para gerenciamento de experiência (XM, na sigla em inglês) com respostas de pesquisas (em inglês)

Vídeo de visão geral: Como criar um armazenamento de dados para gerenciamento de experiência com respostas de pesquisas (em inglês)

Tutorial: Transformar e carregar respostas do app Formulários Google de pesquisa no BigQuery (em inglês)

Saiba como usar o conjunto de dados público do Google Trends dos nossos conjuntos de dados do Google Cloud para lidar com desafios comerciais comuns, como identificar tendências nas suas lojas de varejo. antecipar a demanda do produto e desenvolver novas campanhas de marketing.

Postagem do blog: Tome decisões com base nos dados do Google Trends

Vídeo de visão geral: O conjunto de dados do Google Trends agora está no BigQuery

Código de amostra (notebook): Notebook de exemplo de tendências

Código de amostra (SQL): Amostras de consultas do Google Trends

Painel de exemplo: 25 principais termos de pesquisa do Google em alta

Como entender e otimizar seus gastos com o Google Cloud

Saiba como levar seus dados do Google Cloud Billing para o BigQuery para entender e otimizar seus gastos e visualizar os resultados acionáveis no Looker ou no Looker Studio.

Postagem do blog: Como otimizar seus gastos com o Google Cloud com o BigQuery e o Looker

Código de amostra: Bloqueio do Looker para o Google Cloud Billing

Otimização de preços orientada por dados

Saiba como reagir rapidamente às mudanças do mercado para manter a competição, já que os clientes com otimização mais rápida podem oferecer preços competitivos aos usuários finais usando os serviços do Google Cloud, o que aumenta as vendas e os resultados. Esta solução usa o Dataprep by Trifacta para integrar e padronizar fontes de dados, o BigQuery para gerenciar e armazenar seus modelos de preços e visualizar resultados acionáveis no Looker.

Postagem do blog: Otimização de preços baseada em dados

Tutorial: como otimizar o preço de produtos de varejo

Código de amostra: Bloqueio do Looker para o Google Cloud Billing

Saúde e ciências biológicas

Solução Descrição Produtos Links

Como executar uma análise genômica de célula única

Saiba como configurar o Dataproc com Dask, RAPIDS, GPUs e JupyterLab e, em seguida, executar uma análise genômica de célula única.

Visão geral técnica: como executar uma análise genômica com Dask, RAPIDS e GPUs no Dataproc

Código de amostra: notebook

Postagem do blog: Análise genômica de célula única acelerada pela NVIDIA no Google Cloud

Análise de registros

Solução Descrição Produtos Links

Como criar um pipeline para capturar interações do Dialogflow

Saiba como criar um pipeline para capturar e armazenar interações do Dialogflow para análise posterior.

Código de amostra: analisador de registros do Dialogflow

Reconhecimento de padrões

Solução Descrição Produtos Links

Como detectar objetos em trechos de vídeo

Nesta solução, mostramos como criar uma solução de análise de trechos de vídeo em tempo real para rastreamento de objetos usando o Dataflow e a API Video Intelligence. Isso permitirá a você analisar grandes volumes de dados não estruturados quase em tempo real.

Código de amostra: solução de análise de vídeo usando o Dataflow e a API Video Intelligence

Ptransform do Apache Beam para chamar a API Video Intelligence: apache_beam.ml.gcp.videointelligenceml module

Anonimizar (desidentificar) e reidentificar dados de PII no pipeline de análise inteligente

Neste conjunto de soluções, mostramos como usar o Dataflow, a Proteção de dados sensíveis, o BigQuery e o Pub/Sub para desidentificar e reidentificar informações de identificação pessoal (PII) em um conjunto de dados de amostra.

Guias de referência técnica:

Código de amostra: migrar dados confidenciais no BigQuery usando o Dataflow e o Cloud Data Loss Prevention

Previsão preditiva

Solução Descrição Produtos Links

Crie e visualize previsões de demanda usando o Datastream, Dataflow, BigQuery ML e Looker

Saiba como replicar e processar dados operacionais de um banco de dados Oracle no Google Cloud em tempo real. No tutorial, também demonstramos como prever a demanda futura e como visualizar esses dados de previsão à medida que eles chegam. Por exemplo, para minimizar o desperdício de alimentos no varejo.

Postagem do blog: Como resolver o desperdício de alimentos com análise de dados no Google Cloud (em inglês)

Guia de referência técnica: Crie e visualize previsões de demanda usando o Datastream, o Dataflow, o BigQuery e o Looker

Como criar um modelo de previsão de demanda

Aprenda a criar um modelo de série temporal que possa ser usado para prever a demanda de varejo de vários produtos.

Postagem do blog: Como criar modelos de previsão de demanda com o BigQuery ML

Notebook: bqml_retail_demand_forecasting.ipynb

Como criar um app da Web de previsão

Saiba como criar um app da Web que use vários modelos de previsão, incluindo o BigQuery e a Vertex AI, para prever as vendas de produtos. Usuários não técnicos podem usar esse app da Web para produzir previsões e explorar os efeitos de diferentes parâmetros.

Exemplo de código: previsão de série temporal

App da Web de exemplo: demonstração ao vivo da previsão de série temporal

Criar novos públicos-alvo com base no valor atual da vida útil do cliente

Saiba como identificar seus clientes mais valiosos, atualmente, e usá-los para desenvolver público-alvo semelhante no Google Ads.

Guia de referência técnica: Como criar novos públicos-alvo com base no valor de vida útil do cliente existente

Exemplo de código: Ativar previsões de LTV

Previsão do app Planilhas Google usando o BigQuery ML

Saiba como operacionalizar o machine learning com seus processos de negócios combinando Planilhas conectadas com um modelo de previsão no BigQuery ML. Neste exemplo específico, analisaremos o processo de criação de um modelo de previsão para o tráfego do site usando dados do Google Analytics. Esse padrão pode ser estendido para trabalhar com outros tipos de dados e outros modelos de machine learning.

Postagem do blog: Como usar um modelo de machine learning do app Planilhas Google com o BigQuery ML

Exemplo de código: Previsões do BigQuery ML com o Planilhas

Modelo: Previsões do BigQuery ML com o Planilhas

Modelos de propensão para aplicativos de jogos

Aprenda a usar o BigQuery ML para treinar, avaliar e receber previsões de vários tipos diferentes de modelos de propensão. Eles ajudam a determinar a probabilidade de usuários específicos voltarem ao seu app. Assim, você poderá usar essas informações em decisões de marketing.

Postagem do blog: Previsão de desligamento de usuários para desenvolvedores de jogos que usam o Google Analytics 4 e o BigQuery ML (em inglês)

Notebook: Previsão de desligamento de usuários para desenvolvedores de jogos que usam o Google Analytics 4 e o BigQuery ML (em inglês)

Visão geral técnica: modelo de propensão para aplicativos de jogos (em inglês)

Como fazer recomendações personalizadas de produtos de investimento

Saiba como fazer recomendações de investimento personalizadas usando ingestão, processamento e melhoria de dados de mercado gerados por APIs públicas com o Cloud Functions. Carregue dados no BigQuery com o Dataflow e, em seguida, use a Vertex AI para treinar e implantar vários modelos do AutoML Tables. Orquestre esses pipelines com o Cloud Composer e implante um front-end básico da Web para recomendar investimentos aos usuários.

Postagem do blog: Como usar apps de finanças pessoais com recomendações de investimento altamente personalizadas usando a Vertex AI

Guia técnico de referência: Uma solução técnica para gerar recomendações de investimento altamente personalizadas usando ML

Exemplo de código: mecanismo de recomendação de produtos de investimento (IPRE) do padrão de design FSI

Como trabalhar com data lakes

Solução Descrição Produtos Links

Como criar pipelines de CI/CD para serviços de processamento de dados sem servidor de um data lake

Saiba como configurar a integração contínua e a entrega contínua (CI/CD) para os pipelines de processamento de dados de um data lake. Implemente métodos de CI/CD com o Terraform, o GitHub e o Cloud Build usando a conhecida metodologia GitOps.

Visão geral técnica: Como criar pipelines de CI/CD para serviços de processamento de dados sem servidor de um data lake

Controle de acesso refinado para dados armazenados em um armazenamento de objetos

Aprenda a usar o BigLake para aplicar permissões refinadas (segurança no nível da linha e da coluna) em arquivos armazenados em um armazenamento de objetos. Demonstre que essa segurança se estende a outros serviços, como o Spark, executado no Dataproc.

Exemplo de código: controle de acesso refinado no BigLake com o Spark