Arquitetura: armazenamento de dados de marketing

Last reviewed 2022-03-23 UTC

Neste documento, você encontra uma arquitetura de referência que descreve como criar armazenamentos de dados de marketing escalonáveis. As soluções de armazenamento de dados de marketing permitem que você ofereça experiências de publicidade oportunas, segmentadas e personalizadas aos seus usuários respeitando a privacidade deles. Este documento é destinado a engenheiros de dados, cientistas de dados ou membros de TI em uma função de marketing que oferece suporte à análise de marketing.

A implementação de um armazenamento de dados de marketing ajuda a atender às seguintes necessidades comerciais:

  • Insights abrangentes: se você usa várias plataformas de software como serviço (SaaS), é possível usar essa arquitetura para consolidar dados de marketing e de publicidade no BigQuery. Se você for uma parte interessada nos negócios, poderá receber insights em tempo real sobre marketing e desempenho dos negócios.

  • Inovação em marketing: se você é um cientista ou engenheiro de dados, pode criar modelos de machine learning (ML) para necessidades empresariais, como segmentação, valor da vida útil do cliente, produto recomendações e previsões de compra. É possível ativar esses modelos em várias plataformas, como marketing por e-mail ou segmentação de publicidade.

  • Experiência do cliente: um armazenamento de dados de marketing oferece maior visibilidade da preferência do cliente, para que você possa melhorar a experiência dos clientes por meio da personalização precisa. Assim, é possível personalizar os pontos de interação dos seus clientes, como aplicativos próprios, sites, anúncios on-line e marketing por e-mail.

Arquitetura

O diagrama a seguir mostra uma arquitetura típica de referência de análise de marketing no Google Cloud que usa vários produtos de ML e análise de dados.

Arquitetura de referência de análise de marketing no Google Cloud.

O diagrama mostra os seguintes estágios em um fluxo de trabalho de armazenamento de dados de marketing que pode ser configurado:

  1. Ingestão de dados
  2. Processamento de dados
  3. Machine learning
  4. Insights e ativação

Componentes de arquitetura

Nesta seção, descrevemos os estágios em uma solução de armazenamento de dados de marketing, incluindo os componentes de tecnologia necessários.

Ingestão de dados

A primeira etapa da criação de um armazenamento de dados de marketing é consolidar os dados em um local central. É possível ingerir dados das seguintes fontes de dados:

  • Plataformas do Google e do SaaS: é possível ingerir fontes de dados, como o Google Analytics, o Google Ads e o Google Marketing Platform, no armazenamento de dados de marketing do Google Cloud no BigQuery. Para importar dados de fontes como o Salesforce, o Google Cloud e nossos parceiros disponibilizam conectores de SaaS.
  • Nuvens públicas: é possível usar o serviço de transferência de dados do BigQuery para ingerir dados de outras nuvens públicas. Por exemplo, para mover dados do Amazon S3 para o BigQuery, é possível programar e gerenciar automaticamente jobs de carregamento recorrentes. Também é possível usar o BigQuery Omni, uma solução de análise flexível de várias nuvens que permite analisar dados no Google Cloud e na Amazon Web Services.
  • APIs, arquivos simples e dados próprios no local: é possível ingerir dados de fontes como o gerenciamento de relacionamento com o cliente (CRM) ou sistemas de ponto de venda (PDV). Normalmente, essa ingestão de dados é feita off-line usando a ferramenta de linha de comando bq, a API BigQuery ou o console do Google Cloud. É possível carregar dados localmente ou do Cloud Storage. Para conjuntos de dados grandes, recomendamos usar o Cloud Storage para otimizar o uso da largura de banda, as velocidades da rede e a integração do produto. Para carregar dados com base em eventos no BigQuery, defina acionadores do Cloud Function. Por exemplo, defina acionadores com base na nova disponibilidade de dados.

A maioria das abordagens de processamento anteriores usa carregamentos em lote. Se você quiser ingerir qualquer conjunto de dados de streaming no BigQuery, poderá usar os recursos de streaming do BigQuery. Para casos de uso de análise de streaming, consulte Soluções de análise de streaming.

Processamento de dados

Após ingerir dados, é possível processá-los, se necessário. Esse estágio só é necessário quando você precisa processar os dados antes de executar consultas nele. O processamento de dados inclui limpeza e reformatação para proporcionar consistência em grandes conjuntos de dados. Você pode usar os produtos de processamento de dados disponíveis no Google Cloud.

Com base em quem são seus usuários, selecione o produto apropriado do Google Cloud. Por exemplo, considere os seguintes tipos de usuários e produtos recomendados:

  • Os desenvolvedores que criam pipelines de extração, transformação e carregamento de dados (ETL, na sigla em inglês) podem usar o produto de integração de dados Cloud Data Fusion. O Cloud Data Fusion tem uma IU que permite implantar pipelines de dados ELT (extrair, carregar e transformar) e ETL sem código.
  • As equipes de engenharia de dados compatíveis com análise de marketing podem usar o Dataflow. O Dataflow permite ingerir e analisar fontes de dados em lote e de streaming em escala.
  • Os analistas de dados podem usar o Dataprep by Trifacta, que permite explorar, limpar e preparar visualmente os dados para análise no BigQuery.

Machine learning

Depois que o sistema ingerir e processar os dados, você poderá usar as opções de produto do Google AI Platform para os seguintes casos de uso:

  • Análises descritivas sobre como a frequência afeta a conversão por usuário por campanha: essas informações ajudam você a adaptar a frequência de segmentação das suas campanhas de remarketing com base em uma lista específica de usuários. O BigQuery tem acesso aos dados brutos do Campaign Manager 360, que disponibilizam essas informações.
  • Análise preditiva sobre valor da vida útil para usuários específicos: ao prever o valor de grupos específicos de usuários, é possível exibir campanhas de marketing para aumentar as vendas. Por exemplo, você pode descobrir que um grupo de usuários com engajamento limitado na marca tem um alto potencial de compra se eles estiverem mais engajados. Você recebe esse insight por meio da combinação de dados e do uso de ML para criar segmentos de clientes e prever um valor de vida útil.
  • Análise prescritiva sobre o sentimento do produto: para ajudar a evitar segmentação incorreta, analise a evolução de comentários e classificações de texto. Essa análise permite prever como um grupo de usuários pode receber um produto com determinadas características. Por exemplo, para prever sentimentos, é possível usar análise de sentimento e segmentação de clientes.

Com os dados de marketing consolidados no BigQuery, é possível escolher um produto do AI Platform que atenda às suas necessidades. Escolha um dos seguintes produtos com base na maturidade e no conjunto de habilidades de ML da sua organização:

  • Se a organização não estiver familiarizado com o ML, crie e implante modelos de ML do cliente com o AutoML. Por exemplo, é possível usar o AutoML Tables para criar modelos de regressão e classificação, como a probabilidade de desligamento de usuários e o valor da vida útil do cliente.
  • Se sua organização tem habilidades de SQL, o BigQuery ML permite que você use construções do SQL para criar, avaliar e prever modelos, como modelos de segmentação de público. É possível treinar e implantar muitos modelos compatíveis e executar fluxos de trabalho de ML sem mover dados do BigQuery.
  • Caso sua organização tenha uma equipe de cientistas de dados, é possível usar a Vertex AI para criar e implantar modelos otimizados em escala. Para um exemplo de como usar a Vertex AI para resolver o valor de vida útil do cliente, consulte Como prever o valor de vida útil do cliente com o AI Platform.

Insights e ativação

É possível usar as opções do Google Cloud para receber insights de publicidade consolidada e dados de marketing. É possível trazer dados (como segmentos diferenciados) de volta para plataformas como o Google Analytics e marketing por e-mail. O Google Cloud oferece várias maneiras de agir com base nos seus dados de acordo com suas necessidades. Por exemplo, é possível ter seus segmentos diferenciados de volta nos canais de sua preferência, como o Google Analytics ou o Salesforce.

Looker no Google Marketing Platform

Você também pode analisar e compartilhar insights por meio do Looker, uma plataforma de business intelligence (BI). Você pode usar o Looker para combinar vários conjuntos de dados, rastrear o comportamento de clientes em vários canais e segmentar clientes por atributos.

Você pode usar o Looker para gerar os seguintes insights:

  • Análise de retorno do investimento (ROI): entenda o gasto e a receita gerados pelas campanhas.
  • Alertas: defina regras personalizadas para receber alertas por e-mail quando táticas ou anúncios derem errado.
  • Análise de atribuição cross-channel: identifique tendências no comportamento do cliente entre seus canais de marketing.
  • Teste A/B: analise como as variações podem influenciar o comportamento dos usuários, com base em resultados estatisticamente significativos.
  • Canais de aquisição:acompanhe a origem dos novos leads e dos clientes.
  • Análise de coorte: segmente seus dados e analise como diferentes segmentos se comportam ao longo do tempo.

Os blocos e ações no Looker oferecem uma base para análises robustas e compartilháveis de dados da Web e publicidade do Google Marketing Platform. Esses blocos e ações personalizáveis oferecem exploração interativa de dados, novos segmentos de dados que incluem previsões leves de ML e caminhos de ativação de volta ao Google Marketing Platform. Com os caminhos de ativação, é possível usar seus dados próprios para segmentar públicos-alvo com eficiência.

O diagrama a seguir mostra como os produtos do Google podem funcionar com o Looker.

Como os produtos funcionam em conjunto com o Looker.

O diagrama mostra como o Looker pode usar insights do Google Analytics 4, Google Analytics 360, Campaign Manager 360 e de qualquer dado no BigQuery para criar relatórios em tempo real. É possível ativar os dados próprios do Looker no Google Marketing Platform com as ações do Ads (por meio da Segmentação por lista de clientes) e o Analytics (importação de dados). Os serviços horizontais, como o IAM, monitoram continuamente os pipelines de dados de marketing.

Integrações personalizadas

Também é possível usar o Google Cloud para criar integrações personalizadas que enviam os dados de volta para as plataformas que você escolher. Por exemplo, é possível executar consultas programadas para gerar listas de público-alvo com os dados do Google Analytics e enviá-los de volta com chamadas de API. Por exemplo, use o Cloud Functions para acionar o envio de dados depois que um novo segmento estiver pronto no Cloud Storage.

A seguir