架构:营销数据仓库

Last reviewed 2022-03-23 UTC

本文档提供了描述如何构建可扩缩的营销数据仓库的参考架构。营销数据仓库解决方案可让您在尊重用户隐私权的同时,向用户提供及时且有针对性的个性化广告体验。本文档适用于支持营销分析的数据工程师、数据科学家或 IT 成员。

实现营销数据仓库可帮助您满足以下业务需求:

  • 全面数据分析:如果您使用多个软件即服务 (SaaS) 平台,则可以使用此架构来整合 BigQuery 中的营销和广告数据。如果您是业务利益相关方,则可以获取有关营销和业务绩效的实时数据分析。

  • 营销创新:如果您是数据科学家或数据工程师,则可以针对业务需求(例如客户细分、客户生命周期价值、产品建议和购买预测)来构建机器学习 (ML) 模型。您可以在多个平台(例如电子邮件营销或广告定位)中激活这些模型。

  • 客户体验:营销数据仓库可让您更清楚地了解客户偏好,以便通过准确的个性化设置来改善客户的体验。通过这种数据分析,您可以个性化设置客户的互动点,例如第一方应用、网站、在线广告和电子邮件营销。

架构

下图展示了 Google Cloud 上使用多个数据分析和机器学习产品的典型营销分析参考架构。

Google Cloud 上的营销分析参考架构。

该图显示了营销数据仓库工作流中的以下阶段,您可以对其进行配置:

  1. 数据注入
  2. 数据处理
  3. 机器学习
  4. 数据分析和激活

架构组件

本部分介绍营销数据仓库解决方案中的各个阶段,包括必要的技术组件。

数据注入

构建营销数据仓库的第一个阶段是将数据整合到一个中心位置。您可以从以下数据源注入数据:

  • Google 和 SaaS 平台:您可以将数据源(如 Google Analytics [分析]、Google Ads 和 Google Marketing Platform)注入到 BigQuery 中的 Google Cloud 营销数据仓库。为了从 Salesforce 等来源导入数据,Google Cloud 和我们的合作伙伴提供了 SaaS 连接器
  • 共有云:您可以使用 BigQuery Data Transfer Service 从其他公有云导入数据。例如,要将数据从 Amazon S3 移动到 BigQuery,您可以自动安排和管理周期性加载作业。您还可以使用 BigQuery Omni,这是一种灵活的多云分析解决方案,可让您跨 Google Cloud 和 Amazon Web Services 分析数据。
  • API、平面文件和本地第一方数据:您可以从客户关系管理 (CRM) 或销售终端 (POS) 系统等来源注入数据。通常,您可以使用 bq 命令行工具BigQuery APIGoogle Cloud 控制台离线注入数据。您可以在本地或从 Cloud Storage 加载数据。 对于大型数据集,我们建议您使用 Cloud Storage 来优化带宽使用、网络速度和产品集成。如需将事件驱动型数据加载到 BigQuery,您可以设置 Cloud Functions 函数触发器。例如,根据新数据可用性设置触发器。

上述大多数注入方法使用批量加载。如果要将任何流式数据集注入到 BigQuery 中,可以使用 BigQuery 的流式传输功能。如需了解流式分析使用场景,请参阅流式分析解决方案

数据处理

注入数据后,您可以根据需要处理数据。仅当您需要在针对数据运行查询之前处理数据时,才需要执行此阶段。数据处理包括清理和重新设置数据格式,以在大数据集中实现一致性。您可以使用 Google Cloud 中提供的数据处理产品。

根据您的用户群体,选择适当的 Google Cloud 产品。例如,请考虑以下用户类型和推荐的产品:

  • 构建提取、转换和加载 (ETL) 数据流水线的开发者可以使用 Cloud Data Fusion 数据集成产品。Cloud Data Fusion 提供一个界面,您无需编写代码即可部署 ELT(提取、加载和转换)和 ETL 数据流水线。
  • 支持营销分析的数据工程团队可以使用 Dataflow。借助 Dataflow,您可以大规模注入和分析批量和流式数据源。
  • 数据分析师可以使用 Trifacta 的 Dataprep(可让您直观地探索、清理和准备数据,以在 BigQuery 中进行分析)。

机器学习

在系统注入并处理数据后,您可以在以下使用场景中使用 Google AI Platform 产品选项:

  • 对频率如何影响每个广告系列的每位用户的转化效果进行描述性分析:此信息可帮助您根据特定的用户列表调整再营销广告系列的定位频率。BigQuery 可以访问原始 Campaign Manager 360 数据,因此可以提供此信息。
  • 对特定用户的生命周期价值进行预测性分析:在预测特定用户组的价值时,您可以开展营销活动来增加销售额。例如,您可能会发现,品牌互动度有限的一组用户在提高互动度以后,很有可能会购买商品。您可以通过联接数据以及使用机器学习来获得此数据分析,从而细分客户并预测生命周期价值。
  • 对产品情感进行规范化分析:为了帮助避免不准确的定位,您可以分析文字评论和评分的发展变化。通过此分析,您可以预测用户组可能会如何接收具有某些特征的产品。例如,要预测情感,您可以使用情感分析和客户细分。

借助 BigQuery 中的整合营销数据,您可以选择一个符合您需求的 AI Platform 产品。根据组织的机器学习成熟度和技能集选择以下产品之一:

  • 如果您的组织不熟悉机器学习,您可以使用 AutoML 构建和部署客户机器学习模型。例如,您可以使用 AutoML Tables 构建回归和分类模型,例如客户的流失可能性和生命周期价值。
  • 如果您的组织具有 SQL 技能,则 BigQuery ML 可让您使用 SQL 构造来创建、评估和预测模型,例如受众群细分模型。您可以训练和部署许多受支持的模型,并执行机器学习工作流,而无需从 BigQuery 移动数据。
  • 如果您的组织拥有数据科学家团队,则您可以使用 Vertex AI 大规模构建和部署优化模型。如需查看如何使用 Vertex AI 预测客户生命周期价值的示例,请参阅使用 AI Platform 预测客户生命周期价值

数据分析和激活

您可以利用 Google Cloud 选项从整合的广告和营销数据中获取洞见。然后,您可以将数据(例如差异化细分)重新导入到 Google Analytics(分析)和电子邮件营销等平台中。Google Cloud 提供了多种根据需求对数据进行操作的方法。例如,您可以将差异化细分导回您的首选渠道,例如 Google Analytics(分析)或 Salesforce。

适用于 Google Marketing Platform 的 Looker

您还可以通过 Looker(企业商业智能 (BI) 平台)查看和共享数据分析。您可以使用 Looker 组合多个数据集、跟踪跨渠道客户行为,以及按特性细分客户。

您可以使用 Looker 生成以下数据分析:

  • 投资回报率 (ROI) 分析:了解广告系列产生的支出和收入。
  • 提醒:设置自定义规则,以便在策略或广告出错时收到电子邮件提醒。
  • 跨渠道归因分析:识别营销渠道之间以及跨营销渠道的客户行为趋势。
  • A/B 测试:根据具有统计显著性的结果来分析您的变体如何影响关键用户行为。
  • 获客渠道:跟踪新潜在客户和客户的来源。
  • 同类群组分析:细分数据并分析不同细分在一段时间内的行为。

Looker 中的块和操作为 Google Marketing Platform 广告和 Web 数据提供了可靠且可共享的分析基础。这些可自定义的块和操作提供交互式数据探索、新的数据切片(包括轻度机器学习预测)以及返回到 Google Marketing Platform 的激活路径。激活路径允许您使用第一方数据来有效地定位受众群体。

下图显示了 Google 产品如何与 Looker 搭配使用。

产品如何与 Looker 搭配使用。

该图显示了 Looker 如何使用 Google Analytics(分析)4、Google Analytics 360、Campaign Manager 360 以及 BigQuery 中的任何数据来创建实时报告。您可以使用 Actions for Ads(通过目标客户匹配)和 Analytics(分析)(通过数据导入)在 Google Marketing Platform 中激活 Looker 的第一方数据。IAM 等横向服务会持续监控您的营销数据流水线。

自定义集成

您还可以使用 Google Cloud 构建自定义集成,以将数据推送回您选择的平台。例如,您可以运行计划查询以使用您的 Analytics(分析)数据生成受众群体名单,然后使用 API 调用将数据推送回去。例如,在 Cloud Storage 中准备好新细分之后,使用 Cloud Functions 触发数据推送。

后续步骤