数据分析设计模式

Last reviewed 2023-02-06 UTC

本页面提供了指向行业数据分析用例的业务用例、示例代码和技术参考指南的链接。您可以使用这些资源学习和确定最佳实践,以加快工作负载的实现速度。

此处列出的设计模式是面向代码的用例,旨在帮助您快速实现。如需查看更丰富的分析解决方案,请参阅数据分析技术参考指南列表。

异常检测

解决方案 说明 产品 链接

使用 LSTM Autoencoder 查找时间序列数据中的异常

借助此参考实现,了解如何预处理时间序列数据以填充源数据中的缺口,然后通过 LSTM Autoencoder 运行数据以识别异常。Autoencoder 作为实现 LSTM 神经网络的 Keras 模型加以构建。

示例代码:处理时间序列数据

实时信用卡欺诈检测

了解如何使用交易和客户数据在 BigQuery ML 中训练机器学习模型,以便在实时数据流水线中用于识别、分析和触发针对潜在信用卡欺诈的提醒。

示例代码:实时信用卡欺诈检测

概览视频:Fraudfinder:现实数据科学问题的全面解决方案

针对资本市场按时序的相对强度建模

此模式与资本市场客户及其定量分析部门 (Quants) 尤为相关,用于实时跟踪他们的技术指标来作出投资决策或者跟踪索引。它以时序异常检测为基础,可轻松应用于制造等其他行业,来检测相关时序指标中的异常。

示例代码: Dataflow 金融服务时间序列示例

“业务与技术”博文:如何在实时外汇数据中检测机器学习异常

环境、社会和治理

解决方案 说明 产品 链接

计算可持续金融的物理气候风险

使用云原生工具和精细的地理空间数据集引入用于贷款和投资组合的气候风险分析设计模式。

技术概览:投资组合气候风险分析 Bitbucket 代码库

概览视频:利用独立的 ESG 数据洞见

博文:量化地理空间分析的投资组合气候风险

常规分析

解决方案 说明 产品 链接

构建实时网站分析信息中心

了解如何构建一个信息中心以提供实时指标供您用来了解您网站上的激励措施或实验的性能。

示例代码:使用 Dataflow 和 Memorystore 进行实时分析

概览视频:升级 - 使用 Cloud Dataflow 和 Memorystore 进行实时分析

构建流水线以转录和分析语音文件

了解如何转录和分析上传的音频文件,然后将该数据保存到 BigQuery 以便直观呈现。

示例代码:Speech Analysis Framework

分析对象存储中的非结构化数据

了解如何分析 Cloud Storage 中的非结构化数据,从而使用 Vertex AI Vision 等远程功能对镜像进行分析。 了解如何使用 BigQuery ML 对非结构化数据执行推断。

技术参考指南:对象表简介

教程:使用远程功能和 Cloud Vision API 分析对象表

教程:使用 TensorFlow 和 BigQuery ML 对映像对象表运行推断

分析数据仓库中的非结构化文档文件

了解如何使用 BigLake 对象表和远程功能通过 Document AI 解析非结构化文档并将输出保存为 BigQuery 中的结构化数据。

示例代码:SQL 中的非结构化文档分析

构建体验管理数据仓库

了解如何将调查问卷数据转换为可在数据仓库中使用以进行深入分析的格式。此模式适用于客户体验、员工体验和其他专注于体验的使用场景。

技术参考指南:使用调查问卷数据仓库从 Google 表单获得数据分析

示例代码:使用 Dataprep by Trifacta 转换调查问卷并将其加载到 BigQuery

博文:创建包含调查问卷回复的体验管理 (XM) 数据仓库

概览视频:创建包含调查问卷回复的体验管理数据仓库

教程:转换 Google 表单调查问卷回复并将其加载到 BigQuery

了解如何使用我们的 Google Cloud 数据集中的 Google 趋势公共数据集来解决常见业务难题,例如识别零售场所的趋势、预测产品需求以及开展新的营销活动。

博文:利用 Google 趋势数据做出明智决策

概览视频:Google 趋势数据集现位于 BigQuery 中

示例代码(笔记本):趋势示例笔记本

示例代码 (SQL):Google 趋势示例查询

示例信息中心:最热门的 25 个 Google 搜索字词

了解和优化 Google Cloud 支出

了解如何将 Google Cloud Billing 数据整合到 BigQuery 中,以了解和优化支出并在 Looker 或 Looker 数据洞察中直观呈现实用结果。

博文:利用 BigQuery 和 Looker 优化 Google Cloud 支出

示例代码:Google Cloud Billing Looker 模块

数据驱动的价格优化

了解如何快速应对市场变化以保持竞争力,借助更快的价格优化,客户可以使用 Google Cloud 服务向其最终用户提供具有竞争力的价格,从而增加销量并提高利润。此解决方案使用 Dataprep by Trifacta 集成和标准化数据源,并使用 BigQuery 管理和存储价格模型并在 Looker 中直观呈现实用的结果。

博文:数据驱动的价格优化

教程:优化零售产品的价格

示例代码:Google Cloud Billing Looker 模块

医疗保健和生命科学

解决方案 说明 产品 链接

运行单细胞基因组分析

了解如何使用 Dask、RAPIDS、GPU 和 JupyterLab 配置 Dataproc,然后执行单细胞基因组分析。

技术概览:使用 Dataproc 上的 Dask、RAPIDS 和 GPU 运行基因组分析

示例代码:笔记本

博文:在 Google Cloud 上使用 NVIDIA 加速单细胞基因组分析

Log Analytics

解决方案 说明 产品 链接

构建流水线以捕获 Dialogflow 互动

了解如何构建流水线以捕获和存储 Dialogflow 互动以供进一步分析。

示例代码:Dialogflow 日志解析器

模式识别

解决方案 说明 产品 链接

检测视频剪辑中的对象

此解决方案向您展示如何使用 Dataflow 和 Video Intelligence API 构建实时视频片段分析解决方案以跟踪对象,从而近乎实时地分析大量非结构化数据。

示例代码:使用 Dataflow 和 Video Intelligence API 的视频分析解决方案

用于调用 Video Intelligence API 的 Apache Beam Ptransformapache_beam.ml.gcp.videointelligenceml 模块

在智能分析流水线中对个人身份信息数据进行匿名(去标识化)和重标识处理

本系列解决方案向您展示如何使用 Dataflow、敏感数据保护、BigQuery 和 Pub/Sub 对示例数据集中的个人身份信息 (PII) 进行去标识化和重标识处理。

技术参考指南:

示例代码:使用 Dataflow 和 Cloud Data Loss Prevention 迁移 BigQuery 中的敏感数据

预测

解决方案 说明 产品 链接

构建需求预测模型

了解如何构建时间序列模型,用于预测多个产品的零售需求。

博文:如何使用 BigQuery ML 构建需求预测模型

笔记本:bqml_retail_demand_forecasting.ipynb

构建预测 Web 应用

了解如何构建利用多个预测模型(包括 BigQuery 和 Vertex AI 预测)的 Web 应用来预测产品销售情况。非技术用户可以通过此 Web 应用生成预测,并探索不同参数的影响。

示例代码:时序预测

示例 Web 应用:时序预测实时演示

根据当前客户生命周期价值构建新的受众群体

了解如何识别最具价值的现有客户,然后在 Google Ads 中利用它们来开发类似受众群体

技术参考指南:根据现有客户生命周期价值打造新的受众群体

示例代码:启动生命周期价值预测

使用 BigQuery ML 通过 Google 表格进行预测

了解如何将关联工作表与 BigQuery ML 中的预测模型相结合,将机器学习应用于您的业务流程。在这个具体的示例中,我们将引导您完成使用 Google Analytics(分析)数据为网站构建预测模型的过程。可以扩展此模式以使用其他数据类型和其他机器学习模型。

博文:如何通过 BigQuery ML 使用 Google 表格中的机器学习模型

示例代码:使用表格进行 BigQuery ML 预测

模板:使用表格进行 BigQuery ML 预测

游戏应用的偏好建模

了解如何使用 BigQuery ML 从几种不同类型的偏好模型中进行训练、评估和获取预测。偏好模型可以帮助您确定特定用户返回您的应用的可能性,因此您可以在营销决策中使用该信息。

博文:使用 Google Analytics(分析)4 和 BigQuery ML 为游戏开发者提供的 churn 预测功能

笔记本:使用 Google Analytics(分析)4 和 BigQuery ML 为游戏开发者提供的 churn 预测功能

技术概览:游戏应用的概率建模

推荐个性化投资产品

通过使用 Cloud Functions 在公共 API 中提取、处理和增强市场数据,使用 Dataflow 将数据加载到 BigQuery 中,然后利用 Vertex AI 训练和部署多个 AutoML Tables 模型,使用 Cloud Composer 编排这些流水线,最后部署基本 Web 前端以向用户推荐投资,了解如何提供个性化投资建议。

博文:使用 Vertex AI 为消费者金融应用提供高度个性化的投资建议

技术参考指南:使用机器学习生成高度个性化投资建议的技术解决方案

示例代码:FSI 设计模式投资产品建议引擎 (IPRE)

使用数据湖

解决方案 说明 产品 链接

为数据湖的无服务器数据处理服务构建 CI/CD 流水线

了解如何为数据湖的数据处理流水线设置持续集成和持续交付 (CI/CD)。使用常用的 GitOps 方法,通过 Terraform、GitHub 和 Cloud Build 实现 CI/CD 方法。

技术概览:为数据湖的无服务器数据处理服务构建 CI/CD 流水线

对存储在对象存储中的数据进行精细访问权限控制

了解如何使用 BigLake 对存储在对象存储中的文件应用精细权限(行级和列级安全性)。 演示这种安全机制会扩展到其他服务,例如 Dataproc 上运行的 Spark。

示例代码:使用 Spark 对 BigLake 进行精细的访问权限控制