智能分析参考模式

本页面提供指向常见分析使用场景的示例代码和技术参考指南的链接。您可以使用这些资源学习和确定最佳做法,并利用示例代码构建所需的分析功能。

此处列出的参考模式面向代码,旨在帮助您快速实现。如需查看更丰富的分析解决方案,请参阅大数据技术参考指南列表。

异常检测

解决方案 说明 产品 链接
使用 k-means 聚类构建电信网络异常检测应用

此解决方案向您展示如何使用 Dataflow、BigQuery ML 和 Cloud Data Loss Prevention 为电信网络构建基于机器学习的网络异常检测应用来识别网络安全威胁。

技术参考指南:使用 Dataflow、BigQuery ML 和 Cloud Data Loss Prevention 构建安全的异常检测解决方案

示例代码:Netflow 日志中的异常检测

博文:使用流式分析和 AI 进行异常检测

概览视频:构建安全的异常检测解决方案

使用 BoostedTree 实时查找财务交易中的异常

使用此参考实现,了解如何通过将 TensorFlow 提升树模型与 Dataflow 和 AI Platform 结合使用来识别欺诈性交易。

技术参考指南:使用 AI Platform、Dataflow 和 BigQuery 检测金融交易中的异常

示例代码:财务交易中的异常检测

使用 LSTM Autoencoder 查找时间序列数据中的异常

借助此参考实现,了解如何预处理时间序列数据以填充源数据中的缺口,然后通过 LSTM Autoencoder 运行数据以识别异常。Autoencoder 作为实现 LSTM 神经网络的 Keras 模型加以构建。

示例代码:处理时间序列数据

实时信用卡欺诈检测

了解如何使用交易和客户数据在 BigQuery ML 中训练机器学习模型,这种模型可用于实时数据流水线,以识别、分析和触发潜在的信用卡欺诈提醒。

示例代码:实时信用卡欺诈检测

技术博文:如何构建无服务器实时信用卡欺诈解决方案

概览视频:如何构建无服务器实时信用卡欺诈解决方案

在线讲座:信用卡欺诈检测

常规分析

解决方案 说明 产品 链接
构建实时网站分析信息中心

了解如何构建一个信息中心以提供实时指标供您用来了解您网站上的激励措施或实验的性能。

示例代码:使用 Dataflow 和 Memorystore 进行实时分析

概览视频:升级 - 使用 Cloud Dataflow 和 Memorystore 进行实时分析

构建流水线以转录和分析语音文件

了解如何转录和分析上传的音频文件,然后将该数据保存到 BigQuery 以便直观呈现。

示例代码:Speech Analysis Framework

实时进行字幕媒体剪辑

了解如何在 Dataflow 流水线中使用 Speech-to-Text API,为音频或视频剪辑创建实时 WebVTT 字幕。

技术参考指南:使用 Dataflow、Pub/Sub 和 Speech-to-Text API 实时进行字幕媒体剪辑

示例代码:使用 Dataflow 从 Streaming Speech-to-Text API 自动添加 WebVTT 字幕

Log Analytics

解决方案 说明 产品 链接
构建流水线以捕获 Dialogflow 互动

了解如何构建流水线以捕获和存储 Dialogflow 互动以供进一步分析。

示例代码:Dialogflow 日志解析器

使用 Dataflow 大规模处理日志

了解如何构建处理来自多个来源的日志条目的分析流水线,然后以可帮助您提取有意义信息的方式组合日志数据。

技术参考指南:使用 Dataflow 大规模处理日志

示例代码:使用 Dataflow 大规模处理日志

模式识别

解决方案 说明 产品 链接
检测视频片段中的对象

此解决方案向您展示如何使用 Dataflow 和 Video Intelligence API 构建实时视频片段分析解决方案以跟踪对象,从而近乎实时地分析大量非结构化数据。

示例代码:使用 Dataflow 和 Video Intelligence API 的视频分析解决方案

用于调用 Video Intelligence API 的 Apache Beam Ptransformapache_beam.ml.gcp.videointelligenceml 模块

使用 Video Intelligence API 和 Cloud Vision API 处理用户生成的内容 这组解决方案介绍用于部署可扩缩系统,以使用 Cloud Vision API 和 Video Intelligence API 过滤图片和视频提交内容的架构。

架构:使用 Video Intelligence API 和 Cloud Vision API 处理用户生成的内容

教程:使用 Video Intelligence API 和 Cloud Vision API 处理用户生成的内容

示例代码:使用 Video Intelligence API 和 Cloud Vision API 处理用户生成的内容

用于调用 Cloud Vision API 的 Apache Beam Ptransformapache_beam.ml.gcp.visionml 模块

在智能分析流水线中对个人身份信息数据进行匿名(去标识化)和重标识处理 本系列解决方案向您展示如何使用 Dataflow、Cloud Data Loss Prevention、BigQuery 和 Pub/Sub 对示例数据集中的个人身份信息 (PII) 进行去标识化和重标识处理。

技术参考指南:

示例代码:使用 Dataflow 和 Cloud Data Loss Prevention 迁移 BigQuery 中的敏感数据

预测

解决方案 说明 产品 链接
构建需求预测模型

了解如何构建时间序列模型,用于预测多个产品的零售需求。

博文:如何使用 BigQuery ML 构建需求预测模型

笔记本:bqml_retail_demand_forecasting.ipynb

构建电子商务推荐系统

了解如何使用 BigQuery 机器学习构建推荐系统,以根据 BigQuery 中的客户数据生成产品或服务推荐。然后,通过将数据导出到 Google Analytics 360 或 Cloud Storage,或以编程方式从 BigQuery 表中读取数据,了解如何将这些数据提供给其他生产系统。

技术参考指南:使用 BigQuery ML 构建电子商务推荐系统

笔记本:bqml_retail_recommendation_system.ipynb

为市场细分构建 k-means 聚簇模型

使用 BigQuery ML 创建 k-means 聚簇,了解如何出于营销目的细分 Google Analytics 360 受众群体数据。

技术参考指南:使用 BigQuery ML 为市场细分构建 k-means 聚簇模型

笔记本:如何使用 BigQuery ML 为市场细分构建 k-means 聚簇模型

在 Google Cloud 上构建金融服务偏好模型

此解决方案介绍如何在 Google Cloud 上探索数据并构建 scikit-learn 机器学习 (ML) 模型。此解决方案的使用场景是金融服务的购买偏好预测模型。在金融行业中,偏好模型被广泛用于分析潜在客户的购买意愿,但此解决方案中介绍的最佳做法可应用于各种机器学习用例。

技术参考指南:在 Google Cloud 上构建金融服务偏好模型

示例代码:专业服务

构建购买意愿解决方案

了解如何构建和部署购买意愿模型,使用该模型预测客户购买行为,然后构建用来自动化工作流的流水线。

技术参考指南:使用 BigQuery ML 和 AI Platform 预测客户购买意愿

示例代码:如何使用 BigQuery ML 和 Kubeflow 流水线构建端到端的购买意愿解决方案

博文:如何使用 BigQuery ML 和 Kubeflow 流水线构建端到端的购买意愿解决方案

根据当前客户生命周期价值构建新的受众群体

了解如何识别最具价值的现有客户,然后在 Google Ads 中利用它们来开发类似受众群体

技术参考指南:根据现有客户生命周期价值打造新的受众群体

示例代码:启动生命周期价值预测

构建时间序列需求预测模型

了解如何构建端到端解决方案以预测零售产品的需求。借助 BigQuery ML 使用历史销售数据来训练需求预测模型,然后在信息中心内直观呈现预测值。

示例代码:如何使用 BigQuery ML 构建时间序列需求预测模型

创建和提供嵌入以提供近实时建议

了解如何创建和提供嵌入,以提供实时的类似内容建议。使用 BigQuery ML 创建矩阵分解模型以预测嵌入,并使用开源 ScaNN 框架来构建最邻近的索引,然后将模型部署到 AI Platform Prediction 以提供实时的类似项匹配。

技术参考指南:用于推荐项匹配的机器学习系统的架构

示例代码:实时逐项建议 BigQuery ML 矩阵分解和 ScaNN

使用 BigQuery ML 从表格进行预测

了解如何将关联工作表与 BigQuery ML 中的预测模型相结合,通过您的业务流程实现机器学习的运营。在这个具体的示例中,我们将介绍使用 Google Analytics(分析)数据为网站构建预测模型的流程。您可以扩展此模式以使用其他数据类型和其他机器学习模型。

博文:如何通过 BigQuery ML 使用表格中的机器学习模型

示例代码:使用表格进行 BigQuery ML 预测

模板:使用表格进行 BigQuery ML 预测

使用视觉分析流水线预测机械故障

此解决方案将指导您构建 Dataflow 流水线,以便从存储在 Cloud Storage 存储分区的大量图片文件中提取数据洞察。自动视觉检测有助于满足制造目标,例如,改进质量控制流程或监控工作器的安全性,同时降低成本。

示例代码:使用 Dataflow 和 Cloud Vision API 的视觉分析解决方案

预测客户生命周期价值

本系列介绍如何使用 AI Platform 和 BigQuery 预测客户生命周期价值 (CLV)

技术参考指南:

示例代码:Google Cloud 上的客户生命周期价值预测

实时点击流分析

解决方案 说明 产品 链接
使用流式分析和实时 AI 的电子商务示例应用

电子商务示例应用介绍了用于实现流式数据分析和实时 AI 的常见使用场景和最佳做法。使用该应用,您可以通过实时分析和响应事件来动态响应客户操作,也可以了解如何存储、分析和直观呈现事件数据以进行长期数据分析。

技术概览:使用流式分析和实时 AI 的电子商务示例应用

示例代码:Java 版电子商务示例应用

互动演示:探索 Google 的流式分析

概览视频:利用流式分析技术获享实时 Web 体验

时间序列分析

解决方案 说明 产品 链接
处理流式时间序列数据

了解使用 Apache Beam 时如何处理流式时间序列数据的关键挑战,然后查看 Timeseries Streaming 解决方案如何解决这些挑战。

技术概览:处理流式时间序列数据:概览

教程:处理流式时间序列数据:教程

示例代码:Timeseries Streaming

使用数据湖

解决方案 说明 产品 链接
为数据湖的无服务器数据处理服务构建 CI/CD 流水线

了解如何为数据湖的数据处理流水线设置持续集成和持续交付 (CI/CD)。使用常用的 GitOps 方法,通过 Terraform、GitHub 和 Cloud Build 实现 CI/CD 方法。

技术概览:为数据湖的无服务器数据处理服务构建 CI/CD 流水线