参考模式

本页面提供指向常见 BigQuery 使用场景的示例代码和技术参考指南的链接。您可以使用这些资源学习和确定最佳做法,并利用示例代码构建所需的功能。

此处列出的参考模式面向代码,旨在帮助您快速实现。如需查看更丰富的 BigQuery 解决方案,请参阅 BigQuery 技术参考指南列表。

异常检测

解决方案 说明 链接
使用 k-means 聚类构建电信网络异常检测应用

此解决方案向您展示如何使用 Dataflow、BigQuery ML 和 Cloud Data Loss Prevention 为电信网络构建基于机器学习的网络异常检测应用来识别网络安全威胁。

技术参考指南:使用 Dataflow、BigQuery ML 和 Cloud Data Loss Prevention 构建安全的异常检测解决方案

示例代码:Netflow 日志中的异常检测

博文:使用流式分析和 AI 进行异常检测

概览视频:构建安全的异常检测解决方案

使用 BoostedTree 实时查找财务交易中的异常

借助此参考实现,了解如何在从 TensorFlow 提升树模型获取预测结果后,将交易数据写入 BigQuery 进行分析。

技术参考指南:使用 AI Platform、Dataflow 和 BigQuery 检测金融交易中的异常

示例代码:财务交易中的异常检测

常规分析

解决方案 说明 链接
构建流水线以转录和分析语音文件

了解如何转录和分析上传的语音文件,然后将该数据保存到 BigQuery 以便直观呈现。

示例代码:Speech Analysis Framework

Log Analytics

解决方案 说明 链接
捕获 Dialogflow 交互以便在 BigQuery 中进行分析

了解如何捕获 Dialogflow 交互并存储在 BigQuery 中以供进一步分析。

示例代码:Dialogflow 日志解析器

使用 Dataflow 和 BigQuery 大规模处理日志

了解如何构建处理来自多个来源的日志条目的分析流水线,然后以可帮助您提取有意义信息的方式组合日志数据。

技术参考指南:使用 Dataflow 大规模处理日志

示例代码:使用 Dataflow 大规模处理日志

模式识别

解决方案 说明 链接
检测视频片段中的对象

此解决方案向您展示如何构建实时视频片段分析解决方案以跟踪对象,可让您近乎实时地处理大量非结构化数据,并将其写入 BigQuery 进行分析。

示例代码:使用 Dataflow 和 Video Intelligence API 的视频分析解决方案

用于调用 Video Intelligence API 的 Apache Beam 模块:apache_beam.ml.gcp.videointelligenceml

使用 Video Intelligence API 和 Cloud Vision API 处理用户生成的内容 这组解决方案介绍用于部署可扩缩系统,以使用 Cloud Vision API 和 Video Intelligence API 过滤图片和视频提交内容的架构,然后将数据写入 BigQuery 进行分析。

架构:使用 Video Intelligence API 和 Cloud Vision API 处理用户生成的内容

教程:使用 Video Intelligence API 和 Cloud Vision API 处理用户生成的内容

示例代码:使用 Video Intelligence API 和 Cloud Vision API 处理用户生成的内容

用于调用 Cloud Vision API 的 Apache Beam Ptransformapache_beam.ml.gcp.visionml 模块

在智能分析流水线中对个人身份信息数据进行匿名(去标识化)和重标识处理 本系列解决方案向您展示如何使用 Dataflow、Cloud Data Loss Prevention、BigQuery 和 Pub/Sub 对示例数据集中的个人身份信息 (PII) 进行去标识化和重标识处理。

技术参考指南:

示例代码:使用 Dataflow 和 Cloud Data Loss Prevention 迁移 BigQuery 中的敏感数据

预测

解决方案 说明 链接
为市场细分构建 k-means 聚簇模型

使用 BigQuery ML 创建 k-means 聚簇,了解如何出于营销目的细分 Google Analytics 360 受众群体数据。

技术参考指南:使用 BigQuery ML 为市场细分构建 k-means 聚簇模型

笔记本:如何使用 BigQuery ML 为市场细分构建 k-means 聚簇模型

利用 BigQuery ML 构建购买意愿解决方案

了解如何构建和部署购买意愿模型,使用该模型预测客户购买行为,然后构建用来自动化工作流的流水线。

技术参考指南:使用 BigQuery ML 和 AI Platform 预测客户购买意愿

示例代码:如何使用 BigQuery ML 和 Kubeflow 流水线构建端到端的购买意愿解决方案

博文:如何使用 BigQuery ML 和 Kubeflow 流水线构建端到端的购买意愿解决方案

构建时间序列需求预测模型

了解如何构建端到端解决方案以预测零售产品的需求。借助 BigQuery ML 使用历史销售数据来训练需求预测模型,然后在信息中心内直观呈现预测值。

示例代码:如何使用 BigQuery ML 构建时间序列需求预测模型

使用 BigQuery ML 构建电子商务推荐系统

了解如何使用 BigQuery 机器学习构建推荐系统,以根据 BigQuery 中的客户数据生成产品或服务推荐。然后,了解如何通过将数据导出到 Google Analytics 360 或 Cloud Storage,或以编程方式从 BigQuery 表中读取数据,将这些数据提供给其他生产系统。

技术参考指南:使用 BigQuery ML 构建电子商务推荐系统

笔记本:bqml_matrix_factorization_retail_ecommerce

根据当前客户生命周期价值构建新的受众群体

了解如何识别最具价值的现有客户,然后在 Google Ads 中利用它们来开发类似受众群体

技术参考指南:根据现有客户生命周期价值打造新的受众群体

示例代码:启动生命周期价值预测

创建和提供嵌入以提供实时建议

了解如何创建和提供嵌入,以提供实时的类似内容建议。使用 BigQuery ML 创建矩阵分解模型以预测嵌入,并使用开源 ScaNN 框架来构建最邻近的索引,然后将模型部署到 AI Platform Prediction 以提供实时的类似项匹配。

技术参考指南:用于实现项匹配的机器学习系统的架构

示例代码:实时逐项建议 BigQuery ML 矩阵分解和 ScaNN