参考模式

本页面提供指向常见 Dataflow 使用场景的示例代码和技术参考指南的链接。您可以使用这些资源学习和确定最佳做法,并利用示例代码构建所需的功能。

此处列出的参考模式面向代码,旨在帮助您快速实现。如需查看更丰富的 Dataflow 解决方案,请参阅 Dataflow 技术参考指南列表。

异常检测

解决方案 说明 链接
使用 k-means 聚类构建电信网络异常检测应用

此解决方案向您展示如何使用 Dataflow、BigQuery ML 和 Cloud Data Loss Prevention 为电信网络构建基于机器学习的网络异常检测应用来识别网络安全威胁。

技术参考指南:使用 Dataflow、BigQuery ML 和 Cloud Data Loss Prevention 构建安全的异常检测解决方案

示例代码:Netflow 日志中的异常检测

博文:使用流式分析和 AI 进行异常检测

概览视频:构建安全的异常检测解决方案

使用 BoostedTree 实时查找财务交易中的异常

使用此参考实现,了解如何通过将 TensorFlow 提升树模型与 Dataflow 和 AI Platform 结合使用来识别欺诈性交易。

技术参考指南:使用 AI Platform、Dataflow 和 BigQuery 检测金融交易中的异常

示例代码:财务交易中的异常检测

常规分析

解决方案 说明 链接
构建实时网站分析信息中心

了解如何构建一个信息中心以提供实时指标供您用来了解您网站上的激励措施或实验的性能。

示例代码:使用 Dataflow 和 Memorystore 进行实时分析

概览视频:升级 - 使用 Cloud Dataflow 和 Memorystore 进行实时分析

构建流水线以转录和分析语音文件

使用 Dataflow 转录和分析上传的语音文件,然后将该数据保存到 BigQuery 以便直观呈现。

示例代码:Speech Analysis Framework

使用 Dataflow 和 Speech-to-Text API 将音频剪辑处理到转录中

了解如何实时处理音频剪辑,以创建 WebVTT 格式的转录。

技术参考指南:使用 Dataflow、Pub/Sub 和 Speech-to-Text API 实时进行字幕媒体剪辑

示例代码:使用 Dataflow 从 Streaming TST API 自动添加 WebVTT 字幕

Log Analytics

解决方案 说明 链接
构建流水线以捕获 Dialogflow 互动

使用 Dataflow 构建流水线以捕获和存储 Dialogflow 互动以供进一步分析。

示例代码:Dialogflow 日志解析器

使用 Dataflow 大规模处理日志

了解如何构建处理来自多个来源的日志条目的分析流水线,然后以可帮助您提取有意义信息的方式组合日志数据。

技术参考指南:使用 Dataflow 大规模处理日志

示例代码:使用 Dataflow 大规模处理日志

模式识别

解决方案 说明 链接
检测视频片段中的对象

此解决方案向您展示如何使用 Dataflow 和 Video Intelligence API 构建实时视频片段分析解决方案以跟踪对象,从而近乎实时地分析大量非结构化数据。

示例代码:使用 Dataflow 和 Video Intelligence API 的视频分析解决方案

用于调用 Video Intelligence API 的 Apache Beam Ptransformapache_beam.ml.gcp.videointelligenceml 模块

在智能分析流水线中对个人身份信息数据进行匿名(去标识化)和重标识处理 本系列解决方案向您展示如何使用 Dataflow、Cloud Data Loss Prevention、BigQuery 和 Pub/Sub 对示例数据集中的个人身份信息 (PII) 进行去标识化和重标识处理。

技术参考指南:

示例代码:使用 Dataflow 和 Cloud Data Loss Prevention 迁移 BigQuery 中的敏感数据

预测

解决方案 说明 链接
创建和提供嵌入以提供实时建议

了解如何创建和提供嵌入,以提供实时的类似内容建议。使用 BigQuery ML 创建矩阵分解模型以预测嵌入,并使用开源 ScaNN 框架来构建最邻近的索引,然后将模型部署到 AI Platform Prediction 以提供实时的类似项匹配。

技术参考指南:用于实现项匹配的机器学习系统的架构

示例代码:实时逐项建议 BigQuery ML 矩阵分解和 ScaNN

使用视觉分析流水线预测机械故障

此解决方案将指导您构建 Dataflow 流水线,以便从存储在 Cloud Storage 存储分区的大量图片文件中提取数据洞察。自动视觉检测有助于满足制造目标,例如,改进质量控制流程或监控工作器的安全性,同时降低成本。

示例代码:使用 Dataflow 和 Cloud Vision API 的视觉分析解决方案