本页面提供指向与 Dataflow 相关的公开文章、视频和播客的链接。
公告
如需了解公告和最新动态,请参阅以下资源:
- Dataflow 新闻:Google Cloud 博客
- Dataflow 更新:Dataflow 版本说明
- Apache Beam 更新:Apache Beam SDK 版本说明
Dataflow 生态系统
- Dataflow - 数据分析的支柱
- Dataflow 探秘:原始案例:第 1 部分、第 2 部分、第 3 部分
- 请访问 Apache Beam 开源文档,详细了解如何开发统一模型、定义流水线以及在 Dataflow 或 Apache Beam 支持的一个分布式后端中运行流水线。
客户案例
公开文章
- Dataflow 案例集合 - Medium Publication
- Dataflow 被评为 2021 年流式分析领导者 - Forrester Wave
- 构建工具以提供有关实时受众群体的实时反馈 - ITV
- 监控 Dataflow 流水线 - Medium Publication
- 高度可扩缩性、低延迟的数据处理执行模型 - Medium Publication
- 在 Dataflow 上使用 GPU 加速机器学习模型推断 - Nvidia
- 对大型数据集执行计算 - Pandora
- 为 Wrapped 2020 优化最大的 Dataflow 作业 - Spotify
- 使用 Dataflow 实时处理数十亿个事件 - Twitter
- 智能家庭数据流水线中的 Dataflow - Nest
- 将 JSON 消息流式传输到 BigQuery JSON 类型列 - Medium
案例研究
- AXA Switzerland:使用 Google Cloud 分析解决方案增强内部流程和开发服务
- Bayer Crop:通过 BigQuery 和 Dataflow 中的地理空间分析改善土壤健康与作物管理
- Dow Jones:构建记录了 30 多年新闻内容的关键事件的知识图谱
- HSBC:通过快速的数据洞见和分析功能利用云来降低风险泄露
- Nintendo:使用 Dataflow 和 Pub/Sub 收集和分析 BigQuery 中的游戏使用情况日志
- Quantiphi:构建无服务器实时信用卡欺诈检测解决方案
- SoFi Court:构建面向粉丝的个人礼宾应用程序来为每个用户定制游戏日体验
- Spotify:Dataflow 流处理实验
- Subaru Corporation:使用 Google Cloud AI 和机器学习加快开发速度
- Telus:借助数据科学加快现代化改造速度
- Tokopedia:在 Google Cloud 上创建客户数据平台
- Tyson Foods:通过开发提取即服务重新构想数据平台
- Vodafone:使用 Google Cloud 安全地共享手机数据
视频
技术指导
简介视频
文章
- 构建数据工程驱动型组织
- 从任意 Dataflow 流水线创建模板
- 适用于 Elastic Cloud 的 Dataflow 模板
- Dataflow 流水线 - 大规模部署和管理数据流水线
- BigQuery 的 Dataflow 自动分片使得性能提高到原来的 3 倍
- 使用 Dataflow 模板将 Google Cloud 数据导出到 Elastic Stack
- 使用 UDF 扩展 Dataflow 模板
- Dataflow 中的“正好一次”处理:第 1 部分、第 2 部分、第 3 部分
- 借助 Dataflow GPU 提升数据处理能力
- 使用 Dataflow 和 Pub/Sub 处理流式流水线中的重复数据
- 通过 Google 跟踪代码管理器数据的点击流处理了解 Apache Beam 模式
- 使用 Apache Beam 和 Dataflow Runner 的机器学习模式
- 使用 BigQuery Storage Write API 将数据流式传输到 BigQuery
- 使用 Dataflow Prime 简化和自动化数据处理
- Dataflow 为客户带来投资回报的三种方式
- 使用实时异常值检测参考模式打击欺诈
- 将 TFX 推断和 Dataflow 配合用于大规模机器学习推断模式
- 为什么要使用 Flex 模板进行 Dataflow 部署
- 编写具有可伸缩性的 Dataflow 流水线
- Dataflow 常见使用场景指南:第 1 部分、第 2 部分
数据和分析视频
问题排查和监控
播客
- Google Cloud 播客第 81 集 - 与 Frances Perry 聊聊 Dataflow
- 软件工程每日播客 - 与 Alex Anderson 畅聊 Dataflow
- 软件工程广播播客第 272 集:Apache Beam