媒体：文章、视频、播客

本页面提供指向与 Dataflow 相关的公开文章、视频和播客的链接。

公告

如需了解公告和最新动态，请参阅以下资源：

• Dataflow 新闻：Google Cloud 博客
• Dataflow 更新：Dataflow 版本说明
• Apache Beam 更新：Apache Beam SDK 版本说明

Dataflow 生态系统

• Dataflow - 数据分析的支柱
• Dataflow 探秘：原始案例：第 1 部分、第 2 部分、第 3 部分
• 请访问 Apache Beam 开源文档，详细了解如何开发统一模型、定义流水线以及在 Dataflow 或 Apache Beam 支持的一个分布式后端中运行流水线。

客户案例

公开文章

• Dataflow 案例集合 - Medium Publication
• Dataflow 被评为 2021 年流式分析领导者 - Forrester Wave
• 构建工具以提供有关实时受众群体的实时反馈 - ITV
• 监控 Dataflow 流水线 - Medium Publication
• 高度可扩缩性、低延迟的数据处理执行模型 - Medium Publication
• 在 Dataflow 上使用 GPU 加速机器学习模型推断 - Nvidia
• 对大型数据集执行计算 - Pandora
• 为 Wrapped 2020 优化最大的 Dataflow 作业 - Spotify
• 使用 Dataflow 实时处理数十亿个事件 - Twitter
• 智能家庭数据流水线中的 Dataflow - Nest
• 将 JSON 消息流式传输到 BigQuery JSON 类型列 - Medium

案例研究

• AXA Switzerland：使用 Google Cloud 分析解决方案增强内部流程和开发服务
• Bayer Crop：通过 BigQuery 和 Dataflow 中的地理空间分析改善土壤健康与作物管理
• Dow Jones：构建记录了 30 多年新闻内容的关键事件的知识图谱
• HSBC：通过快速的数据洞见和分析功能利用云来降低风险泄露
• Nintendo：使用 Dataflow 和 Pub/Sub 收集和分析 BigQuery 中的游戏使用情况日志
• Quantiphi：构建无服务器实时信用卡欺诈检测解决方案
• SoFi Court：构建面向粉丝的个人礼宾应用程序来为每个用户定制游戏日体验
• Spotify：Dataflow 流处理实验
• Subaru Corporation：使用 Google Cloud AI 和机器学习加快开发速度
• Telus：借助数据科学加快现代化改造速度
• Tokopedia：在 Google Cloud 上创建客户数据平台
• Tyson Foods：通过开发提取即服务重新构想数据平台
• Vodafone：使用 Google Cloud 安全地共享手机数据

视频

Brightcove：使用 Dataflow 和 Pub/Sub 进行无服务器数据处理

Sky：使用 Dataflow 进行实时流式分析

Spotify：从音乐智能流水线和微服务迁移到 Dataflow 和 Pub/Sub

Two Sigma：推进 Dataflow 中的无服务器数据处理

Tyson Foods：使用流式分析技术生成实时价值

Veolia：使用 Dataflow 在生产环境中转换、清理数以万计的文件并将它们插入到 BigQuery 数据湖中

Verizon：在 Google Cloud 上构建互联网级分析平台

技术指导

简介视频

一分钟了解 Dataflow

什么是 Dataflow？

Google Cloud 技术：1) 什么是 Apache Beam？

Google Cloud 技术：2) 如何在 Apache Beam 中使用 WordCount

Google Cloud 技术：3) 如何在 Apache Beam 中处理流式数据

Google Cloud 技术：4）如何在 Apache Beam 中处理延迟数据

Google Cloud 技术：5) 在 Apache Beam 中联接数据

Apache Beam 用于批量和流式数据处理的统一模型

Dataflow 数据流水线简介

使用 Google Cloud 轻松进行流式分析

文章

• 构建数据工程驱动型组织
• 从任意 Dataflow 流水线创建模板
• 适用于 Elastic Cloud 的 Dataflow 模板
• Dataflow 流水线 - 大规模部署和管理数据流水线
• BigQuery 的 Dataflow 自动分片使得性能提高到原来的 3 倍
• 使用 Dataflow 模板将 Google Cloud 数据导出到 Elastic Stack
• 使用 UDF 扩展 Dataflow 模板
• Dataflow 中的“正好一次”处理：第 1 部分、第 2 部分、第 3 部分
• 借助 Dataflow GPU 提升数据处理能力
• 使用 Dataflow 和 Pub/Sub 处理流式流水线中的重复数据
• 通过 Google 跟踪代码管理器数据的点击流处理了解 Apache Beam 模式
• 使用 Apache Beam 和 Dataflow Runner 的机器学习模式
• 使用 BigQuery Storage Write API 将数据流式传输到 BigQuery
• 使用 Dataflow Prime 简化和自动化数据处理
• Dataflow 为客户带来投资回报的三种方式
• 使用实时异常值检测参考模式打击欺诈
• 将 TFX 推断和 Dataflow 配合用于大规模机器学习推断模式
• 为什么要使用 Flex 模板进行 Dataflow 部署
• 编写具有可伸缩性的 Dataflow 流水线
• Dataflow 常见使用场景指南：第 1 部分、第 2 部分

数据和分析视频

Apache Beam 峰会：使用 Dataflow 和 Pub/Sub 处理流处理流水线中的重复数据

Cloud OnAir：使用 Dataflow 进行流处理：SDK 和架构

Cloud Next：Google Cloud 中的数据处理：Hadoop、Spark 和 Dataflow

Cloud Next：实时 AI - 整合 Dataflow、TensorFlow Extended 和 Cloud AI

Cloud Next：Apache Beam - 可移植的并行数据处理

Cloud Next：改善 Dataflow 中的无服务器数据处理

Cloud Next：Google Cloud 上的实际数据集成模式

Cloud Next：Google Cloud 上的流式分析

Cloud Next：使用 BigQuery、Dataflow 和 Kubernetes 构建您自己的事件分析流水线

Cloud Next：现代数据流水线的实际应用

Cloud Next：使用 Confluent Cloud 在 Google Cloud 上运行 Apache Kafka 生态系统即服务

问题排查和监控

视频

Dataflow 可观测性、监控和问题排查

Apache Beam College：Dataflow 监控

Apache Beam College：Dataflow 日志记录

Apache Beam College：Apache Beam 和 Dataflow 问题排查和调试

文章

• 使用 Dataflow 监控界面
• 使用 Dataflow 构建生产就绪型数据流水线：监控数据流水线
• 流水线问题排查和调试

播客

• Google Cloud 播客第 81 集 - 与 Frances Perry 聊聊 Dataflow
• 软件工程每日播客 - 与 Alex Anderson 畅聊 Dataflow
• 软件工程广播播客第 272 集：Apache Beam