Dataflow 使用场景

Dataflow 旨在支持大规模流式处理和批量处理流水线。Dataflow 基于开源 Apache Beam 框架构建。

本页面提供指向教程和示例使用情形的链接，可帮助您入门。

Dataflow 简介 关于 Apache Beam

数据移动

本教程介绍了如何运行一个 Dataflow 模板，该模板可从 Managed Service for Apache Kafka 读取数据，并将记录写入 BigQuery 表。
本教程将介绍如何运行一个 Dataflow 模板，该模板可从 Pub/Sub 读取 JSON 编码的消息并将其写入 BigQuery 表中。

Dataflow 机器学习

此笔记本展示了如何在采用 RunInference 转换的 Apache Beam 流水线中使用机器学习模型。
此笔记本展示了如何使用 vLLM 和 GPU 运行机器学习推理。vLLM 是一个用于 LLM 推理和服务的库。

其他资源

指向常见 Dataflow 使用场景的示例代码和技术参考指南的链接。

电子商务流处理流水线

在本教程中，您将创建一个流水线，该流水线会转换来自 Pub/Sub 的电子商务数据，并将数据输出到 BigQuery 和 Bigtable。
使用 Dataflow，您可以在单个流水线中运行高度并行的工作负载，从而提高效率并使工作流更易于管理。