Dataflow 用途

Dataflow 的設計宗旨是支援大規模的串流和批次管道。Dataflow 是以開放原始碼的 Apache Beam 架構為基礎。

本頁面提供教學課程和應用實例的連結，協助您快速上手。

關於 Dataflow 關於 Apache Beam

資料遷移

本教學課程說明如何執行 Dataflow 範本，從 Managed Service for Apache Kafka 讀取資料，並將記錄寫入 BigQuery 資料表。
本教學課程說明如何執行 Dataflow 範本，從 Pub/Sub 讀取以 JSON 編碼的訊息，並將這些訊息寫入 BigQuery 資料表。

Dataflow ML

這份筆記本說明如何在 Apache Beam 管道中使用 ML 模型，並使用 RunInference 轉換。
這個筆記本說明如何使用 vLLM 和 GPU 執行機器學習推論作業。vLLM 是用於 LLM 推論和服務的程式庫。

其他資源

常見 Dataflow 用途的範例程式碼和技術參考指南連結。
在本教學課程中，您將建立管道，轉換來自 Pub/Sub 的電子商務資料，並將資料輸出至 BigQuery 和 Bigtable。
您可以在單一管道中執行高度平行化的工作負載，進而提升效率，並簡化工作流程管理。