Apache Beam SDK 的管道基礎知識

Apache Beam 是開放原始碼形式的整合式模型,可定義批次和串流資料平行處理管道。開始使用 Dataflow 前,請先瞭解如何設計、建立及測試 Apache Beam 管道。

Apache Beam 資源

在 Apache Beam 網站上,您可以找到下列說明文件:

  • 如何設計管道:說明如何判斷管道的結構、如何選擇要套用至資料的轉換作業,以及如何決定輸入和輸出方法。

  • 如何建立管道:說明在 Beam SDK 中使用類別的機制及建構管道的必要步驟。

  • 如何測試管道:介紹測試管道的最佳做法。