使用 Apache Beam 建構管道

Dataflow 以開放原始碼的 Apache Beam 專案為基礎。您可以使用 Apache Beam SDK 建構 Dataflow 管道。本文列出一些資源,協助您開始使用 Apache Beam 程式設計。

開始使用

  • 安裝 Apache Beam SDK: 說明如何安裝 Apache Beam SDK,以便在 Dataflow 中執行管道。

  • 建立 Java 管道:說明如何使用 Apache Beam Java SDK 建立管道,並在 Dataflow 中執行管道。

  • 建立 Python 管道: 說明如何使用 Apache Beam Python SDK 建立管道,並在 Dataflow 中執行管道。

  • 建立 Go 管道:說明如何使用 Apache Beam Go SDK 建立管道,並在 Dataflow 中執行管道。

學習 Apache Beam

您可以透過 Apache Beam 網站上的下列頁面,瞭解 Apache Beam 程式設計。

  • Apache Beam 程式設計指南: 提供使用 Apache Beam SDK 類別建構及測試管道的指南。

  • Apache Beam 導覽: 這份學習指南可協助您熟悉 Apache Beam。 學習單元會附上程式碼範例,供您執行及修改。

  • Apache Beam Playground: 互動式環境,可試用 Apache Beam 轉換和範例,不必在環境中安裝 Apache Beam。

  • 建立管道:說明在 Apache Beam SDK 中使用類別的機制及建構管道的必要步驟。

開發管道

  • 規劃管道:瞭解如何在開始開發程式碼前規劃管道。

  • 開發及測試管道:瞭解開發及測試 Dataflow 管道的最佳做法。

  • 串流管道:瞭解串流管道的重要設計考量,包括視窗、觸發條件和浮水印。

程式碼範例

您可以從 Apache Beam GitHub 使用下列範例,開始建構串流管道:

後續步驟