開始使用 Dataflow

Dataflow 服務會執行 Apache Beam SDK 定義的管道。不過，在許多情況下，您不需要使用 SDK 撰寫程式碼，因為 Dataflow 提供多種無程式碼和低程式碼選項。

  • 範本。Dataflow 提供預先建構的範本，可將資料從一個產品移至另一個產品。舉例來說，您可以使用範本將資料從 Pub/Sub 移至 BigQuery。

  • 工作建立工具。工作建構工具提供視覺化的使用者介面，可讓您在Google Cloud 控制台中建構 Dataflow pipeline。支援部分 Apache Beam 來源和接收器，以及聯結、Python 函式和 SQL 查詢等轉換。如果用途簡單 (例如移動資料)，建議使用工作建立工具。

  • 機器學習的即用型轉換。對於機器學習 (ML) 管道，Dataflow 提供即用型轉換，只需少量程式碼即可設定。首先，請在 Google Colab 中執行範例 ML 筆記本。詳情請參閱 Dataflow ML 總覽。

  • Apache Beam SDK。如要充分發揮 Apache Beam 的效用，請使用 SDK 以 Python、Java 或 Go 編寫自訂管道。

下表列出一些常見範例，協助您做出決定。

我想要... 建議做法
將資料從來源移至接收器，不含任何自訂邏輯。

工作建立工具或範本

建議您先使用工作建立工具。如果作業建構工具不支援您的用途，請查看是否有相關範本。
將資料從來源移至接收器，並使用 Python 函式或 SQL 套用自訂邏輯。 工作建立工具
在管線中使用機器學習模型，或準備用於訓練或推論的資料。 Dataflow ML 一鍵轉換
編寫需要使用更進階 Apache Beam 功能的管道。 Java、Python 或 Go 適用的 Apache Beam SDK

後續步驟