Dataflow 說明文件
Dataflow 是可用於執行各種資料處理模式的代管服務。此網站上的文件說明如何使用 Dataflow 部署批次和串流資料處理管道,包括使用服務功能的說明。
Apache Beam SDK 是開放原始碼程式設計模型,可讓您開發批次和串流管道。您可以使用 Apache Beam 程式建立管道,然後在 Dataflow 服務上執行管道。Apache Beam 說明文件為 Apache Beam 程式設計模型、SDK 和其他執行器提供深入的概念資訊和參考資料。
如要瞭解 Apache Beam 的基本概念,請參閱 Beam 導覽 和 Beam Playground。 Dataflow 教戰手冊存放區也提供可立即啟動的獨立管道,以及最常見的 Dataflow 用途。
使用價值 $300 美元的免費抵免額,開始進行概念驗證
- 取得 Gemini 2.0 Flash Thinking 的存取權
- 每月免費使用 AI API 和 BigQuery 等熱門產品
- 不會自動收費,也不會要求您一定要購買特定方案
繼續探索超過 20 項一律免費的產品
使用超過 20 項實用的免費產品,包括 AI API、VM 和 data warehouse 等。
說明文件資源
相關資源
執行 HPC 高度平行工作負載
您可以在單一管道中執行高度平行化的工作負載,進而提高效率,並簡化工作流程管理。
使用 Dataflow ML 執行推論
透過 Dataflow ML,您可以使用 Dataflow 部署及管理完整的機器學習 (ML) pipeline。使用機器學習模型,透過批次和串流管道執行本機和遠端推論。使用資料處理工具準備資料,以便用於模型訓練及處理模型生成的結果。
建立電子商務串流管道
建立端對端電子商務範例應用程式,將資料從網路商店串流至 BigQuery 和 Bigtable。這個範例應用程式說明瞭導入串流資料分析和即時人工智慧 (AI) 的常見用途和最佳做法。