すべてのプロダクト ドキュメントを見る

Dataflow は、さまざまなデータ処理パターンの実行に対応したマネージド サービスです。このサイトのドキュメントでは、Dataflow を使用してバッチおよびストリーミングのデータ処理パイプラインをデプロイする方法とサービス機能の使用方法を説明します。

Apache Beam SDK は、バッチとストリーミングの両方のパイプラインの開発に対応したオープンソースのプログラミング モデルです。Apache Beam プログラムでパイプラインを作成し、Dataflow サービスで実行します。Apache Beam のドキュメントには、詳細なコンセプト情報と Apache Beam のプログラミング モデル、SDK、他のランナーのリファレンス情報が記載されています。

Apache Beam の基本コンセプトについては、Beam のツアーと Beam Playground をご覧ください。また、Dataflow Cookbook リポジトリには、起動可能な自己完結型のパイプラインと、Dataflow の最も一般的なユースケースが用意されています。

Apache、Apache Beam、Beam、Beam ロゴ、Beam のホタルのマスコットは、米国およびその他の国における Apache Software Foundation の登録商標です。

ドキュメント リソース

クイックスタートやガイド、主なリファレンス、一般的な問題のヘルプをご覧いただけます。
Google Cloud Skills Boost のセルフペース トレーニング、ユースケース、リファレンス アーキテクチャ、コードサンプル、Google Cloud サービスの使用方法と接続方法の例をご覧ください。
ユースケース
ユースケース

HPC の高度な並列ワークロードを実行する

Dataflow を使用すると、高度に並列化されたワークロードを単一のパイプラインで実行できるため、効率が向上し、ワークフローの管理が容易になります。

ストリーミング

詳細  
ユースケース
ユースケース

Dataflow ML を使用して推論を実行する

Dataflow ML では、Dataflow を使用して完全な ML パイプラインをデプロイおよび管理できます。ML モデルを使用して、バッチ パイプラインとストリーミング パイプラインでローカルとリモートの推論を行います。データ処理ツールを使用して、モデルのトレーニング用データを準備し、モデルの結果を処理します。

ML ストリーミング

詳細  
ユースケース
ユースケース

e コマースのストリーミング パイプラインを作成する

ウェブストアから BigQuery と Bigtable にデータをストリーミングするエンドツーエンドの e コマース サンプル アプリケーションを構築します。このサンプル アプリケーションは、ストリーミング データ分析とリアルタイム AI を実装するための一般的なユースケースとベスト プラクティスを示しています。

ecommerce ストリーミング

詳細  

関連動画

How to use Retrieval Augmented Generation (RAG)

Get familiar with RAG → https://goo.gle/3YclIUC What is RAG? → https://goo.gle/4hahoOi What is Retrieval Augmented Generation (RAG) and how does it enhance generative AI capabilities in apps? Watch along as Googlers Aja Hammerly and Jason Davenport

Dataflow for IoT galactic research

What if you could harness your IoT data to instantly predict anomalies, optimize performance, and make split second business decisions. Dataflow provides the speed and scale you need to turn raw sensor data into actionable intelligence. Watch more

Dataflow for real-time IoT analytics

Deploy sample code → https://goo.gle/3zGVK3u One-pager with use cases & case studies → https://goo.gle/3Y3tgdt Unlock the power of real-time insights from Internet of Things (IoT) devices with Dataflow. Discover how Dataflow can process high