Dataflow ドキュメント

Dataflow は、さまざまなデータ処理パターンの実行に対応したマネージドサービスです。このサイトのドキュメントでは、Dataflow を使用してバッチおよびストリーミングのデータ処理パイプラインをデプロイする方法とサービス機能の使用方法を説明します。

Apache Beam SDK は、バッチとストリーミングの両方のパイプラインの開発に対応したオープンソースのプログラミングモデルです。Apache Beam プログラムでパイプラインを作成し、Dataflow サービスで実行します。Apache Beam のドキュメントには、詳細なコンセプト情報と Apache Beam のプログラミングモデル、SDK、他のランナーのリファレンス情報が記載されています。

Apache、Apache Beam、Beam、Beam ロゴ、Beam のホタルのマスコットは、米国およびその他の国における Apache Software Foundation の商標です。

ユースケース

アーキテクチャ

Dataflow を使用した本番環境対応データパイプラインの構築: 概要

Dataflow を使用してデータパイプラインの本番環境に対応させる方法の概要。シリーズの最初の部分です。

変換

使用例

AI Platform、Dataflow、BigQuery を使用して金融トランザクションの異常を検出する

ブーストツリーモデルを使用して、不正なトランザクションを識別する異常検出アプリケーションを実装する方法について説明します。

ML 検出

使用例

Dataflow を使用して本番環境対応のログのエクスポートを Splunk にデプロイする

Cloud Logging、Pub/Sub、Dataflow を使用して、スケーラブルでフォールトトレラントなログエクスポートメカニズムを作成します。Google Cloud のリソースからログとイベントを Splunk Enterprise または Splunk Cloud にストリーミングします（IT 運用またはセキュリティのユースケース）。

Splunk ストリーミング

ガイド

リファレンス

リソース

ユースケース

動画