リファレンス パターン

このページでは、よく使用される Dataflow ユースケースのサンプルコードと技術リファレンス ガイドへのリンクを紹介します。これらのリソースを学習に使用して、ベスト プラクティスを理解し、サンプルコードを活用して、必要な機能を構築しましょう。

ここに示すリファレンス パターンはコード指向であり、短時間で実装できます。広範な Dataflow ソリューションについては、Dataflow 技術リファレンス ガイドのリストをご覧ください。

異常の検出

解決策 説明 リンク
K 平均法クラスタリングを使用したデータ通信ネットワーク異常検出アプリケーションの構築

このソリューションでは、Dataflow、BigQuery ML、および Cloud Data Loss Prevention を使用して、データ通信ネットワークに ML ベースのネットワーク異常検出アプリケーションを構築し、サイバー セキュリティの脅威を特定する方法を説明します。

技術リファレンス ガイド: Dataflow、BigQuery ML、および Cloud Data Loss Prevention を使用した安全な異常検出ソリューションの構築

サンプルコード: Netflow ログの異常検出

ブログ投稿: ストリーミング分析と AI を使用した異常検出

概要の動画: 安全な異常検出ソリューションの構築
BoostTrees を使用して金融取引の異常をリアルタイムで見つける

このリファレンス実装では、Dataflow と AI Platform で TensorFlow ブーストツリー モデルを使用して不正なトランザクションを識別する方法について説明します。

技術リファレンス ガイド: AI Platform、Dataflow、BigQuery を使用した金融取引の異常検出

サンプルコード: 金融取引における異常検出

一般的な分析

解決策 説明 リンク
リアルタイム ウェブサイト分析ダッシュボードを作成する

ウェブサイト上のインセンティブやテストのパフォーマンスを把握するためにリアルタイムの指標を提供するダッシュボードの作成方法を学びます。

サンプルコード: Dataflow と Memorystore を使用したリアルタイム分析

概要の動画: レベルアップ - Dataflow と Memorystore を使用したリアルタイム分析
音声ファイルの音声文字変換と分析を行うためのパイプラインの作成

Dataflow を使用して、アップロードされた音声ファイルを音声文字変換して分析し、そのデータを可視化で使用するために BigQuery に保存します。

サンプルコード: Speech Analysis Framework
Dataflow と Speech-to-Text API を使用して音声クリップを処理して文字起こしにする

音声クリップをリアルタイムで処理し、WebVTT 形式で文字起こしを作成する方法を学びます。

技術リファレンス ガイド: Dataflow、Pub/Sub、Speech-to-Text API を使用して、メディア クリップにリアルタイムでキャプションを生成する

サンプルコード: Dataflow を使用したストリーミング STT API からの自動 WebVTT キャプション

ログ分析

解決策 説明 リンク
Dialogflow インタラクションをキャプチャするパイプラインを構築する

Dataflow を使用してパイプラインを作成し、Dialogflow インタラクションをキャプチャして保存し、さらに分析します。

サンプルコード: Dialogflow ログパーサー
Dataflow を使用した大規模なログの処理

複数のソースからのログエントリを処理する分析パイプラインを構築して、そのログデータを組み合わせて有意義な情報を抽出する方法を学習します。

技術リファレンス ガイド: Dataflow を使用した大規模なログの処理

サンプルコード: Dataflow を使用した大規模なログの処理

パターン認識

解決策 説明 リンク
動画クリップ内のオブジェクトの検出

このソリューションでは、Dataflow と Video Intelligence API を使用してオブジェクト追跡用のリアルタイム動画クリップ分析ソリューションを作成し、大容量の非構造化データをほぼリアルタイムで分析する方法について説明します。

サンプルコード: Dataflow と Video Intelligence API を使用した動画分析ソリューション

Video Intelligence API を呼び出す Apache Beam Ptransform: apache_beam.ml.gcp.videointelligenceml モジュール
スマート アナリティクス パイプラインでの PII データの匿名化（非識別化）と再識別 この一連のソリューションでは、Dataflow、Cloud Data Loss Prevention、BigQuery、Pub/Sub を使用して、サンプル データセット内にある個人情報（PII）の非識別化と再識別を行う方法を示します。

技術リファレンス ガイド:

サンプルコード: Dataflow と Cloud Data Loss Prevention を使用して BigQuery で機密データを移行する

見通し予測

解決策 説明 リンク
リアルタイムでのレコメンデーションのための埋め込みの作成と提供

埋め込みを作成して提供し、リアルタイムで類似アイテムのレコメンデーションを作成する方法を学習します。BigQuery ML を使用して、埋め込みとオープンソース ScaNN フレームワークを予測する行列分解モデルを作成します。最も近いネイバーのインデックスを構築してから、そのモデルを AI Platform Prediction にデプロイし、類似アイテムをリアルタイムでマッチングします。

技術リファレンス ガイド: アイテム マッチングのための機械学習システムのアーキテクチャ

サンプルコード: リアルタイム アイテム間レコメンデーション BigQuery ML 行列分解および ScaNN

可視分析パイプラインを使用して機械的な障害を予測する

このソリューションでは、Cloud Storage バケットに保存されている大規模な画像ファイルから分析情報を取得するための Dataflow パイプラインを構築する方法を説明します。自動化されたビジュアル検査は、費用を抑えながら、品質管理プロセスの改善やワーカーの安全性のモニタリングなどの製造目標の達成に役立ちます。

サンプルコード: Dataflow と Cloud Vision API を使用した可視分析ソリューション