スマート アナリティクスのリファレンス パターン

このページでは、一般的な分析ユースケースのサンプルコードと技術リファレンス ガイドへのリンクを紹介します。これらのリソースを学習に使用して、ベスト プラクティスを理解し、サンプルコードを活用して、必要な分析機能を構築しましょう。

ここに示すリファレンス パターンはコード指向であり、短時間で実装できます。幅広い分析ソリューションを確認するには、ビッグデータに関する技術リファレンス ガイドのリストをご覧ください。

異常検出

解決策 説明 プロダクト リンク
K 平均法クラスタリングを使用したデータ通信ネットワーク異常検出アプリケーションの構築

このソリューションでは、Dataflow、BigQuery ML、および Cloud Data Loss Prevention を使用して、データ通信ネットワークに ML ベースのネットワーク異常検出アプリケーションを構築し、サイバー セキュリティの脅威を特定する方法を説明します。

技術リファレンス ガイド: Dataflow、BigQuery ML、および Cloud Data Loss Prevention を使用した安全な異常検出ソリューションの構築

サンプルコード: Netflow ログの異常検出

ブログ投稿: ストリーミング分析と AI を使用した異常検出

概要の動画: 安全な異常検出ソリューションの構築
BoostTrees を使用して金融取引の異常をリアルタイムで見つける

このリファレンス実装では、Dataflow と AI Platform で TensorFlow ブーストツリー モデルを使用して不正なトランザクションを識別する方法について説明します。

技術リファレンス ガイド: AI Platform、Dataflow、BigQuery を使用した金融取引の異常検出

サンプルコード: 金融取引における異常検出
LSTM オートエンコーダを使用した時系列データの異常の検出

このリファレンス実装を使用して、時系列データを前処理し、ソースデータのギャップを埋める方法を学習します。その後、LSTM オートエンコーダを使用してデータを実行して異常を特定します。オートエンコーダは、LSTM ニューラル ネットワークを実装する Keras モデルとして構築されています。

サンプルコード: 時系列データの処理
リアルタイムのクレジット カードの不正利用の検出

トランザクションと顧客データを使用して、リアルタイムのデータ パイプラインで BigQuery ML で機械学習モデルをトレーニングする方法を学びます。これにより、クレジット カードの不正使用に対するアラートを特定、分析、トリガーできます。

サンプルコード: リアルタイムのクレジット カードの不正利用の検出

テクニカル ブログ投稿: サーバーレス クレジット カードによる不正行為検出ソリューションを構築する方法

概要動画: サーバーレス クレジット カードによる不正行為検出ソリューションを構築する方法

ウェブセミナー: クレジット カードの不正行為の検出

一般的な分析

解決策 説明 プロダクト リンク
リアルタイム ウェブサイト分析ダッシュボードを作成する

ウェブサイト上のインセンティブやテストのパフォーマンスを把握するためにリアルタイムの指標を提供するダッシュボードの作成方法を学びます。

サンプルコード: Dataflow と Memorystore を使用したリアルタイム分析

概要の動画: レベルアップ - Dataflow と Memorystore を使用したリアルタイム分析
音声ファイルの音声文字変換と分析を行うためのパイプラインの作成

アップロードされた音声ファイルを音声文字変換して分析し、そのデータを可視化のため BigQuery に保存する方法を学びます。

サンプルコード: Speech Analysis Framework
メディア クリップにリアルタイムでキャプションを生成する

Dataflow パイプラインで Speech-to-Text API を使用して、音声または動画クリップのリアルタイム WebVTT キャプションを作成する方法について説明します。

技術リファレンス ガイド: Dataflow、Pub/Sub、Speech-to-Text API を使用して、メディア クリップにリアルタイムでキャプションを生成する

サンプルコード: Dataflow を使用したストリーミング Speech-to-Text API からの自動 WebVTT キャプション

ログ分析

解決策 説明 プロダクト リンク
Dialogflow インタラクションをキャプチャするパイプラインを構築する

Dialogflow インタラクションをキャプチャして保存し、詳細な分析のためにパイプラインを構築する方法を学習します。

サンプルコード: Dialogflow ログパーサー
Dataflow を使用した大規模なログの処理

複数のソースからのログエントリを処理する分析パイプラインを構築して、そのログデータを組み合わせて有意義な情報を抽出する方法を学習します。

技術リファレンス ガイド: Dataflow を使用した大規模なログの処理

サンプルコード: Dataflow を使用した大規模なログの処理

パターン認識

解決策 説明 プロダクト リンク
動画クリップ内のオブジェクトの検出

このソリューションでは、Dataflow と Video Intelligence API を使用してオブジェクト追跡用のリアルタイム動画クリップ分析ソリューションを作成し、大容量の非構造化データをほぼリアルタイムで分析する方法について説明します。

サンプルコード: Dataflow と Video Intelligence API を使用した動画分析ソリューション

Video Intelligence API を呼び出す Apache Beam Ptransform: apache_beam.ml.gcp.videointelligenceml モジュール
Video Intelligence API と Cloud Vision API を使用したユーザー作成コンテンツの処理 このソリューションでは、Cloud Vision API と Video Intelligence API を使用して画像と動画の送信をフィルタリングする、スケーラブルなシステムをデプロイするためのアーキテクチャについて説明します。

アーキテクチャ: Video Intelligence API と Cloud Vision API を使用したユーザー作成コンテンツの処理

チュートリアル: Video Intelligence API と Cloud Vision API を使用したユーザー作成コンテンツの処理

サンプルコード: Video Intelligence API と Cloud Vision API を使用したユーザー作成コンテンツの処理

Cloud Vision API を呼び出すための Apache Beam Ptransform: apache_beam.ml.gcp.visionml モジュール
スマート アナリティクス パイプラインでの PII データの匿名化（非識別化）と再識別 この一連のソリューションでは、Dataflow、Cloud Data Loss Prevention、BigQuery、Pub/Sub を使用して、サンプル データセット内にある個人情報（PII）の非識別化と再識別を行う方法を示します。

技術リファレンス ガイド:

サンプルコード: Dataflow と Cloud Data Loss Prevention を使用して BigQuery で機密データを移行する

見通し予測

解決策 説明 プロダクト リンク
需要予測モデルをビルドする

複数の商品の小売需要を予測するために使用できる時系列モデルをビルドする方法を確認します。

ブログ投稿: BigQuery ML を使用して需要予測モデルをビルドする方法

ノートブック: bqml_retail_demand_forecasting.ipynb
e コマースのおすすめシステムのビルド

BigQuery ML を使用して BigQuery の顧客データからプロダクトやサービスのレコメンデーションを生成することで、レコメンデーション システムを構築する方法を学習します。次に、そのデータを他の本番環境システムで使用できるようにする方法（Google アナリティクス 360 や Cloud Storage へのエクスポート、BigQuery テーブルからのプログラムによる読み取りなど）を学習します。

技術リファレンス ガイド: BigQuery ML を使用して e コマースのレコメンデーション システムを構築する

ノートブック: bqml_retail_recommendation_system.ipynb
市場セグメンテーション用の K 平均法クラスタリング モデルの構築

BigQuery ML で K 平均法クラスタを作成し、マーケティング目的で Google アナリティクス 360 のオーディエンス データをセグメント化する方法を学びます。

技術リファレンス ガイド: BigQuery ML を使用して市場セグメンテーション用の K 平均法クラスタリング モデルを構築する

ノートブック: BigQuery ML を使用した市場セグメンテーション用の K 平均法クラスタリング モデルの構築方法
Google Cloud で金融サービスの傾向モデルを構築する

このソリューションでは、Google Cloud でデータを探索して scikit-learn 機械学習（ML）モデルを構築する方法を説明します。このソリューションのユースケースは、金融サービスの購入傾向予測モデルです。傾向モデルは、金融業界で見込み顧客の購入分析を分析するために広く使用されていますが、このソリューションで説明しているベスト プラクティスは幅広い ML ユースケースに適用できます。

技術リファレンス ガイド: Google Cloud で金融サービスの傾向モデルを構築する

サンプルコード: プロフェッショナル サービス
購入傾向ソリューションを構築する

購入傾向モデルを構築してデプロイする方法を学習します。このモデルを使用して、顧客の購入行動に関する予測を行い、ワークフローを自動化するパイプラインを構築します。

技術リファレンス ガイド: BigQuery ML と AI Platform を使用して顧客の購入傾向を予測する

サンプルコード: BigQuery ML と Kubeflow Pipelines を使用してエンドツーエンドの購入傾向ソリューションを構築する

ブログ投稿: BigQuery ML と Kubeflow Pipelines を使用してエンドツーエンドの購入傾向ソリューションを構築する
現在の顧客のライフタイム バリューに基づいて新しいオーディエンスを構築する

最も価値の高い現在のユーザーを識別し、それらを使用して Google 広告で類似ユーザーを開発する方法をご確認ください。

技術リファレンス ガイド: 既存顧客のライフタイム バリューに基づいて新しいオーディエンスを構築する

サンプルコード: LTV 予測で有効にする
時系列需要予測モデルを構築する

小売商品の需要を予測するエンドツーエンドのソリューションを構築する方法を学びます。過去の販売データと BigQuery ML を使用して需要予測モデルをトレーニングし、ダッシュボードで予測値を可視化します。

サンプルコード: BigQuery ML を使用して時系列需要予測モデルを構築する方法
ほぼリアルタイムでのレコメンデーションのための埋め込みの作成と提供

埋め込みを作成して提供し、リアルタイムで類似アイテムのレコメンデーションを作成する方法を学習します。BigQuery ML を使用して、埋め込みとオープンソース ScaNN フレームワークを予測する行列分解モデルを作成します。最も近いネイバーのインデックスを構築してから、そのモデルを AI Platform Prediction にデプロイし、類似アイテムをリアルタイムでマッチングします。

技術リファレンス ガイド: アイテム マッチングのための機械学習システムのアーキテクチャ

サンプルコード: リアルタイム アイテム間レコメンデーション BigQuery ML 行列分解および ScaNN
BigQuery ML を使用したスプレッドシートからの予測

コネクテッド シートを BigQuery ML の予測モデルと組み合わせて、ビジネス プロセスで機械学習を運用する方法を学習します。この例では、Google アナリティクス データを使ってウェブサイト トラフィックの予測モデルを作成する方法を説明します。このパターンは、他のデータ型やその他の機械学習モデルで連携するように拡張できます。

ブログ投稿: BigQuery ML を使用してスプレッドシートから機械学習モデルを使用する方法

サンプルコード: スプレッドシートを使用した BigQuery ML 予測

テンプレート: スプレッドシートを使用した BigQuery ML 予測
可視分析パイプラインを使用して機械的な障害を予測する

このソリューションでは、Cloud Storage バケットに保存されている大規模な画像ファイルから分析情報を取得するための Dataflow パイプラインを構築する方法を説明します。自動化されたビジュアル検査は、費用を抑えながら、品質管理プロセスの改善やワーカーの安全性のモニタリングなどの製造目標の達成に役立ちます。

サンプルコード: Dataflow と Cloud Vision API を使用した可視分析ソリューション
顧客のライフタイム バリューの予測

このシリーズでは、AI Platform と BigQuery を使用して顧客のライフタイム バリュー（CLV）を予測する方法について説明します。

技術リファレンス ガイド:

サンプルコード: Google Cloud での顧客ライフタイム バリューの予測

リアルタイムのクリックストリーム分析

解決策 説明 プロダクト リンク
ストリーミング分析とリアルタイム AI を使用した e コマース サンプル アプリケーション

e コマース サンプル アプリケーションには、ストリーミング データ分析とリアルタイム AI を実装するための一般的なユースケースとベスト プラクティスが示されています。リアルタイムでイベントを分析して対応し、お客様のアクションに動的に対応する方法を学習します。また、そのイベントデータを長期的な分析のために保存、分析、可視化する方法も学習します。

技術概要: ストリーミング分析とリアルタイム AI を使用した e コマース サンプル アプリケーション

サンプルコード: Java の e コマース サンプル アプリケーション

インタラクティブなデモ: Google のストリーム アナリティクスの詳細

概要動画: ストリーム分析を使用してリアルタイム ウェブ エクスペリエンスを実現する

時系列分析

解決策 説明 プロダクト リンク
ストリーミングの時系列データの処理

Apache Beam の使用時に時系列データのストリーミングを処理する際の主な課題について確認し、Timeseries Streaming ソリューションがこれらの課題にどのように対処するかをご覧ください。

技術的概要: ストリーミング時系列データの処理: 概要

チュートリアル: ストリーミング時系列データの処理: チュートリアル

サンプルコード: Timeseries Streaming

データレイクの操作

解決策 説明 プロダクト リンク
データレイクのサーバーレス データ処理サービス用の CI / CD パイプラインの構築

データレイクのデータ処理パイプライン用に継続的インテグレーションと継続的デリバリー（CI / CD）を設定する方法について説明します。一般的な GitOps 手法を使用して、Terraform、GitHub、Cloud Build で CI / CD メソッドを実装します。

技術概要: データレイクのサーバーレス データ処理サービス用の CI / CD パイプラインの構築