スマート アナリティクスのリファレンス パターン

このページでは、一般的な分析ユースケースのサンプルコードと技術リファレンス ガイドへのリンクを紹介します。これらのリソースを学習に使用して、ベスト プラクティスを理解し、サンプルコードを活用して、必要な分析機能を構築しましょう。

ここに示すリファレンス パターンはコード指向であり、短時間で実装できます。幅広い分析ソリューションを確認するには、ビッグデータに関する技術リファレンス ガイドのリストをご覧ください。

異常検出

解決策 説明 プロダクト リンク

K 平均法クラスタリングを使用してデータ通信ネットワーク異常検出アプリケーションをビルドする

このソリューションでは、Dataflow、BigQuery ML、および Cloud Data Loss Prevention を使用して、データ通信ネットワークに ML ベースのネットワーク異常検出アプリケーションを構築し、サイバー セキュリティの脅威を特定する方法を説明します。

技術リファレンス ガイド: Dataflow、BigQuery ML、および Cloud Data Loss Prevention を使用した安全な異常検出ソリューションの構築

サンプルコード: Netflow ログの異常検出

ブログ投稿: ストリーミング分析と AI を使用した異常検出

概要の動画: 安全な異常検出ソリューションの構築

BoostedTrees を使用して金融取引の異常をリアルタイムで検出する

このリファレンス実装では、Dataflow と AI Platform で TensorFlow ブーストツリー モデルを使用して不正なトランザクションを識別する方法について説明します。

技術リファレンス ガイド: AI Platform、Dataflow、BigQuery を使用した金融取引の異常検出

サンプルコード: 金融取引における異常検出

LSTM オートエンコーダを使用した時系列データの異常の検出

このリファレンス実装を使用して、時系列データを前処理し、ソースデータのギャップを埋める方法を学習します。その後、LSTM オートエンコーダを使用してデータを実行して異常を特定します。オートエンコーダは、LSTM ニューラル ネットワークを実装する Keras モデルとして構築されています。

サンプルコード: 時系列データの処理

クレジット カード不正使用のリアルタイム検出

トランザクションと顧客データを使用して、リアルタイムのデータ パイプラインで BigQuery ML で機械学習モデルをトレーニングする方法を学びます。これにより、クレジット カードの不正使用に対するアラートを特定、分析、トリガーできます。

サンプルコード: クレジット カード不正使用リアルタイム検出

テクニカル ブログ投稿: サーバーレス クレジット カードによる不正行為検出ソリューションを構築する方法

概要動画: クレジット カード不正使用リアルタイム検出ソリューションをビルドする方法

ウェブセミナー: クレジット カード不正使用検出

資本市場の時系列上の相対強度モデリング

このパターンは、資本市場の顧客とその量的分析部門(Quant)が、投資判断やインデックス追跡のための技術指標をリアルタイムで追跡する場合に特に重要です。これは時系列異常検出の基盤の上に構築されており、関連する時系列指標の異常を検出するために製造業など他の業種にも簡単に適用できます。

サンプルコード: Dataflow Financial Services 時系列の例

ビジネスと技術に関するブログ投稿: 機械学習によりリアルタイムの外国為替データの異常値を検出する方法

データの収益化

解決策 説明 プロダクト リンク

Datashare Toolkit を使用して Google Cloud Marketplace で販売データを一覧表示する

過去とリアルタイムの市場データを安全かつ容易に交換して収益化する方法について説明します。このリファレンス ソリューションは、市場データのパブリッシャー、アグリゲータ、コンシューマに対して同様に機能します。

技術的概要: Datashare Toolkit Readme

サンプルコード: Datashare Toolkit

概要の動画: Datashare の概要

デプロイ(Google Cloud アカウントが必要): Datashare VM

一般的な分析

解決策 説明 プロダクト リンク

リアルタイム ウェブサイト分析ダッシュボードをビルドする

ウェブサイト上のインセンティブやテストのパフォーマンスを把握するためにリアルタイムの指標を提供するダッシュボードの作成方法を学びます。

サンプルコード: Dataflow と Memorystore を使用したリアルタイム分析

概要の動画: レベルアップ - Dataflow と Memorystore を使用したリアルタイム分析

音声ファイルの音声文字変換と分析を行うためのパイプラインのビルド

アップロードされた音声ファイルを音声文字変換して分析し、そのデータを可視化のため BigQuery に保存する方法を学びます。

サンプルコード: Speech Analysis Framework

エクスペリエンス管理データ ウェアハウスのビルド

アンケート データを、データ ウェアハウスやより深いアナリティクスに使用できる形式に変換する方法を学びます。このパターンは、カスタマー エクスペリエンスや従業員のエクスペリエンスなど、エクスペリエンスにフォーカスしたユースケースに適用されます。

テクニカル リファレンス ガイド: サーベイ データ ウェアハウスを使用してフォームから分析情報を引き出す

サンプルコード: Dataprep by Trifacta を使用したアンケート データの変換と BigQuery への読み込み

ブログ投稿: アンケートの回答に基づいて Experience Management(XM)データ ウェアハウスを作成する

概要の動画: アンケートの回答に基づいて Experience Management(XM)データ ウェアハウスを作成する

チュートリアル: フォームのアンケートの回答を変換して BigQuery に読み込む

デモ エクスペリエンス: Cloud Market Research

メディア クリップにリアルタイムでキャプションを生成する

Dataflow パイプラインで Speech-to-Text API を使用して、音声または動画クリップのリアルタイム WebVTT キャプションを作成する方法について説明します。

技術リファレンス ガイド: Dataflow、Pub/Sub、Speech-to-Text API を使用して、メディア クリップにリアルタイムでキャプションを生成する

サンプルコード: Dataflow を使用したストリーミング Speech-to-Text API からの自動 WebVTT キャプション

統合アプリ分析プラットフォームの作成

データソースをデータ ウェアハウスで一元管理し、お客様の行動を深く掘り下げて、情報に基づくビジネス上の意思決定を行う方法について学習します。

技術リファレンス ガイド: Firebase、BigQuery、Looker を使用した統合アプリ分析プラットフォームの作成

ログ分析

解決策 説明 プロダクト リンク

Dialogflow インタラクションをキャプチャするパイプラインをビルドする

Dialogflow インタラクションをキャプチャして保存し、詳細な分析のためにパイプラインを構築する方法を学習します。

サンプルコード: Dialogflow ログパーサー

Dataflow を使用した大規模なログの処理

複数のソースからのログエントリを処理する分析パイプラインを構築して、そのログデータを組み合わせて有意義な情報を抽出する方法を学習します。

技術リファレンス ガイド: Dataflow を使用した大規模なログの処理

サンプルコード: Dataflow を使用した大規模なログの処理

パターン認識

解決策 説明 プロダクト リンク

動画クリップ内のオブジェクトの検出

このソリューションでは、Dataflow と Video Intelligence API を使用してオブジェクト追跡用のリアルタイム動画クリップ分析ソリューションを作成し、大容量の非構造化データをほぼリアルタイムで分析する方法について説明します。

サンプルコード: Dataflow と Video Intelligence API を使用した動画分析ソリューション

Video Intelligence API を呼び出す Apache Beam Ptransform: apache_beam.ml.gcp.videointelligenceml モジュール

Video Intelligence API と Cloud Vision API を使用したユーザー作成コンテンツの処理

このソリューションでは、Cloud Vision API と Video Intelligence API を使用して画像と動画の送信をフィルタリングする、スケーラブルなシステムをデプロイするためのアーキテクチャについて説明します。

アーキテクチャ: Video Intelligence API と Cloud Vision API を使用したユーザー作成コンテンツの処理

チュートリアル: Video Intelligence API と Cloud Vision API を使用したユーザー作成コンテンツの処理

サンプルコード: Video Intelligence API と Cloud Vision API を使用したユーザー作成コンテンツの処理

Cloud Vision API を呼び出すための Apache Beam Ptransform: apache_beam.ml.gcp.visionml モジュール

スマート アナリティクス パイプラインでの PII データの匿名化(非識別化)と再識別

この一連のソリューションでは、Dataflow、Cloud Data Loss Prevention、BigQuery、Pub/Sub を使用して、サンプル データセット内にある個人情報(PII)の非識別化と再識別を行う方法を示します。

技術リファレンス ガイド:

サンプルコード: Dataflow と Cloud Data Loss Prevention を使用して BigQuery で機密データを移行する

見通し予測

解決策 説明 プロダクト リンク

需要予測モデルをビルドする

複数の商品の小売需要を予測するために使用できる時系列モデルをビルドする方法を確認します。

ブログ投稿: BigQuery ML を使用して需要予測モデルをビルドする方法

ノートブック: bqml_retail_demand_forecasting.ipynb

e コマースのレコメンデーション システムのビルド

BigQuery ML を使用して BigQuery の顧客データからプロダクトやサービスのレコメンデーションを生成することで、レコメンデーション システムを構築する方法を学習します。次に、そのデータを他の本番環境システムで使用できるようにする方法(Google アナリティクス 360 や Cloud Storage へのエクスポート、BigQuery テーブルからのプログラムによる読み取りなど)を学習します。

技術リファレンス ガイド: BigQuery ML を使用して e コマースのレコメンデーション システムを構築する

ノートブック: bqml_retail_recommendation_system.ipynb

市場セグメンテーション用の K 平均法クラスタリング モデルのビルド

BigQuery ML で K 平均法クラスタを作成し、マーケティング目的で Google アナリティクス 360 のオーディエンス データをセグメント化する方法を学びます。

技術リファレンス ガイド: BigQuery ML を使用して市場セグメンテーション用の K 平均法クラスタリング モデルを構築する

ノートブック: BigQuery ML を使用した市場セグメンテーション用の K 平均法クラスタリング モデルの構築方法

Google Cloud で金融サービスの傾向モデルを構築する

このソリューションでは、Google Cloud でデータを探索して scikit-learn 機械学習(ML)モデルを構築する方法を説明します。このソリューションのユースケースは、金融サービスの購入傾向予測モデルです。傾向モデルは、金融業界で見込み顧客の購入分析を分析するために広く使用されていますが、このソリューションで説明しているベスト プラクティスは幅広い ML ユースケースに適用できます。

技術リファレンス ガイド: Google Cloud で金融サービスの傾向モデルを構築する

サンプルコード: プロフェッショナル サービス

購入傾向ソリューションをビルドする

購入傾向モデルを構築してデプロイする方法を学習します。このモデルを使用して、顧客の購入行動に関する予測を行い、ワークフローを自動化するパイプラインを構築します。

技術リファレンス ガイド: BigQuery ML と AI Platform を使用して顧客の購入傾向を予測する

サンプルコード: BigQuery ML と Kubeflow Pipelines を使用してエンドツーエンドの購入傾向ソリューションを構築する

ブログ投稿: BigQuery ML と Kubeflow Pipelines を使用してエンドツーエンドの購入傾向ソリューションを構築する

現在の顧客のライフタイム バリューに基づいて新しいオーディエンスをビルドする

最も価値の高い現在のユーザーを識別し、それらを使用して Google 広告で類似ユーザーを開発する方法をご確認ください。

技術リファレンス ガイド: 既存顧客のライフタイム バリューに基づいて新しいオーディエンスを構築する

サンプルコード: LTV 予測で有効にする

時系列需要予測モデルをビルドする

小売商品の需要を予測するエンドツーエンドのソリューションを構築する方法を学びます。過去の販売データと BigQuery ML を使用して需要予測モデルをトレーニングし、ダッシュボードで予測値を可視化します。

サンプルコード: BigQuery ML を使用して時系列需要予測モデルを構築する方法

ほぼリアルタイムでのレコメンデーションのための埋め込みの作成と提供

埋め込みを作成して提供し、リアルタイムで類似アイテムのレコメンデーションを作成する方法を学習します。BigQuery ML を使用して、埋め込みとオープンソース ScaNN フレームワークを予測する行列分解モデルを作成します。最も近いネイバーのインデックスを構築してから、そのモデルを AI Platform Prediction にデプロイし、類似アイテムをリアルタイムでマッチングします。

技術リファレンス ガイド: アイテム マッチングのための機械学習システムのアーキテクチャ

サンプルコード: リアルタイム アイテム間レコメンデーション BigQuery ML 行列分解および ScaNN

BigQuery ML を使用してスプレッドシートから予測する

接続されたスプレッドシートを BigQuery ML の予測モデルと組み合わせて、ビジネス プロセスで機械学習を運用する方法について説明します。この具体的な例では、Google アナリティクスのデータを使用してウェブサイト トラフィックの予測モデルをビルドする方法について説明します。このパターンは、他のデータ型やその他の機械学習モデルで機能するように拡張できます。

ブログ投稿: BigQuery ML を使用してスプレッドシートから機械学習モデルを使用する方法

サンプルコード: スプレッドシートを使用した BigQuery ML 予測

テンプレート: スプレッドシートを使用した BigQuery ML 予測

可視分析パイプラインを使用して機械的な障害を予測する

このソリューションでは、Cloud Storage バケットに保存されている大規模な画像ファイルから分析情報を取得するための Dataflow パイプラインを構築する方法を説明します。自動化されたビジュアル検査は、費用を抑えながら、品質管理プロセスの改善やワーカーの安全性のモニタリングなどの製造目標の達成に役立ちます。

サンプルコード: Dataflow と Cloud Vision API を使用した可視分析ソリューション

顧客のライフタイム バリューの予測

このシリーズでは、AI Platform と BigQuery を使用して顧客のライフタイム バリュー(CLV)を予測する方法について説明します。

技術リファレンス ガイド:

サンプルコード: Google Cloud での顧客ライフタイム バリューの予測

ゲーム アプリケーションのモデルになる傾向

BigQuery ML を使用して、複数のタイプの傾向モデルをトレーニング、評価して、予測を取得する方法を学びます。傾向モデルは、特定のユーザーがアプリに戻る可能性を判断するのに役立ちます。その情報はマーケティングでの意思決定に活用できます。

ブログ投稿: Google アナリティクス 4 と BigQuery ML を使用した、ゲーム デベロッパーのためのチャーン予測

ノートブック: Google アナリティクス 4 と BigQuery ML を使用した、ゲーム デベロッパーのためのチャーン予測

技術概要: ゲーム アプリケーション用の傾向モデル

リアルタイムのクリックストリーム分析

解決策 説明 プロダクト リンク

ストリーミング分析とリアルタイム AI を使用した e コマース サンプル アプリケーション

e コマース サンプル アプリケーションには、ストリーミング データ分析とリアルタイム AI を実装するための一般的なユースケースとベスト プラクティスが示されています。リアルタイムでイベントを分析して対応し、お客様のアクションに動的に対応する方法を学習します。また、そのイベントデータを長期的な分析のために保存、分析、可視化する方法も学習します。

技術概要: ストリーミング分析とリアルタイム AI を使用した e コマース サンプル アプリケーション

サンプルコード: Java の e コマース サンプル アプリケーション

インタラクティブなデモ: Google のストリーム アナリティクスの詳細

概要動画: ストリーム分析を使用してリアルタイム ウェブ エクスペリエンスを実現する

時系列アナリティクス

解決策 説明 プロダクト リンク

ストリーミング時系列データの処理

Apache Beam の使用時に時系列データのストリーミングを処理する際の主な課題について確認し、Timeseries Streaming ソリューションがこれらの課題にどのように対処するかをご覧ください。

技術的概要: ストリーミング時系列データの処理: 概要

チュートリアル: 時系列データのストリーミングの処理: チュートリアル

サンプルコード: 時系列ストリーミング

データレイクの操作

解決策 説明 プロダクト リンク

データレイクのサーバーレス データ処理サービス用の CI / CD パイプラインをビルドする

データレイクのデータ処理パイプライン用に継続的インテグレーションと継続的デリバリー(CI / CD)を設定する方法について説明します。一般的な GitOps 手法を使用して、Terraform、GitHub、Cloud Build で CI / CD メソッドを実装します。

技術概要: データレイクのサーバーレス データ処理サービス用の CI / CD パイプラインの構築