データ分析設計パターン

Last reviewed 2023-02-06 UTC

このページでは、業界のデータ分析ユースケースにおけるビジネス ユースケース、サンプルコード、技術リファレンス ガイドへのリンクを紹介します。これらのリソースを使用して、ワークロードの実装を加速するためのベスト プラクティスを学習し、特定します。

ここに示す設計パターンはコード指向のユースケースであり、短時間で実装できます。広範な分析ソリューションについては、データ分析技術リファレンス ガイドのリストをご覧ください。

異常検出

ソリューション 説明 プロダクト リンク

LSTM オートエンコーダを使用した時系列データの異常の検出

このリファレンス実装を使用して、時系列データを前処理し、ソースデータのギャップを埋める方法を学習します。その後、LSTM オートエンコーダを使用してデータを実行して異常を特定します。オートエンコーダは、LSTM ニューラル ネットワークを実装する Keras モデルとして構築されています。

サンプルコード: 時系列データの処理

クレジット カード不正使用のリアルタイム検出

トランザクションと顧客データを使用して、リアルタイムのデータ パイプラインで BigQuery ML で ML モデルをトレーニングする方法を確認します。これにより、クレジット カードの不正使用に対するアラートを特定、分析、トリガーできます。

サンプルコード: クレジット カード不正使用リアルタイム検出

概要動画: Fraudfinder: 実際のデータ サイエンスの問題を解決する包括的なソリューション

資本市場の時系列上の相対強度モデリング

このパターンは、資本市場の顧客とその量的分析部門(Quant)が、投資判断やインデックス追跡のための技術指標をリアルタイムで追跡する場合に特に重要です。これは時系列異常検出の基盤の上に構築されており、関連する時系列指標の異常を検出するために製造業など他の業種にも簡単に適用できます。

サンプルコード: Dataflow 金融サービス時系列の例

ビジネスと技術に関するブログ投稿: ML によりリアルタイムの外国為替データの異常値を検出する方法

環境、社会、ガバナンス

ソリューション 説明 プロダクト リンク

サステナブルな金融のための物理的な気候危機の計算

クラウドネイティブ ツールときめ細かい地理空間データセットを使用した、融資および投資ポートフォリオ向けの気候危機の分析設計パターンの導入。

技術的概要: ポートフォリオ気候危機分析 Bitbucket リポジトリ

概要の動画: 独立した ESG データ インサイトの活用

ブログ投稿: 持続可能な投資を行うために地理空間分析でポートフォリオの気候危機を定量化

一般的な分析

ソリューション 説明 プロダクト リンク

リアルタイム ウェブサイト分析ダッシュボードを作成する

ウェブサイト上のインセンティブやテストのパフォーマンスを把握するためにリアルタイムの指標を提供するダッシュボードの作成方法を学びます。

サンプルコード: Dataflow と Memorystore を使用したリアルタイム分析

概要の動画: レベルアップ - Dataflow と Memorystore を使用したリアルタイム分析

音声ファイルの音声文字変換と分析を行うためのパイプラインの作成

アップロードされた音声ファイルを音声文字変換して分析し、そのデータを可視化のため BigQuery に保存する方法を学びます。

サンプルコード: Speech Analysis Framework

オブジェクト ストア内の非構造化データの分析

Vertex AI Vision などの遠隔機能で画像を分析し、Cloud Storage 内の非構造化データを分析できるようにする方法を学習します。BigQuery ML を使用して非構造化データの推論を行う方法について学習します。

技術リファレンス ガイド: オブジェクト テーブルの紹介

チュートリアル: リモート関数と Cloud Vision API を使用してオブジェクト テーブルを分析する

チュートリアル: TensorFlow と BigQuery ML を使用して画像オブジェクト テーブルに関して推論を実行する

データ ウェアハウス内の非構造化ドキュメント ファイルの分析

BigLake オブジェクト テーブルとリモート関数を使用して Document AI で非構造化ドキュメントを解析し、出力を構造化データとして BigQuery に保存する方法を学習します。

サンプルコード: SQL での非構造化ドキュメント分析

エクスペリエンス管理データ ウェアハウスの構築

アンケート データを、データ ウェアハウスやより深いアナリティクスに使用できる形式に変換する方法を学びます。このパターンは、カスタマー エクスペリエンスや従業員のエクスペリエンスなど、エクスペリエンスにフォーカスしたユースケースに適用されます。

テクニカル リファレンス ガイド: サーベイ データ ウェアハウスを使用して Google フォームから分析情報を引き出す

サンプルコード: Dataprep by Trifacta を使用したアンケート データの変換と BigQuery への読み込み

ブログ投稿: アンケートの回答に基づいて Experience Management(XM)データ ウェアハウスを作成する

概要の動画: アンケートの回答に基づいて Experience Management(XM)データ ウェアハウスを作成する

チュートリアル: Google フォームのアンケートの回答を変換して BigQuery に読み込む

Google Cloud のデータセットにある Google トレンドの一般公開データセットを使用して、小売店がある地域のトレンドの特定、商品の需要の予測、新しいマーケティング キャンペーンの策定などの一般的なビジネス上の課題に対応する方法を確認します。

ブログ投稿: Google トレンドのデータによる情報に基づいた意思決定

概要の動画: Google トレンド データセットが BigQuery に追加されました

サンプルコード(ノートブック): トレンド サンプル ノートブック

サンプルコード(SQL): Google トレンドのサンプルクエリ

サンプル ダッシュボード: 急上昇 Google 検索キーワード上位 25 件

Google Cloud の費用を把握して最適化する

Google Cloud Billing のデータを BigQuery に組み込んで、費用を把握して、最適化し、Looker または Looker Studio で実用的な結果を可視化する方法を確認します。

ブログ投稿: BigQuery と Looker で Google Cloud の費用を最適化

サンプルコード: Google Cloud Billing Looker Block

データドリブンな価格最適化

市場の変化に迅速に対応して競争力を維持するための方法を学習します。価格を迅速に最適化することによって、Google Cloud サービスを使用してエンドユーザーに競争力のある価格を提供し、売上と収益を増やすことができます。このソリューションは Dataprep by Trifacta を使用してデータソースを統合して標準化し、BigQuery を使用して料金モデルを管理および保存して、Looker で対処が必要な結果を可視化します。

ブログ投稿: データドリブンな価格最適化

チュートリアル: 小売商品の価格の最適化

サンプルコード: Google Cloud Billing Looker Block

医療とライフ サイエンス

ソリューション 説明 プロダクト リンク

単一細胞ゲノム分析の実施

Dask、RAPIDS、GPU、JupyterLab で Dataproc を構成してから、単一細胞ゲノム分析を行う方法を学びます。

技術概要: Dataproc での Dask、RAPIDS、GPU を使用したゲノム分析の実行

サンプルコード: ノートブック

ブログ投稿: Google Cloud 上の NVIDIA で単一細胞ゲノム分析を高速化

ログ分析

ソリューション 説明 プロダクト リンク

Dialogflow インタラクションをキャプチャするパイプラインを構築する

Dialogflow インタラクションをキャプチャして保存し、詳細な分析のためにパイプラインを構築する方法を学習します。

サンプルコード: Dialogflow ログパーサー

パターン認識

ソリューション 説明 プロダクト リンク

動画クリップ内のオブジェクトの検出

このソリューションでは、Dataflow と Video Intelligence API を使用してオブジェクト追跡用のリアルタイム動画クリップ分析ソリューションを作成し、大容量の非構造化データをほぼリアルタイムで分析する方法について説明します。

サンプルコード: Dataflow と Video Intelligence API を使用した動画分析ソリューション

Video Intelligence API を呼び出す Apache Beam Ptransform: apache_beam.ml.gcp.videointelligenceml モジュール

スマート アナリティクス パイプラインでの PII データの匿名化(非識別化)と再識別

この一連のソリューションでは、Dataflow、機密データの保護、BigQuery、Pub/Sub を使用して、サンプル データセット内にある個人情報(PII)の非識別化と再識別を行う方法を示します。

技術リファレンス ガイド:

サンプルコード: Dataflow と Cloud Data Loss Prevention を使用して BigQuery で機密データを移行する

見通し予測

ソリューション 説明 プロダクト リンク

Datastream、Dataflow、BigQuery ML、Looker を使用して需要予測を構築、可視化する

Oracle データベースから Google Cloud にリアルタイムでオペレーション データを複製して処理する方法について学習します。チュートリアルはまた、将来の需要をどのように予測するか、そしてこの予測データが得られた際にどのように可視化するかについても示しています。たとえば、小売の食品廃棄物を最小限に抑えることです。

ブログ投稿: Google Cloud のデータ分析で食品廃棄問題を解決

技術リファレンス ガイド: Datastream、Dataflow、BigQuery、Looker を使用して需要予測を構築、可視化する

需要予測モデルの構築

複数の商品の小売需要を予測するために使用できる時系列モデルを構築する方法を確認します。

ブログ投稿: BigQuery ML で需要予測モデルを構築する方法

ノートブック: bqml_retail_demand_forecasting.ipynb

予測ウェブアプリの作成

BigQuery と Vertex AI Prediction を含む、複数の予測モデルを活用してプロダクトの売上を予測するウェブアプリを作成する方法を学習します。技術者ではないユーザーも、このウェブアプリを使用して予測を生成し、異なるパラメータの効果を調べることができます。

サンプルコード: 時系列予測

サンプル ウェブアプリ: 時系列予測のライブデモ

現在のお客様のライフタイム バリューに基づいた新しいオーディエンスの構築

最も価値の高い現在のユーザーを識別し、それらを使用して Google 広告で類似ユーザーを開発する方法をご確認ください。

技術リファレンス ガイド: 既存顧客のライフタイム バリューに基づいて新しいオーディエンスを構築する

サンプルコード: LTV 予測で有効にする

BigQuery ML を使用した Google スプレッドシートからの予測

接続されたスプレッドシートを BigQuery ML の予測モデルと組み合わせて、ビジネス プロセスで ML を運用する方法について説明します。この具体的な例では、Google アナリティクスのデータを使用してウェブサイト トラフィックの予測モデルをビルドする方法について説明します。このパターンは、他のデータ型やその他の機械学習モデルで機能するように拡張できます。

ブログ投稿: BigQuery ML を使用して Google スプレッドシートから ML モデルを使用する方法

サンプルコード: スプレッドシートを使用した BigQuery ML 予測

テンプレート: スプレッドシートを使用した BigQuery ML 予測

ゲーム アプリケーションのための傾向モデル

BigQuery ML を使用して、いくつかの異なるタイプの傾向モデルをトレーニング、評価、予測値を得る方法を確認します。傾向モデルは、特定のユーザーがアプリに戻る可能性を判断するのに役立ちます。その情報はマーケティングでの意思決定に活用できます。

ブログ投稿: Google アナリティクス 4 と BigQuery ML を使用した、ゲーム デベロッパーのためのチャーン予測

ノートブック: Google アナリティクス 4 と BigQuery ML を使用した、ゲーム デベロッパーのためのチャーン予測

技術概要: ゲーム アプリケーション用の傾向モデル

パーソナライズされた投資プロダクトのレコメンデーション

Cloud Functions を使用して公開 API から市場データの取り込み、処理、拡張を行い、Dataflow を使用して BigQuery にデータを読み込み、Vertex AI を使用して複数の AutoML Tables モデルのトレーニングとデプロイを行うことで、パーソナライズされた投資レコメンデーションを行う方法を確認します。Cloud Composer でパイプラインをオーケストレートし、最後にユーザーに投資を推奨するための基本的なウェブ フロントエンドをデプロイします。

ブログ投稿: Vertex AI を使用して、高度にパーソナライズされた投資レコメンデーションで消費者金融アプリを強化

技術リファレンス ガイド: ML を使用して高度にパーソナライズされた投資に関するおすすめを作成する技術的なソリューション

サンプルコード: FSI 設計パターン投資プロダクト レコメンデーション エンジン(IPRE)

データレイクの操作

ソリューション 説明 プロダクト リンク

データレイクのサーバーレス データ処理サービス用の CI / CD パイプラインの構築

データレイクのデータ処理パイプライン用に継続的インテグレーションと継続的デリバリー(CI / CD)を設定する方法について説明します。一般的な GitOps 手法を使用して、Terraform、GitHub、Cloud Build で CI / CD メソッドを実装します。

技術概要: データレイクのサーバーレス データ処理サービス用の CI / CD パイプラインの構築

オブジェクト ストアに保存されたデータに対するきめ細かなアクセス制御

BigLake を使用して、オブジェクト ストアに保存されているファイルにきめ細かい権限(行レベルと列レベルのセキュリティ)を適用する方法を学習します。Dataproc で実行される Spark など、他のサービスにこのようなセキュリティが拡張されることを示します。

サンプルコード: Spark を使用する BigLake に関するきめ細かいアクセス制御