リファレンス パターン

このページでは、よく使用される BigQuery ユースケースのサンプルコードと技術リファレンス ガイドへのリンクを紹介します。これらのリソースを学習に使用して、ベスト プラクティスを理解し、サンプルコードを活用して、必要な機能を構築しましょう。

ここに示すリファレンス パターンはコード指向であり、短時間で実装できます。幅広い BigQuery ソリューションを確認するには、BigQuery の技術リファレンス ガイドのリストをご覧ください。

異常検出

解決策 説明 リンク
K 平均法クラスタリングを使用したデータ通信ネットワーク異常検出アプリケーションの構築

このソリューションでは、Dataflow、BigQuery ML、および Cloud Data Loss Prevention を使用して、データ通信ネットワークに ML ベースのネットワーク異常検出アプリケーションを構築し、サイバー セキュリティの脅威を特定する方法を説明します。

技術リファレンス ガイド: Dataflow、BigQuery ML、および Cloud Data Loss Prevention を使用した安全な異常検出ソリューションの構築

サンプルコード: Netflow ログの異常検出

ブログ投稿: ストリーミング分析と AI を使用した異常検出

概要の動画: 安全な異常検出ソリューションの構築

BoostTrees を使用して金融取引の異常をリアルタイムで見つける

このリファレンス実装を使用して、TensorFlow 強化ツリーモデルから予測を取得した後、分析のために取引データを BigQuery に書き込む方法を学習します。

技術リファレンス ガイド: AI Platform、Dataflow、BigQuery を使用した金融取引の異常検出

サンプルコード: 金融取引における異常検出

一般的な分析

解決策 説明 リンク
音声ファイルの音声文字変換と分析を行うためのパイプラインの作成

アップロードされた音声ファイルを音声文字変換して分析し、そのデータを可視化のため BigQuery に保存する方法を学びます。

サンプルコード: Speech Analysis Framework

ログ分析

解決策 説明 リンク
BigQuery での分析のために Dialogflow インタラクションをキャプチャする

Dialogflow インタラクションをキャプチャして、詳細な分析のために BigQuery に保存する方法を学習します。

サンプルコード: Dialogflow ログパーサー

Dataflow と BigQuery を使用した大規模なログの処理

複数のソースからのログエントリを処理する分析パイプラインを構築して、そのログデータを組み合わせて有意義な情報を抽出する方法を学習します。

技術リファレンス ガイド: Dataflow を使用した大規模なログの処理

サンプルコード: Dataflow を使用した大規模なログの処理

パターン認識

解決策 説明 リンク
動画クリップ内のオブジェクトの検出

このソリューションでは、オブジェクト トラッキング用のリアルタイム動画クリップ分析ソリューションを構築する方法を説明します。これにより、ほぼリアルタイムで非構造化データを処理し、分析用に BigQuery へ書き込むことができます。

サンプルコード: Dataflow と Video Intelligence API を使用した動画分析ソリューション

Video Intelligence API を呼び出す Apache Beam モジュール: apache_beam.ml.gcp.videointelligenceml

Video Intelligence API と Cloud Vision API を使用したユーザー作成コンテンツの処理 このソリューションでは、Cloud Vision API と Video Intelligence API を使用して画像と動画の送信をフィルタリングして、データを分析用に BigQuery に書き込むスケーラブルなシステムをデプロイするためのアーキテクチャについて説明します。

アーキテクチャ: Video Intelligence API と Cloud Vision API を使用したユーザー作成コンテンツの処理

チュートリアル: Video Intelligence API と Cloud Vision API を使用したユーザー作成コンテンツの処理

サンプルコード: Video Intelligence API と Cloud Vision API を使用したユーザー作成コンテンツの処理

Cloud Vision API を呼び出すための Apache Beam Ptransform: apache_beam.ml.gcp.visionml モジュール

スマート アナリティクス パイプラインでの PII データの匿名化(非識別化)と再識別 この一連のソリューションでは、Dataflow、Cloud Data Loss Prevention、BigQuery、Pub/Sub を使用して、サンプル データセット内にある個人情報(PII)の非識別化と再識別を行う方法を示します。

技術リファレンス ガイド:

サンプルコード: Dataflow と Cloud Data Loss Prevention を使用して BigQuery で機密データを移行する

見通し予測

解決策 説明 リンク
市場セグメンテーション用の K 平均法クラスタリング モデルの構築

BigQuery ML で K 平均法クラスタを作成し、マーケティング目的で Google アナリティクス 360 のオーディエンス データをセグメント化する方法を学びます。

技術リファレンス ガイド: BigQuery ML を使用して市場セグメンテーション用の K 平均法クラスタリング モデルを構築する

ノートブック: BigQuery ML を使用した市場セグメンテーション用の K 平均法クラスタリング モデルの構築方法

BigQuery ML を使用して購入傾向ソリューションを構築する

購入傾向モデルを構築してデプロイする方法を学習します。このモデルを使用して、お客様の購入行動に関する予測を行い、ワークフローを自動化するパイプラインを構築します。

技術リファレンス ガイド: BigQuery ML と AI Platform を使用してお客様の購入傾向を予測する

サンプルコード: BigQuery ML と Kubeflow Pipelines を使用してエンドツーエンドの購入傾向ソリューションを構築する

ブログ投稿: BigQuery ML と Kubeflow Pipelines を使用してエンドツーエンドの購入傾向ソリューションを構築する

時系列需要予測モデルを構築する

小売商品の需要を予測するエンドツーエンドのソリューションを構築する方法を学びます。過去の販売データと BigQuery ML を使用して需要予測モデルをトレーニングし、ダッシュボードで予測値を可視化します。

サンプルコード: BigQuery ML を使用して時系列需要予測モデルを構築する方法

BigQuery ML を使用して e コマースのレコメンデーション システムを構築する

BigQuery ML を使用して BigQuery の顧客データからプロダクトやサービスのレコメンデーションを生成することで、レコメンデーション システムを構築する方法を学習します。次に、そのデータを他の本番環境システムで使用できるようにする方法(Google アナリティクス 360 や Cloud Storage へのエクスポート、BigQuery テーブルからのプログラムによる読み取りなど)を学習します。

技術リファレンス ガイド: BigQuery ML を使用して e コマースのレコメンデーション システムを構築する

ノートブック: bqml_matrix_factorization_retail_ecommerce

現在の顧客のライフタイム バリューに基づいて新しいオーディエンスを構築する

最も価値の高い現在のユーザーを識別し、それらを使用して Google 広告で類似ユーザーを開発する方法をご確認ください。

技術リファレンス ガイド: 既存顧客のライフタイム バリューに基づいて新しいオーディエンスを構築する

サンプルコード: LTV 予測で有効にする

リアルタイムでのレコメンデーションのための埋め込みの作成と提供

埋め込みを作成して提供し、リアルタイムで類似アイテムのレコメンデーションを作成する方法を学習します。BigQuery ML を使用して、埋め込みとオープンソース ScaNN フレームワークを予測する行列分解モデルを作成します。最も近いネイバーのインデックスを構築してから、そのモデルを AI Platform Prediction にデプロイし、類似アイテムをリアルタイムでマッチングします。

技術リファレンス ガイド: アイテム マッチングのための機械学習システムのアーキテクチャ

サンプルコード: リアルタイム アイテム間レコメンデーション BigQuery ML 行列分解および ScaNN