BigQuery の AI と ML の概要

BigQuery ML では、GoogleSQL クエリまたは Google Cloud コンソールを使用して、ML モデルの作成と実行を行えます。BigQuery ML モデルは、テーブルやビューなどと同様に BigQuery データセットに格納されます。また、BigQuery ML では Vertex AI モデルと Cloud AI API にアクセスして、テキスト生成や機械翻訳などの AI タスクを実行できます。Gemini for Google Cloud は、BigQuery タスクの AI を活用した支援も提供します。BigQuery の AI を活用した機能の一覧については、Gemini in BigQuery の概要をご覧ください。

通常、大規模なデータセットで ML や AI を実行するには、ML フレームワークに対する高度なプログラミング技術と知識が必要になります。このため、どの組織でもソリューションの開発はごく限られたメンバーで行われています。データをよく理解していても、プログラミングの経験が少なく、ML に詳しくないデータ アナリストは除外されています。しかし、BigQuery ML を使用すると、SQL 実務担当者が既存の SQL ツールとスキルを使用して、モデルの構築と評価を行い、LLM と Cloud AI API から結果を生成できます。

BigQuery ML の機能は、次の方法で操作できます。

BigQuery ML の利点

クラウドベースのデータ ウェアハウスで ML や AI を使用する他のアプローチに比べて、BigQuery ML にはいくつかの利点があります。

  • BigQuery ML では、既存のビジネス インテリジェンス ツールやスプレッドシートを使用してモデルを構築し、実行できます。主要なデータ ウェアハウス ユーザーであるデータ アナリストが ML と AI を簡単に使用できます。このため、予測分析が組織全体でビジネス上の意思決定の改善につながります。
  • Python や Java を使用して ML や AI ソリューションをプログラミングする必要はありません。データ アナリストにはなじみのある SQL 言語を使用して、モデルをトレーニングし、AI リソースにアクセスします。

  • BigQuery ML では、データ ウェアハウスからデータを移動する必要がないため、モデル開発とイノベーションを迅速化できます。データは BigQuery ML が ML に提供します。これには次の利点があります。

    • 必要なツールが減るため、複雑さが軽減されます。
    • BigQuery でモデルをトレーニングするために Python ベースの ML フレームワーク用に大量のデータを移動してフォーマットする必要がないため、本番環境への移行を加速できます。

    詳細については、BigQuery ML で ML 開発を加速する方法の動画をご覧ください。

CREATE MODEL ステートメントと推論関数のデフォルト設定を使用すると、ML の知識がなくても BigQuery ML モデルを作成して使用できます。ただし、特徴量エンジニアリングやモデル トレーニングなど、ML 開発ライフサイクルに関する基本的な知識があれば、データとモデルの両方を最適化して、より良い結果を得るのに役立ちます。ML の手法とプロセスに習熟するために、次のリソースの活用をおすすめします。

生成 AI と事前トレーニング済みモデル

BigQuery ML の機能を使用して、さまざまな生成 AI タスクを実行できます。

サポートされているモデル

BigQuery ML のモデルは、ML システムがトレーニング データから学習したモデルです。以降のセクションでは、BigQuery ML がサポートするモデルの種類について説明します。さまざまなタイプのモデルの予約の割り当ての作成の詳細については、スロットを BigQuery ML ワークロードに割り当てるをご覧ください。

内部でトレーニングされたモデル

BigQuery ML には、次のモデルが組み込まれています。

  • 貢献度分析。特定の指標の値に対して、1 つ以上のディメンションが与える影響の特定に使用されます。たとえば、店舗の場所と販売日が店舗の収益に与える影響を把握できます。詳細については、貢献度分析の概要をご覧ください。
  • 線形回帰は、類似のリモートデータでトレーニングされたモデルを使用して、新しいデータの数値指標の値を予測します。ラベルは実数です。正の無限大、負の無限大、NaN（非数値）にすることはできません。
  • ロジスティック回帰は、入力が low-value、medium-value、high-value のいずれであるかなど、2 つ以上の有効な値を分類する場合に使用されます。ラベルには、最大 50 個の一意の値を指定できます。
  • K 平均法クラスタリング。データ セグメンテーションに使用されます。たとえば、このモデルは顧客セグメントの識別に使用されます。K 平均法は教師なし学習にあたるため、モデルのトレーニングを行う際にラベルは必要なく、トレーニングや評価用にデータの分割を行う必要もありません。
  • 行列分解。商品のレコメンデーション システムの作成に使用されます。過去の顧客行動、トランザクション、商品評価を使用して商品のおすすめを作成し、これらのレコメンデーションを使用して、カスタマイズされたカスタマー エクスペリエンスを提供できます。
  • 主成分分析（PCA）。主成分を計算し、それらを使用してデータに基底変換を実行するプロセスです。一般に、データのバリエーションをできるだけ多く保持しながら、各データポイントを最初のいくつかの主成分にのみ射影して低次元のデータを取得することで、次元数を削減するために使用されます。

  • 時系列。時系列予測に使用されます。この機能を使用すると、数百万の時系列モデルを作成して予測に利用できます。ARIMA_PLUS モデルと ARIMA_PLUS_XREG モデルは、複数のチューニング オプションを提供し、異常値、季節性、休日を自動で処理します。

    自前の時系列予測モデルを管理したくない場合は、BigQuery ML の組み込みの TimesFM 時系列モデル（プレビュー）で AI.FORECAST 関数を使用して予測を行えます。

内部でトレーニングされたモデルの CREATE MODEL ステートメントでドライランを実行すると、モデルを実行した場合に処理されるデータ量を見積もることができます。

外部でトレーニングされたモデル

次のモデルは BigQuery ML の外部にあり、Vertex AI でトレーニングされます。

  • ディープ ニューラル ネットワーク（DNN）。分類モデルと回帰モデル用に TensorFlow ベースのディープ ニューラル ネットワークを構築します。
  • ワイド＆ディープ。レコメンデーション システム、検索、ランキングに関する問題など、スパース入力による大規模な回帰と分類問題（多くの特徴値を持つカテゴリ特徴）に役立ちます。
  • オートエンコーダ。スパースデータ表現をサポートする TensorFlow ベースのモデルを作成します。BigQuery ML のモデルは、教師なし異常検出や非線形次元削減などのタスクに使用できます。
  • ブーストツリー。XGBoost に基づく分類モデルと回帰モデルを作成します。
  • ランダム フォレスト。トレーニング時の分類、回帰、その他のタスク用に、複数の学習方法のディシジョン ツリーを構築するために使用します。
  • AutoML。表形式データの分類モデルと回帰モデルを高速かつ大規模に構築してデプロイする教師あり ML サービスです。

外部でトレーニングされたモデルの CREATE MODEL ステートメントでドライランを実行すると、モデルを実行した場合に処理されるデータ量を見積もることができます。

リモートモデル

BigQuery では、Vertex AI にデプロイされたモデルを使用するリモートモデルを作成できます。デプロイされたモデルを参照するには、リモートモデルの CREATE MODEL ステートメントでモデルの HTTPS エンドポイントを指定します。

リモートモデルの CREATE MODEL ステートメントはバイトを処理しません。また、BigQuery の料金も発生しません。

インポートされたモデル

BigQuery ML を使用すると、BigQuery の外部でトレーニングされたカスタムモデルをインポートして、BigQuery 内で予測を実行できます。Cloud Storage から BigQuery にインポートできるモデルは次のとおりです。

  • Open Neural Network Exchange（ONNX）。ML モデルを表すオープン標準形式です。ONNX を使用すると、PyTorch や scikit-learn などの一般的な ML フレームワークでトレーニングされたモデルを BigQuery ML で使用できます。
  • TensorFlow。ML と AI 用の無料のオープンソース ソフトウェア ライブラリです。TensorFlow はさまざまなタスクで使用できますが、特にディープ ニューラル ネットワークのトレーニングと推論に重点を置いています。トレーニング済みの TensorFlow モデルを BigQuery ML モデルとして BigQuery に読み込んでから、BigQuery ML で予測を実行できます。
  • TensorFlow Lite。モバイル デバイス、マイクロコントローラなどのエッジデバイス向けの TensorFlow の軽量バージョンです。TensorFlow は、既存の TensorFlow モデルを最適化して、モデルサイズの縮小と推論の高速化を実現します。
  • XGBoost。最適化された分散型勾配ブースティング ライブラリで、効率性、柔軟性、ポータビリティに優れた設計になっています。これは、勾配ブースティング フレームワークで ML アルゴリズムを実装します。

インポートされたモデルの CREATE MODEL ステートメントはバイトを処理しません。また、BigQuery の料金も発生しません。

BigQuery ML では、トレーニングと予測のために複数の BigQuery データセットのデータが含まれるモデルを使用できます。

モデル選択ガイド

このディシジョン ツリーは、達成したいアクションと ML モデルをマッピングしています。 モデル選択ディシジョン ツリーをダウンロード

BigQuery ML と Vertex AI

BigQuery ML は、 Google Cloudの AI と ML 用のエンドツーエンドのプラットフォームである Vertex AI と統合されています。BigQuery ML モデルを Model Registry に登録し、それらのモデルをエンドポイントにデプロイしてオンライン予測を行うことができます。詳しくは以下をご覧ください。

BigQuery ML と Colab Enterprise

Colab Enterprise ノートブックを使用して、BigQuery で ML ワークフローを実行できるようになりました。ノートブックを使用すると、SQL、Python、その他の一般的なライブラリや言語を使用して ML タスクを実行できます。詳細については、ノートブックを作成するをご覧ください。

サポートされるリージョン

BigQuery ML は、BigQuery と同じリージョンでサポートされています。詳細については、BigQuery ML のロケーションをご覧ください。

料金

モデルのトレーニングとモデルに対するクエリの実行に使用したコンピューティング リソースに対して課金されます。作成するモデルのタイプは、モデルのトレーニング先とそのオペレーションに適用される料金に影響します。モデルに対するクエリは常に BigQuery で実行され、BigQuery コンピューティングの料金が使用されます。リモートモデルは Vertex AI モデルを呼び出すため、リモートモデルに対するクエリでも Vertex AI の料金が発生します。

トレーニング済みモデルで使用されるストレージに対して、BigQuery ストレージの料金に基づいて課金されます。

詳細については、BigQuery ML の料金をご覧ください。

割り当て

BigQuery ML 固有の上限に加えて、BigQuery ML 関数と CREATE MODEL ステートメントを使用するクエリも、BigQuery クエリジョブの割り当てと上限の対象となります。

制限事項

次のステップ