新しい BigQuery アクセサーを使用した pandas でのゼロショット予測
Shenyang Cai
Senior Software Engineer
※この投稿は米国時間 2026 年 11 月 7 日に、Google Cloud blog に投稿されたものの抄訳です。
使い慣れた pandas DataFrame を離れることなく、予測や分類から高次元エンベディングの生成まで、高度な ML ワークフローを実行できる様子を想像してみてください。BigQuery DataFrames(BigFrames)の新しい .bigquery アクセサーにより、その構想が現実となります。pandas 内から直接 BigQuery のエンタープライズ グレードの AI 関数をシームレスに呼び出し、クラウド インフラストラクチャ上でデータ サイエンスや ML パイプラインをスケールできます。
線形回帰を例に見てみましょう。従来、pandas で回帰分析を行いたい場合、次のようにデータをローカルに抽出し、手動で特徴量を選択したうえで、カスタムの scikit-learn モデルをトレーニングする必要がありました。
.bigquery アクセサーを使用すると、ローカルでのトレーニング プロセスを完全にスキップし、BigQuery 内のデータに対して強力な ai.predict() を直接活用できます。
ご覧のとおり、ai.predict() を使えばわずか 1 回の関数呼び出しで 2 つの pandas DataFrame に対して直接回帰タスクを実行できるため、ML プロセス全体が大幅に簡素化されます。
BigQuery アクセサーの仕組み
内部処理として、.bigquery アクセサーは BigQuery DataFrames ライブラリを利用し、計算処理を Google Cloud へ透過的に push します。.ai.predict() などの AI メソッドを呼び出しても、回帰処理はローカルでは計算されません。代わりに、pandas オペレーションを Google 標準 SQL に変換し、対応する基盤モデル(TabFM など)を BigQuery のインフラストラクチャ上でネイティブに実行して、その結果を標準の pandas DataFrame としてシームレスに返します。これにより、BigQuery 独自の強力な機能やサービスを活用して、ローカルのデータセットを簡単に処理できるようになります。
以降のセクションでは、実行可能なその他のコード例について詳しく解説します。また、これらのコードはすべて、こちらのノートブックでも確認できます。
環境のセットアップ
この投稿内のコードサンプルを実行する前に、以下のロールが付与された Google Cloud プロジェクトが用意されていることを確認してください(詳しくは、AI 関数の権限についてのドキュメントをご覧ください)。
-
クエリジョブを実行する: BigQuery ジョブユーザー(roles/bigquery.jobUser)
-
Gemini Enterprise Agent Platform で基盤モデルにアクセスする: Agent Platform ユーザー(roles/aiplatform.user)
次に、Jupyter 環境に pandas と BigFrames をインストールします。AI アクセサーを有効にするには、BigFrames ライブラリをインポートし、Google Cloud のプロジェクト ID を指定するだけです。これにより、これ以降の AI 関数の呼び出しはすべて、承認済みのプロジェクト経由で実行されるようになります。
構成が完了すると、標準の pandas オブジェクトから BigQuery AI 関数を直接呼び出せるようになります。
pandas シリーズの関数
pandas の `Series` にアタッチされた AI 関数は、単一列の入力シーケンスを受け取ります。
例: AI.EMBED
ベクトル エンベディングの生成は、現代の NLP やセマンティック検索パイプラインにおける基本ステップです。`ai.embed()` 関数を使用すると、シンプルな 1 つの式でテキスト列全体のエンベディングを計算できます。
その裏側では、BigFrames が pandas Series を BigQuery で処理可能な形式に変換し、出力結果をネイティブな pandas Series にキャストします。開発者の視点からは、すべてのワークフローが pandas 内で完結します。
このオペレーションの出力は、生成されたエンベディング リストを含むネイティブな pandas `Series` です。BigFrames が一時的な BigQuery への変換、モデルの実行、最終的なデータ整形をすべて自動で処理するため、使い慣れた pandas インターフェースを離れる必要は一切ありません。
例: AI.SIMILARITY
意味的な類似性を計算する必要がある場合は、`ai.similarity()` 関数を使用します。この関数は、Series の要素とターゲットとの間のコサイン類似度スコアを算出します。このターゲットには、スカラーのリテラル文字列または別の Series のいずれかを指定できます。pandas の `Series` とスカラー文字列を比較して、一致するコンセプトを検索する方法は次のとおりです。
同様に、2 つの異なる pandas `Series` オブジェクト間でペアワイズ比較を実行すれば、別々のデータセット間における意味的な相関関係を見つけ出すことができます。
どちらの場合も、戻り値は浮動小数点の類似度スコアを持つ標準的な pandas `Series` となるため、フィルタリングやソートといった後続の pandas メソッドでそのまま活用できます。
pandas DataFrame の関数
DataFrame AI 関数は、複数列からなる構造化テーブルを操作したり、複数のデータ入力を伴う複雑なプロンプトを処理したりします。
例: AI.FORECAST
時系列予測を行うには、通常、タイムスタンプのフォーマット調整、エンティティのグループ化、モデルのトレーニングなどのために大量のボイラープレート コードが必要になります。`ai.forecast()` 関数を使用すると、シンプルな高レベル パラメータを指定するだけで、グループ化された構造化データに対する時系列予測を行うことができます。これを実際に試すために、まず過去の売上データを表す入力サンプルの DataFrame を準備します。
データの準備ができたら、DataFrame から直接 `ai.forecast()` を呼び出すことができます。ここでは、ターゲット指標、タイムスタンプ列、グループ化キー、3 日間の予測期間を指定します。
返される DataFrame には、信頼水準や予測区間などの統計パラメータとともに、予測値の全データが含まれます。内部処理では、TimesFM モデルがトリガーされてトレンド分析が行われ、きれいに構造化された結果が pandas DataFrame としてローカル環境に返されます。model 引数を使用してモデル バージョンを選択することもできます。たとえば、model="TimesFM 3.0" を渡すと、最新の TimesFM モデルを使用できます。このモデルは現在 BigQuery でプレビュー版として提供されており、GIFT-Eval、FEV-Bench、TIME などの予測ベンチマークで 1 位を獲得しています。
例: AI.IF
自然言語の条件で行をフィルタする処理は、最もよく使われる生成 AI タスクの一つです。`ai.if_()` 関数は、リテラル文字列と DataFrame の列を組み合わせて作成されたプロンプトを評価し、各行に対して True または False を返します。
`ai.if_()` はブール値の Series を返すため、pandas のフィルタマスクとして直接使用できます(例: `df[df.bigquery.ai.if_(prompt)]`)。`ai.if_()` はデフォルトで最適化モード(optimization_mode="minimize_cost")で実行されます。ローカルの蒸留モデルがほとんどの行を処理し、残りの行のみを Gemini に送信することで、大規模データセットのコストとレイテンシを削減します。代わりにすべての行を LLM に送信するには、`optimization_mode` を `"maximize_quality"` に設定します。
使ってみる
bigquery アクセサーが提供する AI 関数を使用すると、ネイティブなデータ構造内で高度な ML ツールを直接活用できるため、使い慣れた Python エコシステムを離れることなく、複雑な AI の課題を解決できます。
現在サポートされている AI 関数は次のとおりです(詳細については、ドキュメントをご覧ください)。
pandas Series
-
embed(): 単一の列に対してベクトル エンベディングを生成します。
-
generate_embedding(): テーブルに対してベクトル エンベディングを生成します。
-
generate_table(): 自然言語タスクを実行し、構造化された出力を生成します。
-
generate_text(): 自然言語タスクを実行し、自由形式のテキストを生成します。
-
similarity(): エントリ間のセマンティックな近さ(コサイン類似度)を計算します。
pandas DataFrame
-
classify(): ゼロショット分類を実行します。
-
forecast(): 最新の TimesFM 3.0 を含む TimesFM を使用して、グループ化されたデータ全体の時系列予測を実行します。
-
generate(): 複数の列をまたぐ動的なプロンプトを評価し、テキスト レスポンスを生成します。
-
generate_bool(): 自然言語の条件を評価し、ブール値(True / False)を返します。
-
generate_double(): プロンプトを評価し、浮動小数点数を返します。
-
generate_int(): プロンプトを評価し、整数を返します。
-
if_(): 自然言語の条件に基づいて行をフィルタします。デフォルトでは最適化モードを使用して、コストとレイテンシを削減します。
-
predict(): TabFM を使用して、回帰などの予測モデリングを実行します。
-
score(): 定義したスコアリング システムに基づいて入力を評価します。
エンベディングの生成でも、完全な時系列予測の実行でも、pandas 内の BigQuery AI 関数を使用すれば、ML のスケーリングを簡単に行えます。ぜひお試しいただき、データに面倒な作業を任せましょう。
- シニア ソフトウェア エンジニア、Shenyang Cai


