会話型分析エージェントの評価を行う方法
Kate Grinevskaja
Product Manager
Phil Meyers
Software Engineer
※この投稿は米国時間 2026 年 4 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。
手動で SQL を記述する代わりに、自然言語を使用してデータをクエリする組織が増えています。しかし、AI エージェントをプロトタイプからプロダクション レディなツールに移行するには、厳格で再現性のあるテストが必要です。
Prism は、BigQuery UI と API、および Looker API の会話型分析のためのオープンソース評価ツールです。予測不可能なテスト方法に代わり、カスタムの質問と回答のセットを作成して、エージェントのパフォーマンスを確実に測定します。実行トレースを検査してエージェントの動作を正確に把握し、精度を向上させるための的を絞った提案を得ることができます。
しかし、自信を持ってデプロイするには、チームは測定可能なベンチマークに基づいて出力を検証し、コンテキストを洗練させる必要があります。Prism を使用すると、標準化された方法で精度を直接測定できます。つまり、エージェントを構築するエキスパートは、イテレーションを行うなかで、その成功を簡単に検証し、パフォーマンスの低下を把握できます。
Prism フレームワークを理解する
Prism を効果的に実装するには、評価プロセスを管理するコア アーキテクチャを理解することが重要です。
-
エージェント: 会話型分析エージェント、システム指示、データソース、構成で構成されます。
-
テストスイート: エージェントが正確に回答できる必要がある一連の質問。
-
アサーション: 生成された SQL に GROUP BY 句が含まれているかどうかや、返されたデータが正解と一致するかどうかなど、特定の基準を検証する自動チェックです。
-
評価の実行: 実行中、エージェントはすべての質問に回答しようとし、Prism は回答の質を評価します。これにより、エージェントのパフォーマンスの合格 / 不合格を明確に評価できます。


精度スコアの合計に含めるチェックと除外するチェック
精密な調整のための強力な機能
Prism は、開発ライフサイクルのあらゆる段階に対応する堅牢なツールキットを提供します。特に印象的な機能の一つがアサーションのスイートです。これには、エージェントが適切な用語やロジックを使用していることを確認するためのテキスト チェックやクエリチェックのほか、データチェック行やデータチェック行数などのデータ検証ツールが含まれています。これらは、BigQuery や Looker から返されるデータが、単にもっともらしいだけでなく、正確であることを保証します。また、レイテンシ制限を設定してエージェントが迅速に回答できるようにしたり、AI Judge を使用して、従来のロジックでは見逃す可能性のある微妙なニュアンスの回答を評価したりすることもできます。


テストケースにきめ細かいチェックを追加する
きめ細かい検証とパフォーマンス トラッキング
エージェントの出力が期待値から外れた場合、Prism のトレースビューによって実行パスを可視化できます。この機能により、モデルの推論プロセス、生成された中間 SQL、結果のデータセットが可視化されます。この透明性はデバッグに不可欠であり、プロンプトや構成がどこでモデルを誤った方向に導いている可能性があるかを正確に特定できます。
比較ダッシュボードでは、デルタ分析を使用して、複数のバージョン間でのパフォーマンスの変動を追跡できます。チームは、異なる評価実行の結果を比較することで、具体的な改善点や回帰を特定できます。このデータドリブンなアプローチにより、エージェントを洗練させるなかで、構成を変更するたびに、システムが定義済みの精度ベンチマークに近づくことが保証されます。


トレースを表示して、舞台裏の詳細な手順を確認する
使ってみる
Prism は、BigQuery UI と会話型分析 API および Looker 会話型分析 API で会話型分析エージェントをサポートするオープンソース(OSS)ツールとして利用できます。リポジトリに今すぐアクセスして、エージェントのオンボーディング、テストスイートの構築、評価の実施を開始できます。これは、試験的な AI からエンタープライズ クラスの分析にすぐに移行する必要があるチーム向けのソリューションです。
さらに、オープンソースの Prism から進化するファースト パーティ ソリューションの開発にも取り組んでいます。今後のロードマップに反映させるため、フィードバックや機能リクエストをぜひお寄せください。
こちらのフォームから送信していただけます。
- プロダクト マネージャー、Kate Grinevskaja
- ソフトウェア エンジニア、Phil Meyers

