大規模言語モデル（LLM）は、さまざまな問題の解決に効果的です。ただし、次のような制限があります。
- トレーニングが完了すると固定されるため、新しい知識で更新されません。
- 外部データのクエリや変更はできません。
拡張機能と Vertex AI（プレビュー）は、こうした欠点を補うことができます。拡張機能は、リアルタイム データを処理し、現実世界のアクションを実行する外部 API との接続です。Vertex AI 拡張機能サービスは、これらの拡張機能の登録、管理、実行を行います。また、ユーザークエリを処理し、LLM と通信するアプリケーションにリンクできます。
アプリケーションは、ユーザークエリを受信するたびに、一連の拡張機能と、それらの拡張機能が実行できるオペレーションを LLM に提供します。モデルがクエリ処理を拡張機能に委任する必要があると判断した場合、リクエストされた拡張機能の呼び出しと関連するパラメータ値をアプリに提供します。アプリはこのリクエストを拡張機能サービスにリレーし、拡張機能サービスが拡張機能を実行します。拡張機能サービスがこのオペレーションの結果をアプリに送信し、アプリがそれをモデルにリレーすると、プロセスが完了します。
Vertex AI Search を使用すると、LLM を外部システムの API に接続する拡張機能の作成、デプロイ、管理を行うことができます。これらのシステムは、LLM にリアルタイム データを提供し、LLM に代わってデータ処理アクションを実行できます。
拡張機能と Vertex AI 拡張サービスのユースケースとメリットの詳細については、ユースケースとメリットをご覧ください。
Vertex AI 拡張機能サービスで拡張機能の登録、管理、実行を行う方法については、拡張機能の登録、管理、実行をご覧ください。
ユースケースと利点
拡張機能のユースケースとしては、次のようなケースが考えられます。
- コードを生成して実行する。
- ウェブサイトにクエリを行い、情報をまとめる。
- 企業固有のデータのコレクション内の情報に基づいて質問に回答する。
- データストアのクエリと分析を行う。
Vertex AI Extensions サービスには、次のようなメリットがあります。
- エンタープライズ管理: Identity and Access Management（IAM）の権限とセキュリティ管理。
- データ セキュリティ: 機密データの漏洩やモデル トレーニングでの使用を防ぐという契約上の合意
- パフォーマンスの保証: プラットフォームで特定の機能と稼働時間を提供するという契約上の合意。
- 非公開の拡張機能: 組織内で承認されているユーザーまたは信頼できるパートナーが、拡張機能を使用して、社内のナレッジベースの検索や人事アクションの完了など、機密性の高い内部データとアクションにアクセスできます。
- Google プロダクトのインテグレーション: Vertex AI Search、BigQuery、専用モデルなどの Google プロダクトとのインテグレーション。