このページでは、Kubernetes デプロイオプションを使用して AlloyDB Omni バージョン 16.8.0 について説明します。別のデプロイオプションを選択します。

このページは Cloud Translation API によって翻訳されました。

AlloyDB Omni でのリモート AI モデルの登録と呼び出しの概要

ドキュメントのバージョンを選択してください。

このページでは、AI モデルエンドポイントを登録し、モデルエンドポイント管理で予測を呼び出す前に知っておく必要のある主なコンセプトについて説明します。

AlloyDB for PostgreSQL にリモートモデルエンドポイントを登録するには、AlloyDB でリモート AI モデルを登録して呼び出すをご覧ください。

概要

モデルエンドポイント管理を使用すると、モデルエンドポイントの登録、データベースクラスタでのモデルエンドポイントのメタデータ管理、SQL クエリを使用したリモートモデルエンドポイントの呼び出しを行えます。モデルエンドポイント管理では、AI モデルに関連するメタデータを AlloyDB に登録できる関数を含む google_ml_integration 拡張機能を使用できます。この登録済みメタデータは、ベクトルエンベディングの生成や予測の呼び出しに使用されます。

モデルエンドポイント管理を使用して登録できるモデルタイプの例を次に示します。

Vertex AI テキストエンベディングと汎用モデル
Hugging Face や OpenAI などのサードパーティプロバイダが提供するエンベディングモデル
セルフホスト型モデルやプライベートエンドポイント経由で利用可能なモデルを含むセルフホスト型テキストエンベディングモデル
JSON ベースの API を使用する汎用モデル（Hugging Face でホストされる facebook/bart-large-mnli モデル、Vertex AI Model Garden の gemini-pro モデル、Anthropic の claude モデルなど）

仕組み

モデルエンドポイント管理を使用すると、次の要件を満たすモデルエンドポイントを登録できます。

モデルの入力と出力は JSON 形式をサポートしています。
モデルは REST プロトコルを使用して呼び出すことができます。

モデルエンドポイントをモデルエンドポイント管理に登録すると、モデルへの参照として指定した一意のモデル ID を使用して各エンドポイントが登録されます。

モデルのエンドポイント ID を使用してモデルをクエリすると、次のことを行えます。

エンベディングを生成して、テキストプロンプトを数値ベクトルに変換します。データベースで vector 拡張機能が有効になっている場合、生成されたエンベディングをベクトルデータとして保存できます。詳細については、ベクトルエンベディングを保存するをご覧ください。
SQL を使用して予測を呼び出します。

アプリケーションは、google_ml_integration 拡張機能を使用してモデルエンドポイント管理にアクセスできます。この拡張機能では、次の関数を使用できます。

google_ml.create_model() SQL 関数。予測関数またはエンベディング関数で使用されるモデルエンドポイントを登録するために使用されます。
google_ml.create_sm_secret() SQL 関数。API キーが保存されている Secret Manager のシークレットを使用します。 Google Cloud
google_ml.embedding() SQL 関数。テキストエンベディングを生成する予測関数です。エンベディング関数の戻り値の型は REAL[] です。
JSON の入力形式と出力形式をサポートする汎用モデルを呼び出すときに予測を生成する google_ml.predict_row() SQL 関数。
カスタム URL の生成、HTTP ヘッダーの生成、変換関数の渡しを処理するその他のヘルパー関数。
登録されたモデルエンドポイントとシークレットを管理する関数。

主なコンセプト

モデルエンドポイント管理を使い始める前に、モデルに接続して使用するために必要なコンセプトを理解しておく必要があります。

モデルプロバイダ

モデルプロバイダは、サポートされているモデルのホスティングプロバイダです。モデルプロバイダの設定は省略可能ですが、モデルエンドポイント管理でプロバイダを特定し、サポートされているモデルのヘッダーを自動的に形式設定するのに役立ちます。次の表に、使用するモデルプロバイダに基づき設定できるモデルプロバイダの値を示します。

モデルプロバイダ	関数での設定…
Vertex AI	`google`
Hugging Face モデル	`hugging_face`
Anthropic モデル	`anthropic`
OpenAI	`open_ai`
その他のモデル	`custom`

デフォルトのモデルプロバイダは custom です。

サポートされている認証方法は、プロバイダのタイプによって異なります。Vertex AI モデルは、AlloyDB Omni のインストールに使用されたサービスアカウントを使用して認証を行いますが、他のプロバイダは、Secret Manager を使用したり、ヘッダーを介して認証情報を渡したりできます。詳細については、認証を設定するをご覧ください。

モデルタイプ

モデルタイプは、AI モデルのタイプを示します。この拡張機能は、テキストエンベディングと任意の汎用モデルタイプをサポートしています。モデルエンドポイントの登録時に設定できるサポート対象のモデルタイプは、text-embedding と generic です。

generic がデフォルトのモデルタイプであるため、汎用モデルエンドポイントを登録する場合、モデルタイプの設定は省略可能です。

事前登録済みの Vertex AI モデル

モデルエンドポイント管理は、事前登録済みのモデル ID として、一部のテキストエンベディングモデルと汎用 Vertex AI モデルをサポートしています。モデル ID を直接使用して、モデルタイプに基づくエンベディングの生成や予測の呼び出しを行えます。
サポートされている事前登録済みモデルの詳細については、事前登録済みの Vertex AI モデルをご覧ください。

たとえば、事前登録された textembedding-gecko モデルを呼び出すには、以下のとおりエンベディング関数を使用してモデルを直接呼び出します。

SELECT
      google_ml.embedding(
        model_id => 'textembedding-gecko',
        content => 'AlloyDB is a managed, cloud-hosted SQL database service');

サポートが組み込まれたモデル

モデルエンドポイント管理では、Vertex AI、Anthropic、OpenAI の一部モデルに組み込みサポートが提供されます。サポートが組み込まれているテキストエンベディングモデルの場合、AlloyDB はデフォルトの変換関数を自動的に設定します。

これらのモデルエンドポイントを登録するときに、修飾名を明示的に設定します。組み込みサポートが有効になっているモデルの一覧については、サポートが組み込まれたモデルをご覧ください。

これらのモデルのモデルタイプは、text-embedding または generic です。

その他のテキストエンベディングモデル

組み込みサポートのないテキストエンベディングモデルエンドポイントを登録するには、モデルがサポートしている入出力形式を処理する変換関数を作成することをおすすめします。モデルの要件によっては、ヘッダーを指定するカスタムヘッダー関数の作成が必要となることもあります。

これらのモデルのモデルタイプは text-embedding です。

汎用モデル

モデルエンドポイント管理では、テキストエンベディングモデルを除く他のすべてのモデルタイプを登録できます。汎用モデルの予測を呼び出すには、google_ml.predict_row() 関数を使用します。モデル固有のリクエストエンドポイントや HTTP ヘッダーなど、モデルエンドポイントのメタデータを設定できます。

汎用モデルエンドポイントを登録するときに変換関数を渡すことはできません。予測を呼び出す前に、関数への入力が JSON 形式であることと、JSON 出力を解析して最終出力を導出していることを確認してください。

これらのモデルのモデルタイプは generic です。

認証

認証タイプは、google_ml_integration 拡張機能を使用してモデルエンドポイント管理に接続するために使用できる認証タイプを示します。認証の設定は省略可能です。モデルにアクセスするために認証が必要な場合にのみ必要です。

Vertex AI モデルの場合、認証には AlloyDB サービスアカウントが使用されます。他のモデルでは、Secret Manager にシークレットとして保存されている API キーまたは署名なしトークンを google_ml.create_sm_secret() SQL 関数で使用できます。ヘッダーを介して認証情報を渡す場合は、認証方法の設定を省略できます。

次の表に、設定可能な認証タイプを示します。

認証方法	関数での設定…	モデルプロバイダ
AlloyDB サービスエージェント	`alloydb_service_agent_iam`	Vertex AI プロバイダ
Secret Manager	`secret_manager`	Anthropic、Hugging Face、OpenAI などのサードパーティプロバイダ

予測関数

google_ml_integration 拡張機能には、次の予測関数が含まれています。

google_ml.embedding(): 登録されたテキストエンベディングモデルエンドポイントを呼び出してエンベディングを生成するために使用されます。; 組み込みサポートのないテキストエンベディングモデルの場合、入力パラメータと出力パラメータはモデルに固有であり、関数がモデルを呼び出すには変換する必要があります。予測関数の入力をモデル固有の入力に変換する入力変換関数と、モデル固有の出力を予測関数出力に変換する出力変換関数を作成する必要があります。
google_ml.predict_row(): モデルが JSON ベースの API をサポートしている限り、登録済みの汎用モデルエンドポイントを呼び出して予測を呼び出すために使用されます。

変換関数

変換関数は、入力をモデルが理解できる形式に変更し、モデルのレスポンスを予測関数が想定する形式に変換します。変換関数は、組み込みサポートなしで text-embedding モデルエンドポイントを登録する場合に使用されます。変換関数の署名は、モデルが想定する入力によって異なります。

generic モデルエンドポイントを登録するときに変換関数を使用できません。

次のコードは、テキストエンベディングモデルの予測関数の署名を示しています。

// define custom model specific input/output transform functions.
CREATE OR REPLACE FUNCTION input_transform_function(model_id VARCHAR(100), input_text TEXT) RETURNS JSON;

CREATE OR REPLACE FUNCTION output_transform_function(model_id VARCHAR(100), response_json JSON) RETURNS real[];

変換関数の作成方法については、変換関数の例をご覧ください。

HTTP ヘッダー生成関数

HTTP ヘッダー生成関数は、HTTP ヘッダーとして使用される JSON Key-Value ペアで出力を生成します。予測関数の署名は、ヘッダー生成関数の署名を定義します。

次の例は、google_ml.embedding() 予測関数の署名を示しています。

CREATE OR REPLACE FUNCTION generate_headers(model_id VARCHAR(100), input TEXT) RETURNS JSON;

google_ml.predict_row() 予測関数の署名は次のとおりです。

CREATE OR REPLACE FUNCTION generate_headers(model_id VARCHAR(100), input JSON) RETURNS JSON;

ヘッダー生成関数の作成方法については、ヘッダー生成関数の例をご覧ください。

AlloyDB Omni でのリモート AI モデルの登録と呼び出しの概要 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

概要

仕組み