モデル エンドポイント管理で予測を呼び出す

このページでは、AI モデル エンドポイントの登録と、モデル エンドポイント管理による予測の呼び出しを試すことができるプレビューについて説明します。本番環境で AI モデルを使用する場合は、AlloyDB AI を使用して生成 AI アプリケーションを作成するをご覧ください。

モデル エンドポイントを追加してモデル エンドポイント管理に登録すると、モデル ID を使用してエンドポイントを参照し、予測を呼び出すことができます。

始める前に

モデル エンドポイント管理でモデル エンドポイントが登録されていることを確認します。詳細については、モデル エンドポイント管理でモデル エンドポイントを登録するをご覧ください。

汎用モデルの予測を呼び出す

google_ml.predict_row() SQL 関数を使用して、登録済みの汎用モデル エンドポイントを呼び出し、予測を呼び出します。google_ml.predict_row() 関数は、任意のモデルタイプで使用できます。

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

次のように置き換えます。

  • MODEL_ID: モデル エンドポイントの登録時に定義したモデル ID。
  • REQUEST_BODY: 予測関数へのパラメータ（JSON 形式）。

例

このセクションでは、登録済みモデル エンドポイントを使用して予測を呼び出す例を示します。

登録済みの gemini-pro モデル エンドポイントの予測を生成するには、次のステートメントを実行します。

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Hugging Face に登録されている facebook/bart-large-mnli モデル エンドポイントの予測を生成するには、次のステートメントを実行します。

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );