使用模型端點管理服務叫用預測功能

選取說明文件版本：

本頁說明如何使用在模型端點管理服務中註冊的模型端點，叫用預測功能。

事前準備

請確認您已向模型端點管理服務註冊模型端點。 詳情請參閱「在 AlloyDB Omni 中註冊及呼叫遠端 AI 模型」。

叫用一般模型的預測功能

使用 google_ml.predict_row() SQL 函式呼叫已註冊的通用模型端點，以叫用預測。

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

更改下列內容：

  • MODEL_ID：註冊模型端點時定義的模型 ID。
  • REQUEST_BODY：預測函式的參數，採用 JSON 格式。

範例

本節提供一些範例，說明如何使用已註冊的模型端點叫用預測。

如要為已註冊的 gemini-1.5-pro:streamGenerateContent 模型端點產生預測結果，請執行下列陳述式：

  SELECT
  json_array_elements( google_ml.predict_row( model_id => 'gemini-1.5-pro:streamGenerateContent',
      request_body => '{ "contents": [ { "role": "user", "parts": [ { "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation." } ] } ] }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

如要為 Hugging Face 上已註冊的 facebook/bart-large-mnli 模型端點產生預測結果，請執行下列陳述式：

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );

如要為已註冊的 Anthropic claude-3-opus-20240229 模型端點產生預測結果，請執行下列陳述式：

  SELECT
  google_ml.predict_row('anthropic-opus', '{
    "model": "claude-3-opus-20240229",
    "max_tokens": 1024,
    "messages": [
        {"role": "user", "content": "Hello, world"}
    ]
  }');