使用模型端點管理服務叫用預測功能

選取文件版本： 15.5.2

• 15.5.5
• 15.5.4
• 15.5.2

預先發布版 - Model endpoint management

這項功能 適用《服務專屬條款》中「一般服務條款」一節的《正式發布前產品條款》。 正式發布前的功能是按照「原樣」提供，支援範圍可能有限。 詳情請參閱推出階段說明。

本頁面說明如何透過模型端點管理功能，試用註冊 AI 模型端點及叫用預測功能的預先發布版本。如要在正式環境中使用 AI 模型，請參閱「使用 AlloyDB AI 建構生成式 AI 應用程式」。

在「模型端點管理」中新增及註冊模型端點後，您可以使用模型 ID 參照這些端點，叫用預測功能。

事前準備

請確認您已向模型端點管理服務註冊模型端點。詳情請參閱「使用模型端點管理服務註冊模型端點」。

叫用一般模型的預測功能

使用 google_ml.predict_row() SQL 函式呼叫已註冊的通用模型端點，以叫用預測。google_ml.predict_row() 函式可與任何模型類型搭配使用。

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

更改下列內容：

• MODEL_ID：註冊模型端點時定義的模型 ID。
• REQUEST_BODY：預測函式的參數，採用 JSON 格式。

範例

本節列出一些使用已註冊模型端點叫用預測的範例。

如要為已註冊的 gemini-pro 模型端點產生預測結果，請執行下列陳述式：

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

如要為 Hugging Face 上已註冊的 facebook/bart-large-mnli 模型端點產生預測結果，請執行下列陳述式：

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );