使用模型端點管理服務叫用預測功能

本頁說明如何管理模型端點。模型端點管理功能可供您實驗註冊 AI 模型端點，以及叫用預測功能。如要在正式環境中使用 AI 模型，請參閱「使用 Cloud SQL 建構生成式 AI 應用程式」和「從 Cloud SQL 執行個體叫用線上預測」。

在模型端點管理中新增及註冊模型端點後，您可以使用模型 ID 參照這些端點，叫用預測功能。

事前準備

請務必完成下列動作：

叫用一般模型的預測功能

使用 google_ml.predict_row() SQL 函式呼叫已註冊的通用模型端點，以叫用預測。google_ml.predict_row() 函式可與任何模型類型搭配使用。

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

更改下列內容：

  • MODEL_ID：註冊模型端點時定義的模型 ID
  • REQUEST_BODY：預測函式的參數，採用 JSON 格式

範例

如要為已註冊的 gemini-pro 模型端點產生預測結果，請執行下列陳述式：

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';