此页面由 Cloud Translation API 翻译。

使用模型端点管理服务调用预测

MySQL | PostgreSQL | SQL Server

本页介绍了模型端点管理。借助模型端点管理，您可以尝试注册 AI 模型端点并调用预测。如需在生产环境中使用 AI 模型，请参阅使用 Cloud SQL 构建生成式 AI 应用和从 Cloud SQL 实例调用在线预测。

在模型端点管理中添加并注册模型端点后，您可以使用模型 ID 引用这些端点来调用预测。

准备工作

请务必完成以下操作：

使用模型端点管理服务注册模型端点。如需了解详情，请参阅使用模型端点管理服务注册和调用远程 AI 模型。
创建或更新 Cloud SQL 实例，使该实例可以与 Vertex AI 集成。如需了解详情，请参阅启用数据库与 Vertex AI 的集成。

调用通用模型的预测

使用 google_ml.predict_row() SQL 函数调用已注册的通用模型端点以调用预测。您可以将 google_ml.predict_row() 函数与任何模型类型搭配使用。

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

替换以下内容：

MODEL_ID：您在注册模型端点时定义的模型 ID
REQUEST_BODY：预测函数的参数，采用 JSON 格式

示例

如需为已注册的 gemini-pro 模型端点生成预测结果，请运行以下语句：

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';