Invocar predicciones con la gestión de endpoints de modelos

En esta página se describe la gestión de los endpoints de modelos. La gestión de endpoints de modelos te permite experimentar con el registro de un endpoint de modelo de IA y la invocación de predicciones. Para usar modelos de IA en entornos de producción, consulta Crear aplicaciones de IA generativa con Cloud SQL e Invocar predicciones online desde instancias de Cloud SQL.

Una vez que se hayan añadido y registrado los endpoints del modelo en la gestión de endpoints de modelos, podrás hacer referencia a ellos mediante el ID del modelo para invocar predicciones.

Antes de empezar

Asegúrate de completar las siguientes acciones:

Invocar predicciones de modelos genéricos

Usa la función SQL google_ml.predict_row() para llamar a un endpoint de modelo genérico registrado e invocar predicciones. Puedes usar la función google_ml.predict_row() con cualquier tipo de modelo.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Haz los cambios siguientes:

  • MODEL_ID: el ID del modelo que definiste al registrar el endpoint del modelo
  • REQUEST_BODY: los parámetros de la función de predicción en formato JSON

Ejemplos

Para generar predicciones de un endpoint de modelo gemini-pro registrado, ejecuta la siguiente instrucción:

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';