Invoca predicciones con la administración de extremos de modelos

Vista previa — Model endpoint management

Esta función está sujeta a las "Condiciones de las Ofertas de Fase Previa a la DG" de la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de fase previa a la DG están disponibles “tal cual” y podrían tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

En esta página, se describe una versión preliminar que te permite experimentar con el registro de un extremo de modelo de IA y la invocación de predicciones con la administración de extremos de modelos. Para usar modelos de IA en ambientes de producción, consulta Compila aplicaciones de IA generativa con AlloyDB AI.

Después de agregar los extremos del modelo y registrarlos en la administración de extremos del modelo, puedes hacer referencia a ellos con el ID del modelo para invocar predicciones.

Antes de comenzar

Asegúrate de haber registrado el extremo de tu modelo con la administración de extremos de modelos. Para obtener más información, consulta Cómo registrar un extremo de modelo con la administración de extremos de modelos.

Cómo invocar predicciones para modelos genéricos

Usa la función de SQL google_ml.predict_row() para llamar a un extremo de modelo genérico registrado para invocar predicciones. Puedes usar la función google_ml.predict_row() con cualquier tipo de modelo.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Reemplaza lo siguiente:

• MODEL_ID: Es el ID del modelo que definiste cuando registraste el extremo del modelo.
• REQUEST_BODY: Los parámetros de la función de predicción, en formato JSON.

Ejemplos

En esta sección, se incluyen algunos ejemplos para invocar predicciones con extremos de modelos registrados.

Para generar predicciones para un extremo de modelo gemini-pro registrado, ejecuta la siguiente sentencia:

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Para generar predicciones para un extremo de modelo facebook/bart-large-mnli registrado en Hugging Face, ejecuta la siguiente sentencia:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );