Descripción general de cómo registrar y llamar a modelos de IA remotos en Cloud SQL

En esta página, se describe cómo registrar un extremo de modelo de IA y cómo invocar predicciones con la administración de extremos de modelos en Cloud SQL. Para usar modelos de IA en ambientes de producción, consulta Compila aplicaciones de IA generativa con Cloud SQL y Trabaja con embeddings de vectores.

Descripción general

La administración de extremos de modelos te permite registrar un extremo de modelo, administrar sus metadatos en tu instancia de Cloud SQL y, luego, interactuar con los modelos mediante consultas de SQL. Cloud SQL proporciona la extensión google_ml_integration que incluye funciones para agregar y registrar los metadatos del extremo del modelo relacionados con los modelos. Puedes usar estos modelos para generar incorporaciones de vectores o invocar predicciones.

Puedes registrar los siguientes tipos de modelos con la administración de extremos de modelos:

  • Modelos de incorporación de texto de Vertex AI
  • Modelos de incorporación de texto alojados de forma personalizada en redes de Google Cloud
  • Modelos genéricos con una API basada en JSON Estos son algunos ejemplos de estos modelos:
    • El modelo gemini-pro de Vertex AI Model Garden
    • El modelo open_ai para modelos de OpenAI
    • Modelos alojados en redes dentro de Google Cloud

Cómo funciona

Puedes usar la administración de extremos de modelos para registrar un extremo de modelo que cumpla con lo siguiente:

  • La entrada y la salida del modelo admiten el formato JSON.
  • Puedes usar el protocolo REST para llamar al modelo.

Cuando registras un extremo de modelo con la administración de extremos de modelos, esta administración registra cada extremo con un ID de modelo único como referencia al modelo. Puedes usar este ID de modelo para consultar modelos de la siguiente manera:

  • Genera incorporaciones para traducir instrucciones de texto en vectores numéricos. Puedes almacenar las incorporaciones generadas como datos vectoriales cuando la extensión pgvector está habilitada en la base de datos. Para obtener más información, consulta Consulta y indexa embeddings con pgvector.

  • Invoca predicciones para llamar a un modelo mediante SQL dentro de una transacción.

Tus aplicaciones pueden administrar sus extremos de modelos con la extensión google_ml_integration. Esta extensión proporciona las siguientes funciones de SQL:

  • google_ml.create_model(): Registra el extremo del modelo que se usa en la función de predicción o incorporación.
  • google_ml.create_sm_secret(): Usa secretos en Google Cloud Secret Manager, donde se almacenan las claves de API.
  • google_ml.embedding(): Genera incorporaciones de texto.
  • google_ml.predict_row(): Genera predicciones cuando llamas a modelos genéricos que admiten los formatos de entrada y salida JSON.

Conceptos clave

Antes de comenzar a usar la administración de extremos de modelos, comprende los conceptos necesarios para conectarte a los modelos y usarlos.

Proveedor de modelos

Proveedor de modelos: Son los proveedores de hosting de modelos compatibles. En la siguiente tabla, se muestra el valor del proveedor de modelos que debes establecer según el proveedor de modelos que uses:

Proveedor de modelos Establecer en la función como…
Vertex AI (incluye Gemini) google
OpenAI open_ai
Otros modelos alojados fuera de Vertex AI custom

El proveedor de modelos predeterminado es custom.

Tipos de modelos

Los tipos de modelos son los tipos de modelos de IA. Cuando registras un extremo de modelo, puedes configurar los tipos de modelos text-embedding o generic para el extremo.

Modelos de incorporación de texto con compatibilidad integrada
La administración de extremos de modelos proporciona compatibilidad integrada con todas las versiones del modelo textembedding-gecko. Para registrar estos extremos de modelos, usa la función google_ml.create_model(). Cloud SQL configura funciones de transformación predeterminadas para estos modelos automáticamente.
El tipo de modelo para estos modelos es text-embedding.
Otros modelos de incorporación de texto
Para otros modelos de incorporación de texto, debes crear funciones de transformación para controlar los formatos de entrada y salida que admite el modelo. De manera opcional, puedes usar la función de generación de encabezados HTTP que genera encabezados personalizados que requiere tu modelo.
El tipo de modelo para estos modelos es text-embedding.
Modelos genéricos
La administración de extremos de modelos también admite el registro de todos los demás tipos de modelos, excepto los modelos de incorporación de texto. Para invocarlas en modelos genéricos, usa la función google_ml.predict_row(). Puedes configurar metadatos de extremos de modelos, como un extremo de solicitud y encabezados HTTP específicos de tu modelo.
No puedes pasar funciones de transformación cuando registras un extremo de modelo genérico. Asegúrate de que, cuando invoques las predicciones, la entrada a la función esté en formato JSON y de que analices el resultado JSON para obtener el resultado final.
El tipo de modelo para estos modelos es generic. Debido a que generic es el tipo de modelo predeterminado, si registras extremos de modelos para este tipo, configurar el tipo de modelo es opcional.

Métodos de autenticación

Puedes usar la extensión google_ml_integration para especificar diferentes métodos de autenticación para acceder a tu modelo. La configuración de estos métodos es opcional y solo es necesaria si necesitas autenticarte para acceder a tu modelo.

En el caso de los modelos de Vertex AI, se usa la cuenta de servicio de Cloud SQL para la autenticación. En otros modelos, la clave de API o el token portador que se almacena como un secreto en el Secret Manager se puede usar con la función SQL google_ml.create_sm_secret().

En la siguiente tabla, se muestran los métodos de autenticación que puedes configurar:

Método de autenticación Establecer en la función como… Proveedor de modelos
Agente de servicio de Cloud SQL cloudsql_service_agent_iam Proveedor de Vertex AI
Secret Manager secret_manager Modelos alojados fuera de Vertex AI

Funciones de predicción

La extensión google_ml_integration incluye las siguientes funciones de predicción:

google_ml.embedding()
Llama a un extremo de modelo de incorporación de texto registrado para generar incorporaciones. Incluye compatibilidad integrada con el modelo textembedding-gecko de Vertex AI.
En el caso de los modelos de incorporación de texto sin compatibilidad integrada, los parámetros de entrada y salida son únicos para un modelo y deben transformarse para que la función llame al modelo. Crea una función de entrada de transformación para transformar la entrada de la función de predicción en la entrada específica del modelo y una función de salida de transformación para transformar la salida específica del modelo en la salida de la función de predicción.
google_ml.predict_row()
Llama a un extremo de modelo genérico registrado, si el extremo admite APIs basadas en JSON para invocar predicciones.

Funciones de transformación

Las funciones de transformación modifican la entrada a un formato que el modelo comprende y convierten la respuesta del modelo al formato que espera la función de predicción. Las funciones de transformación se usan cuando se registra el extremo del modelo text-embedding sin compatibilidad integrada. La firma de las funciones de transformación depende de la función de predicción del tipo de modelo.

No puedes usar funciones de transformación cuando registras un extremo de modelo generic.

A continuación, se muestran las firmas de la función de predicción para los modelos de incorporación de texto:

// define custom model specific input/output transform functions.
CREATE OR REPLACE FUNCTION input_transform_function(model_id VARCHAR(100), input_text TEXT) RETURNS JSON;

CREATE OR REPLACE FUNCTION output_transform_function(model_id VARCHAR(100), response_json JSON) RETURNS real[];

Para obtener más información sobre cómo crear funciones de transformación, consulta el ejemplo de funciones de transformación.

Función de generación de encabezados HTTP

La función de generación de encabezados HTTP genera el resultado en pares clave-valor JSON que se usan como encabezados HTTP. La firma de la función de predicción define las firmas de la función de generación de encabezados.

En el siguiente ejemplo, se muestra la firma de la función de predicción google_ml.embedding():

CREATE OR REPLACE FUNCTION generate_headers(model_id VARCHAR(100), input TEXT) RETURNS JSON;

Para la función de predicción google_ml.predict_row(), la firma es la siguiente:

CREATE OR REPLACE FUNCTION generate_headers(model_id VARCHAR(100), input JSON) RETURNS JSON;

Para obtener más información sobre cómo crear una función de generación de encabezados, consulta Ejemplo de función de generación de encabezados.

Limitaciones

  • Para usar modelos de IA con tu instancia de Cloud SQL, la versión de mantenimiento de tu instancia debe ser R20240910.01_02 o posterior. Para actualizar tu instancia a esta versión, consulta Mantenimiento de autoservicio.

¿Qué sigue?