En esta página, se proporciona una descripción general de la integración de Vertex AI de Spanner. La integración de Vertex AI en Spanner funciona con bases de datos de GoogleSQL y PostgreSQL.
La integración de Vertex AI en Spanner te ayuda a acceder a los modelos de AA de clasificación y regresión alojados en Vertex AI a través de la interfaz de GoogleSQL y PostgreSQL. Esto ayuda a integrar a la perfección la funcionalidad de entrega de predicciones del AA con las operaciones generales de acceso a datos de Spanner realizadas mediante consultas de DQL/DML.
Beneficios de la integración de Vertex AI de Spanner
Generar predicciones de AA mediante la integración de Vertex AI en Spanner proporciona muchos beneficios en comparación con el enfoque en el que el acceso a los datos de Spanner y el acceso al extremo de predicción de Vertex AI se realizan por separado:
- Rendimiento:
- Mejor latencia: la integración de Vertex AI de Spanner que se comunica con el servicio de Vertex AI de forma directa elimina los recorridos de ida y vuelta adicionales entre un nodo de procesamiento que ejecuta un cliente de Spanner y el servicio de Vertex AI.
- Mejor capacidad de procesamiento y paralelismo: La integración de Vertex AI de Spanner se ejecuta en la infraestructura de procesamiento de consultas distribuida de Spanner, que admite una ejecución de consultas altamente paralelizable.
- Experiencia del usuario:
- La capacidad de usar una interfaz SQL única, simple, coherente y familiar para facilitar las situaciones de transformación de datos y entrega de AA en el nivel de escala de Spanner reduce la barrera de entrada del AA y permite una experiencia del usuario mucho más fluida.
- Costos:
- La integración de Vertex AI en Spanner usa la capacidad de procesamiento de Spanner para fusionar los resultados de los cálculos del AA y la ejecución deconsulta en SQLL, lo que elimina la necesidad de aprovisionar un procesamiento adicional (por ejemplo, en Compute Engine o Google Kubernetes Engine) para eso.
¿Cómo funciona la integración de Vertex AI de Spanner?
La integración de Vertex AI de Spanner no aloja modelos de AA, sino que depende de la infraestructura de servicios de Vertex AI. No es necesario entrenar un modelo con Vertex AI para usarlo con la integración de Vertex AI de Spanner, pero debes implementarlo en un extremo.
Para entrenar modelos con datos almacenados en Spanner, puedes usar lo siguiente:
Consultas federadas de BigQuery junto con BigQuery ML.
Dataflow para exportar datos de Spanner a formato CSV y, luego, importar la fuente de datos CSV a Vertex AI.
La integración de Vertex AI en Spanner extiende las siguientes funciones para el uso de modelos de AA:
Generar predicciones del AA mediante una llamada a un modelo con SQL en los datos de Spanner Puedes usar un modelo de Vertex AI Model Garden o un modelo implementado en tu extremo de Vertex AI.
Genera incorporaciones de texto para que un LLM traduzca instrucciones de texto a números. Para obtener más información sobre las incorporaciones, consulta Obtén incorporaciones de texto.
Usa las funciones de integración de Vertex AI de Spanner
Se puede usar un modelo en la integración de Vertex AI de Spanner para generar predicciones o incorporaciones de texto en el código SQL mediante las funciones de predicción de AA. Estas son las funciones:
GoogleSQL
Puedes usar la siguiente función de predicción de AA para GoogleSQL:
Debes registrar tu modelo con la declaración DDL CREATE MODEL antes de usarlo con la función ML.PREDICT.
También puedes usar SAFE.ML.PREDICT para mostrar null en lugar de un error en tus predicciones. Esto es útil en casos en los que se ejecutan consultas grandes en las que se pueden tolerar algunas predicciones con errores.
PostgreSQL
Puedes usar la siguiente función de predicción de AA para PostgreSQL:
Para usar las funciones, puedes seleccionar un modelo de Vertex AI Model Garden o usar un modelo que hayas implementado en Vertex AI.
Si necesitas más información para implementar un modelo en un extremo de Vertex AI, consulta Implementa un modelo en un extremo.
Si deseas obtener más información sobre cómo usar estas funciones para generar una predicción del AA, consulta Cómo generar predicciones del AA con SQL.
Si quieres obtener más información sobre cómo usar estas funciones para generar incorporaciones de texto, consulta Cómo obtener incorporaciones de texto.
Precios
Spanner no tiene cargos adicionales cuando lo usas con la integración de Vertex AI de Spanner. Sin embargo, existen otros cargos potenciales asociados con esta función:
Pagas las tarifas estándar de la predicción en línea de Vertex AI. El costo total depende del tipo de modelo que uses. Algunos tipos de modelos tienen una tarifa plana por hora según el tipo de máquina y la cantidad de nodos que uses. Algunos tipos de modelos tienen tarifas por llamada. Te recomendamos implementar esta última en un proyecto dedicado en el que estableciste cuotas de predicción explícitas.
Pagas las tarifas estándar para la transferencia de datos entre Spanner y Vertex AI. El costo total depende de la región que aloja el servidor que ejecuta la consulta y de la región que aloja el extremo llamado. Para minimizar los cargos, implementa tus extremos de Vertex AI en la misma región que tu instancia de Spanner. Cuando uses parámetros de configuración de instancias multirregionales o múltiples extremos de Vertex AI, implementa tus extremos en el mismo continente.
ANS
Debido a que la disponibilidad de la predicción en línea de Vertex AI es menor, debes configurar de forma correcta los modelos de AA de Spanner para mantener la alta disponibilidad de Spanner mientras usas la integración de Vertex AI de Spanner:
- Los modelos de AA de Spanner deben usar varios extremos de Vertex AI en el backend para habilitar la conmutación
- Los extremos de Vertex AI deben cumplir con el ANS de Vertex AI.
- Los extremos de Vertex AI deben aprovisionar suficiente capacidad para manejar el tráfico entrante.
- Los extremos de Vertex AI deben usar regiones distintas cerca de la base de datos de Spanner para evitar interrupciones regionales.
- Los extremos de Vertex AI deben usar proyectos separados para evitar problemas con las cuotas de predicción por proyecto.
La cantidad de extremos redundantes de Vertex AI depende de su ANS y la cantidad de filas en las consultas de Spanner:
| ANS de Spanner | ANS de Vertex AI | 1 fila | 10 filas | 100 filas | 1,000 filas |
|---|---|---|---|---|---|
| 99.99% | 99.9% | 2 | 2 | 2 | 3 |
| 99.99% | 99.5% | 2 | 3 | 3 | 4 |
| 99.999% | 99.9% | 2 | 2 | 3 | 3 |
| 99.999% | 99.5% | 3 | 3 | 4 | 4 |
Los extremos de Vertex AI no necesitan alojar exactamente el mismo modelo. Te recomendamos que configures el modelo de AA de Spanner para que tenga un modelo principal, complejo y de procesamiento intensivo como su primer extremo. Los extremos de conmutación por error posteriores pueden apuntar a modelos simplificados que requieren menos procesamiento, se escalan mejor y pueden absorber los aumentos repentinos de tráfico.
Cumplimiento
Las cargas de trabajo garantizadas no son compatibles con la API de Vertex AI Prediction. Habilitar una restricción de uso restringido de recursos inhabilita la API de Vertex AI y la función de integración de Vertex AI de Spanner.
Además, te recomendamos que crees un perímetro de los Controles del servicio de VPC para asegurarte de que las bases de datos de producción no se puedan conectar a los extremos de Vertex AI en proyectos de no producción que podrían no tener la configuración de cumplimiento adecuada.