Descripción general de la IA generativa
En este documento, se describen las funciones de inteligencia artificial (IA) generativas que admite BigQuery ML. Estos atributos te permiten realizar tareas de IA en BigQuery ML mediante modelos de base de Vertex AI previamente entrenados. Entre las tareas admitidas, se incluyen las siguientes:
Accede a un modelo de Vertex AI para realizar una de estas funciones mediante la creación de un modelo remoto en BigQuery ML que representa el extremo del modelo de Vertex AI. Una vez que hayas creado un modelo remoto sobre el modelo de Vertex AI que deseas usar, debes acceder a las capacidades de ese modelo mediante la ejecución de una función de BigQuery ML en el modelo remoto.
Este enfoque te permite usar las capacidades de los modelos de Vertex AI para analizar datos de BigQuery con SQL.
Flujo de trabajo
Puedes usar modelos remotos en modelos de Vertex AI y modelos remotos en servicios de Cloud AI junto con BigQuery. funciones de AA para realizar tareas de IA generativa y análisis de datos complejas.
En el siguiente diagrama, se muestran algunos flujos de trabajo típicos en los que puedes usar estas capacidades juntas:
IA generativa
Puedes usar modelos grandes de lenguaje (LLM) para realizar tareas como el resumen y la generación de textos. Por ejemplo, puedes resumir un informe largo o analizar la opinión en los comentarios de los clientes. Puedes usar modelos de lenguaje de visión (VLM) para analizar contenido visual como imágenes y videos para tareas como los subtítulos visuales y las preguntas y respuestas visuales. Puedes usar modelos multimodales para realizar las mismas tareas que LLM y VLM, además de tareas adicionales, como la transcripción de audio y el análisis de documentos.
Para realizar tareas de IA generativas, puedes crear una referencia a un modelo de Vertex AI previamente entrenado con la creación de un modelo remoto y la especificación del nombre del modelo para el valor ENDPOINT
. Se admiten los siguientes modelos de Vertex AI:
gemini-1.5-flash
(vista previa)gemini-1.5-pro
(vista previa)gemini-1.0-pro
gemini-1.0-pro-vision
(vista previa)text-bison
text-bison-32k
text-unicorn
Cuando creas un modelo remoto que hace referencia al modelo gemini-1.0-pro-002
o a cualquier versión del modelo text-bison
, puedes optar por configurar el ajuste supervisado (versión preliminar) al mismo tiempo.
Después de crear el modelo, puedes usar la función ML.GENERATE_TEXT
para interactuar con ese modelo:
- Para los modelos remotos basados en modelos
gemini-1.0-pro
,text-bison
,text-bison-32k
otext-unicorn
, puedes usar la funciónML.GENERATE_TEXT
con un mensaje que proporciones en una consulta o desde una columna en una tabla estándar. - Para los modelos remotos basados en los modelos
gemini-1.0-pro-vision
puedes usar la funciónML.GENERATE_TEXT
para analizar contenido de imagen o video desde una tabla de objetos con un mensaje que proporcionas como argumento de función. - Para los modelos remotos basados en el modelo
gemini-1.5-flash
ogemini-1.5-pro
puedes usar la funciónML.GENERATE_TEXT
para analizar contenido de texto, imagen, audio, video o PDF a partir de una tabla de objetos con una instrucción que proporcionas como argumento de una función, o puedes generar texto a partir de una instrucción que proporcionas en una consulta o desde una columna en una tabla estándar.
You can use
grounding
and
safety attributes
when you use Gemini models with the ML.GENERATE_TEXT
function, provided that
you are using a standard table for input. Grounding lets the
Gemini model use additional information from the internet to
generate more specific and factual responses. Safety attributes let the
Gemini model filter the responses it returns based on the
attributes you specify.
Todas las inferencias se producen en Vertex AI. Los resultados se almacenan en BigQuery.
Para obtener más información, prueba generar texto con la función ML.GENERATE_TEXT
.
Incorporación
Puedes usar la incorporación para identificar elementos semánticamente similares. Por ejemplo, puedes usar las incorporaciones de texto para identificar qué tan similares son dos fragmentos de texto. Si dos fragmentos de texto son semánticamente similares, sus incorporaciones respectivas se ubican cerca entre sí en el espacio vectorial de incorporación.
Puedes usar modelos de BigQuery ML para crear los siguientes tipos de incorporaciones:
- Para crear embeddings de texto, puedes crear una referencia a uno de los modelos de embeddings
text-embedding
otext-multilingual-embedding
de Vertex AI creando un modelo remoto y especificando el nombre de LLM para el valorENDPOINT
. - Para crear embeddings multimodales, que incorporan texto, imágenes y videos en
el mismo espacio semántico, puedes crear una referencia al LLM
multimodalembedding
de Vertex AI si creas un modelo remoto y especificas el nombre del LLM para el valorENDPOINT
. Esta función está en vista previa. - Para crear incorporaciones para datos estructurados de variables aleatorias independientes (IID) y estructuradas, puedes usar un modelo de análisis de componentes principales (PCA) o un modelo de codificador automático. Esta función está en vista previa.
- Si deseas crear incorporaciones para datos de usuarios o elementos, puedes usar un modelo de factorización de matrices. Esta función está en vista previa.
Después de crear el modelo, puedes usar la función ML.GENERATE_EMBEDDING
para interactuar con él. Para todos los tipos de modelos compatibles, ML.GENERATE_EMBEDDING
funciona con datos en tablas estándar. En el caso de los modelos de incorporación multimodales, ML.GENERATE_EMBEDDING
también funciona con el contenido visual en las tablas de objetos. En los modelos remotos, toda la inferencia se produce en Vertex AI. Para otros tipos de modelos, toda la inferencia se produce en BigQuery. Los resultados se almacenan en BigQuery.
Para obtener más información, prueba crear incorporaciones de texto e incorporaciones de imágenes con la función ML.GENERATE_EMBEDDING
.
Para una incorporación de texto más ligera y pequeña, prueba usar un modelo previamente entrenado de TensorFlow, como NNLM, SWIVEL o BERT.
Si deseas obtener información sobre cómo elegir el mejor modelo para tu caso de uso de incorporación, consulta Elige un modelo de incorporación de texto.
¿Qué sigue?
- Para obtener más información sobre la realización de inferencias sobre los modelos de aprendizaje automático, consulta Descripción general de la inferencia de modelo.