Descripción general de la IA generativa

En este documento, se describen las funciones de inteligencia artificial (IA) generativas que admite BigQuery ML. Estos atributos te permiten realizar tareas de IA en BigQuery ML mediante modelos de base de Vertex AI previamente entrenados. Entre las tareas admitidas, se incluyen las siguientes:

Accede a un modelo de Vertex AI para realizar una de estas funciones mediante la creación de un modelo remoto en BigQuery ML que representa el extremo del modelo de Vertex AI. Una vez que hayas creado un modelo remoto sobre el modelo de Vertex AI que deseas usar, debes acceder a las capacidades de ese modelo mediante la ejecución de una función de BigQuery ML en el modelo remoto.

Este enfoque te permite usar las capacidades de los modelos de Vertex AI para analizar datos de BigQuery con SQL.

Flujo de trabajo

Puedes usar modelos remotos en modelos de Vertex AI y modelos remotos en servicios de Cloud AI junto con BigQuery. funciones de AA para realizar tareas de IA generativa y análisis de datos complejas.

En el siguiente diagrama, se muestran algunos flujos de trabajo típicos en los que puedes usar estas capacidades juntas:

Diagrama que muestra flujos de trabajo comunes para modelos remotos que usan modelos de Vertex AI o servicios de Cloud AI.

IA generativa

Puedes usar modelos grandes de lenguaje (LLM) para realizar tareas como el resumen y la generación de textos. Por ejemplo, puedes resumir un informe largo o analizar la opinión en los comentarios de los clientes. Puedes usar modelos de lenguaje de visión (VLM) para analizar contenido visual como imágenes y videos para tareas como los subtítulos visuales y las preguntas y respuestas visuales. Puedes usar modelos multimodales para realizar las mismas tareas que LLM y VLM, además de tareas adicionales, como la transcripción de audio y el análisis de documentos.

Para realizar tareas de IA generativas, puedes crear una referencia a un modelo de Vertex AI previamente entrenado con la creación de un modelo remoto y la especificación del nombre del modelo para el valor ENDPOINT. Se admiten los siguientes modelos de Vertex AI:

Cuando creas un modelo remoto que hace referencia al modelo gemini-1.0-pro-002 o a cualquier versión del modelo text-bison, puedes optar por configurar el ajuste supervisado (versión preliminar) al mismo tiempo.

Después de crear el modelo, puedes usar la función ML.GENERATE_TEXT para interactuar con ese modelo:

  • Para los modelos remotos basados en modelos gemini-1.0-pro, text-bison, text-bison-32k o text-unicorn, puedes usar la función ML.GENERATE_TEXT con un mensaje que proporciones en una consulta o desde una columna en una tabla estándar.
  • Para los modelos remotos basados en los modelos gemini-1.0-pro-vision puedes usar la función ML.GENERATE_TEXT para analizar contenido de imagen o video desde una tabla de objetos con un mensaje que proporcionas como argumento de función.
  • Para los modelos remotos basados en el modelo gemini-1.5-flash o gemini-1.5-pro puedes usar la función ML.GENERATE_TEXT para analizar contenido de texto, imagen, audio, video o PDF a partir de una tabla de objetos con una instrucción que proporcionas como argumento de una función, o puedes generar texto a partir de una instrucción que proporcionas en una consulta o desde una columna en una tabla estándar.

You can use grounding and safety attributes when you use Gemini models with the ML.GENERATE_TEXT function, provided that you are using a standard table for input. Grounding lets the Gemini model use additional information from the internet to generate more specific and factual responses. Safety attributes let the Gemini model filter the responses it returns based on the attributes you specify.

Todas las inferencias se producen en Vertex AI. Los resultados se almacenan en BigQuery.

Para obtener más información, prueba generar texto con la función ML.GENERATE_TEXT.

Incorporación

Puedes usar la incorporación para identificar elementos semánticamente similares. Por ejemplo, puedes usar las incorporaciones de texto para identificar qué tan similares son dos fragmentos de texto. Si dos fragmentos de texto son semánticamente similares, sus incorporaciones respectivas se ubican cerca entre sí en el espacio vectorial de incorporación.

Puedes usar modelos de BigQuery ML para crear los siguientes tipos de incorporaciones:

  • Para crear embeddings de texto, puedes crear una referencia a uno de los modelos de embeddings text-embedding o text-multilingual-embedding de Vertex AI creando un modelo remoto y especificando el nombre de LLM para el valor ENDPOINT.
  • Para crear embeddings multimodales, que incorporan texto, imágenes y videos en el mismo espacio semántico, puedes crear una referencia al LLM multimodalembedding de Vertex AI si creas un modelo remoto y especificas el nombre del LLM para el valor ENDPOINT. Esta función está en vista previa.
  • Para crear incorporaciones para datos estructurados de variables aleatorias independientes (IID) y estructuradas, puedes usar un modelo de análisis de componentes principales (PCA) o un modelo de codificador automático. Esta función está en vista previa.
  • Si deseas crear incorporaciones para datos de usuarios o elementos, puedes usar un modelo de factorización de matrices. Esta función está en vista previa.

Después de crear el modelo, puedes usar la función ML.GENERATE_EMBEDDING para interactuar con él. Para todos los tipos de modelos compatibles, ML.GENERATE_EMBEDDING funciona con datos en tablas estándar. En el caso de los modelos de incorporación multimodales, ML.GENERATE_EMBEDDING también funciona con el contenido visual en las tablas de objetos. En los modelos remotos, toda la inferencia se produce en Vertex AI. Para otros tipos de modelos, toda la inferencia se produce en BigQuery. Los resultados se almacenan en BigQuery.

Para obtener más información, prueba crear incorporaciones de texto e incorporaciones de imágenes con la función ML.GENERATE_EMBEDDING.

Para una incorporación de texto más ligera y pequeña, prueba usar un modelo previamente entrenado de TensorFlow, como NNLM, SWIVEL o BERT.

Si deseas obtener información sobre cómo elegir el mejor modelo para tu caso de uso de incorporación, consulta Elige un modelo de incorporación de texto.

¿Qué sigue?