Descripción general de la IA generativa en Vertex AI

La IA generativa en Vertex AI (también conocida como genAI o genAI) te da acceso a modelos de Gemini y otros modelos grandes de IA generativa para que puedas evaluar, ajustar, e implementarlas para usarlas en tus aplicaciones potenciadas por IA. En esta página, se proporciona una descripción general del flujo de trabajo de IA generativa en Vertex Generative AI, las APIs y los modelos disponibles, incluida la API de Vertex AI para Gemini, y se te dirige a los recursos para comenzar.

Flujo de trabajo de IA generativa

En el siguiente diagrama, se muestra una descripción general de alto nivel del flujo de trabajo IA generativa.

Diagrama del flujo de trabajo de IA generativa

Prompt

Prompt

El flujo de trabajo de la IA generativa por lo general empieza con las instrucciones. Una instrucción es una solicitud enviada a un modelo de IA generativa para obtener una respuesta. Según el modelo, un mensaje puede contener texto, imágenes, videos y audio. , documentos y otras modalidades o incluso varias modalidades (multimodal).

Crear una instrucción para obtener la respuesta deseada del modelo es una práctica llamada diseño de instrucción. Si bien el diseño de una instrucción es un proceso de prueba y error, hay principios y estrategias de diseño de instrucciones que puedes usar para incentivar al modelo a comportarse de la manera deseada. Vertex AI Studio ofrece una herramienta de administración de instrucciones para ayudarte a administrar tus instrucciones.

Modelos de base

Modelos de base

Las instrucciones se envían a un modelo de IA generativa para la generación de respuesta. Vertex Generative AI tiene una variedad de modelos de base de IA generativa a los que se puede acceder a través de una API administrada, incluidos los siguientes:

  • API de Gemini: Motivos avanzados, chat de varios turnos, generación de código y las instrucciones multimodales.
  • API de Imagen: generación de imágenes, edición de imágenes y subtítulos visuales.
  • MedLM: Búsqueda de respuestas y resumen de preguntas médicas. (DG privada)

Los modelos difieren en tamaño, modalidad y costo. Puedes explorar modelos de Google, así como modelos abiertos y modelos de socios de Google, en Model Garden.

Personalización de modelos

Personalización de modelos

Puedes personalizar el comportamiento predeterminado de los modelos de base de Google para que generen los resultados deseados de forma coherente sin usar prompts complejos. Este proceso de personalización se llama ajuste de modelos. El ajuste del modelo te ayuda a reducir el costo y la latencia de tus solicitudes, ya que te permite simplificarlas.

Vertex Generative AI también ofrece herramientas de evaluación de modelos para ayudarte a evaluar el rendimiento de tu modelo ajustado. Una vez que tu modelo ajustado esté listo para la producción, puedes implementarlo en un extremo y supervisar el rendimiento como en flujos de trabajo estándar de MLOps.

Solicitar magnificación

Aumento

Vertex Generative AI ofrece varios métodos de magnificación de solicitudes que le otorgan al modelo acceso a las APIs externas y a la información en tiempo real.

  • Fundamentos: Conecta las respuestas del modelo a una fuente de información, como tus propios datos o la búsqueda web, lo que ayuda a reducir las alucinaciones.
  • RAG: Conecta los modelos a fuentes de conocimiento externas, como documentos y bases de datos, para generar respuestas más informativas y precisas.
  • Llamadas a funciones: Permite que el modelo interactúe con APIs externas para obtener información en tiempo real y llevar a cabo tareas reales.

Verificación de citas

Verificación de citas

Después de que se genera la respuesta, Vertex Generative AI verifica si las citas deben incluirse en la respuesta. Si una cantidad significativa del texto en la respuesta proviene de una fuente en particular, esa fuente se agrega a los metadatos de cita en la respuesta.

IA responsable y seguridad

IA responsable y seguridad

La última capa de verificaciones que se realizan en la solicitud y la respuesta antes de que se devuelvan son los filtros de seguridad. Vertex Generative AI verifica la instrucción y la respuesta para determinar cuánto pertenecen a una categoría de seguridad. Si se excede el umbral para una o más categorías, la respuesta se bloquea y Vertex Generative AI devuelve una respuesta de resguardo.

Respuesta

Respuesta

Si el mensaje y la respuesta pasan las verificaciones de filtro de seguridad, se devuelve la respuesta. Por lo general, la respuesta se devuelve de una sola vez. Sin embargo, también puedes recibir respuestas de forma progresiva a medida que se generan a través de la habilitación de la transmisión.

APIs y modelos de IA generativa

Los modelos de IA generativa disponibles en Vertex Generative AI, también llamados modelos de base, se clasifican por el tipo de contenido que están diseñados para generar. Este contenido incluye texto, chat, imagen, código, video, incorporaciones y datos multimodales. Cada modelo se expone a través de un extremo de publicador específico para tu proyecto de Google Cloud, por lo que no es necesario implementar el modelo de base, a menos que necesites ajustarlo para un caso de uso específico.

Ofertas de la API de Gemini

La API de Vertex AI Gemini contiene los extremos del publicador para los modelos de Gemini que desarrolló Google DeepMind. Puedes probar la API de Vertex AI para Gemini en esta guía de inicio rápido.

  • Gemini 1.5 Flash es un modelo multimodal que puedes usar para crear aplicaciones de generación de texto y chat. Puedes incluir archivos de texto, imágenes, audio, video y PDF en tus solicitudes de prompts y tiene la misma ventana de contexto que Gemini 1.5 Pro para procesar grandes cantidades de datos multimodales. Gemini 1.5 Flash es más pequeño y rápido que Gemini 1.5 Pro, por lo que es una buena opción para crear asistentes de chat y aplicaciones de generación de contenido a pedido.
  • Gemini 1.5 Pro admite prompts multimodales. Puedes incluir archivos de texto, imagen, audio, video y PDF en las solicitudes de instrucciones y obtener respuestas de texto o código. Gemini 1.5 Pro puede procesar colecciones de imágenes más grandes, documentos de texto más grandes y videos más largos que Gemini 1.0 Pro Vision.
  • Gemini 1.0 Pro se diseñó para manejar tareas de lenguaje natural, chat de código y texto de varios turnos y generación de código.
  • Gemini 1.0 Pro Vision admite mensajes multimodales. Puedes incluir texto, imágenes, video y PDF en las solicitudes de instrucciones y obtener respuestas de texto o código.

En la siguiente tabla, se muestran algunas diferencias entre los modelos de Gemini que pueden ayudarte a elegir la mejor para ti:

Modelo de Gemini Modalidades Ventana de contexto
Gemini 1.5 Flash
  • Texto, código, imágenes, audio, video y PDF
  • Hasta 3,000 imágenes
  • Audio hasta 8.4 horas
  • Video con audio de hasta 1 hora Video con audio de hasta 50 minutos
  • 1 millón de tokens de entrada
  • 8,192 tokens de salida
Gemini 1.5 Pro
  • Texto, código, imágenes, audio, video y PDF
  • Hasta 3,000 imágenes
  • Audio hasta 8.4 horas
  • Video con audio de hasta 1 hora Video con audio de hasta 50 minutos
  • 1 millón de tokens de entrada
  • 8,192 tokens de salida
Gemini 1.0 Pro / Gemini 1.0 Pro Vision
  • Texto, código y PDF (Gemini 1.0 Pro Vision)
  • Hasta 16 imágenes
  • Video de hasta 2 minutos
  • 8,192 tokens de entrada
  • 2,048 tokens de salida

Otras ofertas de IA generativa

  • La incorporación de texto genera incorporaciones vectoriales para el texto de entrada. Puedes usar incorporaciones para tareas como la búsqueda semántica, la recomendación, la clasificación y la detección de valores atípicos.

  • La incorporación multimodal genera incorporaciones vectoriales basadas en entradas de imagen y texto. Estas incorporaciones se pueden usar luego para otras tareas posteriores, como la clasificación de imágenes o las recomendaciones de contenido.

  • Imagen, nuestro modelo de base de texto a imagen, te permite generar y personalizar imágenes de nivel de estudio a gran escala.

  • Los modelos de socios son una lista seleccionada de modelos de IA generativa que desarrollan las empresas asociadas de Google. Estos modelos de IA generativa se ofrecen como APIs administradas. Por ejemplo, Anthropic proporciona sus modelos de Claude como un servicio en Vertex Generative AI.

  • Los modelos abiertos, como Llama, están disponibles para que los implementes en Vertex Generative AI o en otras plataformas.

  • MedLM es una familia de modelos de base que se ajustan para el sector de la atención médica.

Certificaciones y controles de seguridad

Vertex Generative AI es compatible con CMEK, Controles del servicio de VPC, Residencia de datos y la Transparencia de acceso. Existen algunas limitaciones para las funciones basadas en IA generativa. Para obtener más información, consulta Controles de seguridad de IA generativa.

Comenzar