Vertex AI ofrece un paquete de APIs para ayudarte a crear tu propia recuperación de generación de aumento (RAG) o para compilar tu propio motor de búsqueda. En esta página, se presentan esas APIs.
Recuperación y generación
La RAG es una metodología que permite que los modelos de lenguaje grandes (LLM) generen respuestas basadas en la fuente de datos que elijas. Hay dos etapas en la RAV:
- Recuperación: Obtener los datos más relevantes rápidamente puede ser una práctica problema de búsqueda. Con la RAG, puedes recuperar rápidamente los hechos que son importantes para generar una respuesta.
- Generación: El LLM usa los hechos recuperados para generar un respuesta fundamentada.
Vertex AI ofrece opciones para ambas etapas para satisfacer una variedad de necesidades de los desarrolladores.
Recuperación
Elige el mejor método de recuperación según tus necesidades:
Vertex AI Search: Vertex AI Search es un Es un motor de recuperación de información con calidad de la Búsqueda de Google de cualquier aplicación de IA generativa que use los datos de tu empresa. Vertex AI Search funciona como un motor de búsqueda de palabras clave y semántica listo para usar para la RAG con la capacidad de procesar una variedad de tipos de documentos y con conectores a una variedad de sistemas de origen, incluidos BigQuery y muchos sistemas de terceros.
Para obtener más información, consulta Vertex AI Search.
Crea tu propia recuperación: Si deseas compilar tu búsqueda semántica, puedes confiar en las APIs de Vertex AI para los componentes de tu sistema RAG personalizado. Este paquete de APIs proporciona implementaciones de alta calidad para el análisis de documentos, la generación de incorporaciones, la búsqueda de vectores y la clasificación semántica. Usar estas Las APIs de nivel inferior te brindan flexibilidad total en el diseño de tu retriever a la vez que ofrece un tiempo de salida al mercado más rápido y basándote en las APIs de Vertex AI de nivel inferior.
Para obtener más información, consulta Crea tu propia generación mejorada de recuperación.
Trae una recuperación existente: Puedes usar tu búsqueda existente como recuperador para la generación fundamentada. También puedes usar las APIs de Vertex para RAG para actualizar tu búsqueda existente y obtener una mejor calidad.
LlamaIndex en Vertex AI: LlamaIndex en Vertex AI permite a los desarrolladores familiarizados con este popular framework de software de código abierto (OSS) compilar buscadores para usar en producción y en un contexto listo para empresas.
Para obtener más información, consulta LlamaIndex en Vertex AI para RAG. descripción general de la IA generativa en Vertex AI en la documentación de Google Cloud.
Búsqueda de Google: Cuando usas Fundamentos con la Búsqueda de Google para tu modelo de Gemini, Gemini usa la Búsqueda de Google y genera resultados basados en los resultados de la búsqueda relevantes. Este método de recuperación no requiere administración y obtienes el conocimiento del mundo disponible para Gemini.
Para obtener más información, consulta Fundamentos con Búsqueda de Google en la documentación de IA generativa en Vertex AI.
Generación
Elige el mejor método de generación según tus necesidades:
API de Grounded Generation (GA con lista de entidades permitidas): Usa la API de Grounded Generation para generar respuestas fundamentadas a la consulta de un usuario. Esta API usa un modelo de Gemini especializado y ajustado, y es una forma eficaz de reducir las alucinaciones y brindar respuestas basadas en tus fuentes, fuentes de terceros o la Búsqueda de Google, incluidas las referencias a contenido de asistencia fundamentado.
Para obtener más información, consulta Genera respuestas fundamentadas.
Gemini: Gemini es el modelo más capaz de Google y ofrece fundamentos listos para usar con la Búsqueda de Google. Puedes usarlo para crear tu solución de generación basada y completamente personalizada.
Para obtener más información, consulta Fundamentos de la Búsqueda de Google en la documentación de IA generativa en Vertex AI.
Model Garden: si deseas tener control total y el modelo que elijas, puedes usar cualquiera de los modelos en Vertex AI Model Garden para la generación.
Crea tu propia generación aumentada de recuperación
Desarrollar un sistema RAG personalizado para la fundamentación ofrece flexibilidad y control al en cada paso del proceso. Vertex AI ofrece un paquete de APIs para ayudarte a crear tus propias soluciones de búsqueda. El uso de esas APIs te brinda flexibilidad total en el diseño de tu aplicación de RAG y, al mismo tiempo, ofrece un tiempo de lanzamiento acelerado y alta calidad, ya que se basa en estas APIs de Vertex AI de nivel inferior.
El analizador de diseño de Document AI. El analizador de diseño de Document AI transforma documentos en varios formatos en representaciones estructuradas, lo que hace que el contenido como párrafos, tablas, listas y elementos estructurales como encabezados, encabezados de página y pies de página accesibles y crear fragmentos adaptados al contexto que faciliten y recuperación de información en diversas apps de IA generativa y descubrimiento.
Para obtener más información, consulta Analizador de diseño de Document AI en la documentación de Document AI.
API de incorporaciones: Las APIs de incorporaciones de Vertex AI te permiten crear incorporaciones para entradas multimodales o de texto. Las incorporaciones son vectores de números de punto flotante diseñados para capturar el significado de sus entrada. Puedes usar las incorporaciones para potenciar la búsqueda semántica con la búsqueda de vectores.
Para obtener más información, consulta Incorporaciones de texto y Incorporaciones multimodales en la IA generativa en documentación de Vertex AI.
Búsqueda de vectores. El motor de recuperación es una parte clave de tu RAG o una aplicación de búsqueda. Vector Search de Vertex AI es un motor de recuperación que puede buscar entre miles de millones de elementos similares o relacionados de manera semántica a gran escala, con consultas por segundo (QPS) altas, recuperación alta, latencia baja y rentabilidad. Puede buscar sobre datos densos incorporaciones y admite la búsqueda por palabras clave de embedding disperso y la búsqueda híbrida en Versión preliminar pública.
Para obtener más información, consulta Descripción general de Vertex AI. Búsqueda de vectores documentación de Vertex AI.
La API de clasificación. La API de clasificación recibe una lista de documentos y vuelve a clasificarlos según su relevancia para una consulta determinada. En comparación con las incorporaciones que solo analizan la similitud semántica de un documento y una consulta, la API de clasificación puede brindarte una puntuación más precisa sobre qué tan bien un documento responde una consulta determinada.
Para obtener más información, consulta Clasificar y volver a clasificar documentos.
La API de generación con conexión a tierra. Usa la API de generación fundamentada para generar respuestas fundamentadas a la instrucción de un usuario. Las fuentes de fundamentación pueden ser tus almacenes de datos de Vertex AI Search, los datos personalizados que proporciones o la Búsqueda de Google.
Para obtener más información, consulta Cómo generar respuestas fundamentadas.
La API de comprobación de fundamentos. La API de verificación de justificación determina qué tan justificada está una parte de texto en un conjunto determinado de textos de referencia. La API puede generar citas de respaldo a partir de el texto de referencia para indicar dónde el texto dado es compatible con el textos de referencia. Entre otras cosas, la API se puede usar para evaluar el la fundamentación de las respuestas de un sistema RAG. Además, como función experimental, la API también genera citas contradictorias que mostrar dónde no coinciden el texto dado y los textos de referencia.
Para obtener más información, consulta Cómo verificar la conexión a tierra.
Flujo de trabajo: Genera respuestas fundamentadas a partir de datos no estructurados
Este es un flujo de trabajo en el que se describe cómo integrar las APIs de RAG de Vertex AI para generar respuestas fundamentadas a partir de datos no estructurados.
- Importa tus documentos no estructurados, como archivos PDF, archivos HTML o imágenes con texto, a una ubicación de Cloud Storage.
- Procesa los documentos importados con el analizador de diseño. El analizador de diseño desglosa los documentos no estructurados en fragmentos y transforma el contenido no estructurado en su representación estructurada. El el analizador de diseño también extrae anotaciones de los fragmentos.
- Crea incorporaciones de texto para los fragmentos con API de Vertex AI Text Embeddings.
- Indexa y recupera las incorporaciones de fragmentos con la Búsqueda vectorial.
- Clasificar los fragmentos con la API de clasificación y determinar los mejor clasificados en bloques.
- Genera respuestas fundamentadas basadas en los fragmentos más populares con la API de generación respaldada.
Si generaste las respuestas con un modelo de generación de respuestas que no son los modelos de Google, puedes verificar la justificación de estas respuestas con el método de verificación de justificación.