Vertex AI ofrece un conjunto de APIs que le ayudarán a crear aplicaciones de generación aumentada por recuperación (RAG) o un motor de búsqueda. En esta página se presentan esas APIs.
Recuperación y generación
RAG es una metodología que permite a los modelos de lenguaje extenso (LLMs) generar respuestas basadas en la fuente de datos que elijas. Hay dos fases en RAG:
- Recuperación: obtener los datos más relevantes rápidamente puede ser un problema habitual en las búsquedas. Con RAG, puedes obtener rápidamente los datos que son importantes para generar una respuesta.
- Generación: el LLM usa los datos recuperados para generar una respuesta fundamentada.
Vertex AI ofrece opciones para ambas fases que se adaptan a las necesidades de los desarrolladores.
Extracción
Elige el método de recuperación que mejor se adapte a tus necesidades:
Vertex AI Search: Vertex AI Search es un motor de extracción de información de calidad de la Búsqueda de Google que puede ser un componente de cualquier aplicación de IA generativa que utilice datos de tu empresa. Vertex AI Search funciona como un motor de búsqueda semántica y por palabras clave listo para usar en RAG, con la capacidad de procesar varios tipos de documentos y con conectores a diversos sistemas de origen, como BigQuery y muchos sistemas de terceros.
Para obtener más información, consulta Vertex AI Search.
Crea tu propio sistema de extracción: si quieres crear tu búsqueda semántica, puedes usar las APIs de Vertex AI para los componentes de tu sistema RAG personalizado. Este conjunto de APIs proporciona implementaciones de alta calidad para el análisis de documentos, la generación de representaciones, la búsqueda de vectores y la clasificación semántica. Usar estas APIs de nivel inferior te ofrece total flexibilidad en el diseño de tu buscador y, al mismo tiempo, te permite acelerar el tiempo de lanzamiento y ofrecer una alta calidad, ya que se basa en APIs de nivel inferior de Vertex AI.
Para obtener más información, consulta el artículo Crea tu propia generación aumentada por recuperación.
Usar una extracción ya creada: puedes usar tu búsqueda como extractor para la generación fundamentada. También puedes usar las APIs de Vertex para RAG para mejorar la calidad de tu búsqueda. Para obtener más información, consulta la descripción general de la fundamentación.
Vertex AI RAG Engine: Vertex AI RAG Engine proporciona un entorno de ejecución totalmente gestionado para la orquestación de RAG, que permite a los desarrolladores crear RAG para usarlo en contextos de producción y empresariales.
Para obtener más información, consulta la descripción general del motor RAG de Vertex AI en la documentación de la IA generativa en Vertex AI.
Búsqueda de Google: si usas la Búsqueda de Google para fundamentar tu modelo de Gemini, Gemini usará la Búsqueda de Google y generará resultados basados en los resultados de búsqueda relevantes. Este método de recuperación no requiere gestión y te permite acceder a todo el conocimiento del mundo disponible para Gemini.
Para obtener más información, consulta Vinculación con la Búsqueda de Google en la documentación de la IA generativa en Vertex AI.
Generación
Elige el método de generación que mejor se adapte a tus necesidades:
Basarse en tus datos: genera respuestas fundamentadas a la consulta de un usuario. La API de generación fundamentada usa modelos de Gemini especializados y ajustados, y es una forma eficaz de reducir las alucinaciones y proporcionar respuestas fundamentadas en tus fuentes o en fuentes de terceros, incluidas referencias a contenido de asistencia para la fundamentación.
Para obtener más información, consulta Generar respuestas fundamentadas con RAG.
También puedes basar las respuestas en tus datos de Vertex AI Search con la IA generativa en Vertex AI. Para obtener más información, consulta Fundamentar las respuestas con tus datos.
Fundamentación con la Búsqueda de Google: Gemini es el modelo más potente de Google y ofrece una fundamentación predefinida con la Búsqueda de Google. Puedes usarla para crear tu solución de generación fundamentada totalmente personalizada.
Para obtener más información, consulta Vinculación con la Búsqueda de Google en la documentación de la IA generativa en Vertex AI.
Model Garden: si quieres tener un control total y usar el modelo que elijas, puedes usar cualquiera de los modelos de Vertex AI Model Garden para generar contenido.
Crea tu propia generación aumentada por recuperación
Desarrollar un sistema RAG personalizado para fundamentar las respuestas ofrece flexibilidad y control en cada paso del proceso. Vertex AI ofrece un conjunto de APIs para ayudarte a crear tus propias soluciones de búsqueda. Usar estas APIs te ofrece total flexibilidad en el diseño de tu aplicación RAG y, al mismo tiempo, te permite acelerar el tiempo de lanzamiento y ofrecer una alta calidad, ya que se basan en estas APIs de Vertex AI de nivel inferior.
Document AI Layout Parser El analizador de diseño de Document AI transforma documentos en varios formatos en representaciones estructuradas, lo que permite acceder a contenido como párrafos, tablas, listas y elementos estructurales, como encabezados, encabezados de página y pies de página. Además, crea fragmentos contextualizados que facilitan la recuperación de información en una amplia gama de aplicaciones de IA generativa y de descubrimiento.
Para obtener más información, consulta Analizador de diseño de Document AI en la documentación de Document AI.
API Embeddings: las APIs Embeddings de Vertex AI te permiten crear embeddings para entradas de texto o multimodales. Las incrustaciones son vectores de números de punto flotante diseñados para capturar el significado de su entrada. Puedes usar las incrustaciones para potenciar la búsqueda semántica con Vector search.
Para obtener más información, consulta Embeddings de texto y Embeddings multimodales en la documentación de IA generativa en Vertex AI.
Búsqueda vectorial. El motor de recuperación es una parte fundamental de tu aplicación de RAG o de búsqueda. Vertex AI Vector Search es un motor de recuperación que puede buscar entre miles de millones de elementos semánticamente similares o relacionados a gran escala, con un alto número de consultas por segundo (CPS), una alta recuperación, una baja latencia y una buena relación calidad-precio. Puede buscar en embeddings densos y admite la búsqueda de palabras clave con embeddings dispersos y la búsqueda híbrida en versión beta pública.
Para obtener más información, consulta la descripción general de Vertex AI Vector Search en la documentación de Vertex AI.
La API Ranking. La API Ranking recibe una lista de documentos y los vuelve a clasificar en función de su relevancia para una consulta determinada. En comparación con las inserciones que solo tienen en cuenta la similitud semántica de un documento y una consulta, la API Ranking puede proporcionarte una puntuación más precisa sobre la calidad con la que un documento responde a una consulta determinada.
Para obtener más información, consulta Mejorar la calidad de la búsqueda y de la generación aumentada por recuperación con la API Ranking.
La API Grounded Generation. Usa la API de generación fundamentada para generar respuestas bien fundamentadas a la petición de un usuario. Las fuentes de fundamentación pueden ser tus almacenes de datos de Vertex AI Search, datos personalizados que proporciones o la Búsqueda de Google.
Para obtener más información, consulta Generar respuestas fundamentadas.
La API para generar contenido. Usa la API de generación de contenido para generar respuestas bien fundamentadas a la petición de un usuario. Las fuentes de fundamentación pueden ser tus almacenes de datos de Vertex AI Search o la Búsqueda de Google.
Para obtener más información, consulta Fundamentar con la Búsqueda de Google o Fundamentar con tus datos.
La API check grounding. La API Check Grounding determina el grado de fundamentación de un fragmento de texto en un conjunto de textos de referencia. La API puede generar citas de apoyo a partir del texto de referencia para indicar dónde se admite el texto proporcionado en los textos de referencia. Entre otras cosas, la API se puede usar para evaluar la fundamentación de las respuestas de un sistema RAG. Además, como función experimental, la API también genera citas contradictorias que muestran dónde no coinciden el texto proporcionado y los textos de referencia.
Para obtener más información, consulta Comprobar la base.
Flujo de trabajo: generar respuestas fundamentadas a partir de datos sin estructurar
A continuación, se muestra un flujo de trabajo que describe cómo integrar las APIs de RAG de Vertex AI para generar respuestas fundamentadas a partir de datos no estructurados.
- Importa tus documentos no estructurados, como archivos PDF, archivos HTML o imágenes con texto, a una ubicación de Cloud Storage.
- Procesa los documentos importados con el analizador de diseño. El analizador de diseño descompone los documentos sin estructurar en fragmentos y transforma el contenido sin estructurar en su representación estructurada. El analizador de diseño también extrae anotaciones de los fragmentos.
- Crea incrustaciones de texto para los fragmentos con la API Vertex AI Text Embeddings.
- Indexa y recupera las incrustaciones de los fragmentos mediante la búsqueda de vectores.
- Clasifica los fragmentos con la API de clasificación y determina los fragmentos mejor clasificados.
- Genera respuestas fundamentadas basadas en los fragmentos mejor clasificados con la API Grounded Generation o la API Generate Content.
Si has generado las respuestas con un modelo de generación de respuestas que no sea de Google, puedes comprobar la base de estas respuestas con el método check grounding.