Vertex AI ofrece un paquete de APIs para ayudarte a crear tus propias aplicaciones de generación aumentada de recuperación (RAG) o a crear tu propio motor de búsqueda. En esta página, se presentan esas APIs.
Recuperación y generación
La RAG es una metodología que permite que los modelos de lenguaje grandes (LLM) generen respuestas basadas en la fuente de datos que elijas. Existen dos etapas en el RAG:
- Recuperación: Obtener rápidamente los datos más relevantes puede ser un problema de búsqueda común. Con la RAG, puedes recuperar rápidamente los hechos que son importantes para generar una respuesta.
- Generación: El LLM usa los hechos recuperados para generar una respuesta fundamentada.
Vertex AI ofrece opciones para ambas etapas para satisfacer una variedad de necesidades de los desarrolladores.
Recuperación
Elige el mejor método de recuperación según tus necesidades:
Vertex AI Search: Vertex AI Search es un motor de recuperación de información de la calidad de la Búsqueda de Google que puede ser un componente de cualquier aplicación de IA generativa que use tus datos empresariales. Vertex AI Search funciona como un motor de búsqueda de palabras clave y semántica listo para usar para la RAG con la capacidad de procesar una variedad de tipos de documentos y con conectores a una variedad de sistemas de origen, incluidos BigQuery y muchos sistemas de terceros.
Para obtener más información, consulta Vertex AI Search.
Crea tu propia recuperación: Si deseas compilar tu búsqueda semántica, puedes confiar en las APIs de Vertex AI para los componentes de tu sistema RAG personalizado. Este paquete de APIs proporciona implementaciones de alta calidad para el análisis de documentos, la generación de incorporaciones, la búsqueda de vectores y la clasificación semántica. El uso de estas APIs de nivel inferior te brinda flexibilidad total en el diseño de tu recuperador y, al mismo tiempo, ofrece un tiempo de lanzamiento acelerado y alta calidad, ya que se basa en las APIs de Vertex AI de nivel inferior.
Para obtener más información, consulta Crea tu propia generación mejorada de recuperación.
Trae una recuperación existente: Puedes usar tu búsqueda existente como recuperador para la generación fundamentada. También puedes usar las APIs de Vertex para RAG para actualizar tu búsqueda existente a una calidad superior.
LlamaIndex en Vertex AI: LlamaIndex en Vertex AI permite que los desarrolladores familiarizados con este popular framework de software de código abierto (OSS) compilan buscadores para usar en producción y en un contexto listo para empresas.
Para obtener más información, consulta la descripción general de LlamaIndex en Vertex AI para RAG en la documentación de IA generativa en Vertex AI.
Búsqueda de Google: Cuando usas la Fundamentación con la Búsqueda de Google para tu modelo de Gemini, Gemini usa la Búsqueda de Google y genera resultados que se basan en los resultados de la búsqueda relevantes. Este método de recuperación no requiere administración y obtienes el conocimiento del mundo disponible para Gemini.
Para obtener más información, consulta Fundamentación con la Búsqueda de Google en la documentación de IA generativa en Vertex AI.
Generación
Elige el mejor método de generación según tus necesidades:
API de Grounded Generation (GA con lista de entidades permitidas): Usa la API de Grounded Generation para generar respuestas fundamentadas a la consulta de un usuario. Esta API usa un modelo de Gemini especializado y ajustado, y es una forma eficaz de reducir las alucinaciones y proporcionar respuestas fundamentadas en tus fuentes, fuentes de terceros o la Búsqueda de Google, incluidas referencias a contenido de asistencia de fundamentación.
Para obtener más información, consulta Cómo generar respuestas fundamentadas.
Gemini: Gemini es el modelo más capaz de Google y ofrece una fundamentación lista para usar con la Búsqueda de Google. Puedes usarlo para crear tu solución de generación de energía a tierra completamente personalizada.
Para obtener más información, consulta Fundamentación con la Búsqueda de Google en la documentación de Generative AI en Vertex AI.
Model Garden: Si quieres tener el control total y el modelo que elijas, puedes usar cualquiera de los modelos de Model Garden de Vertex AI para la generación.
Crea tu propia generación mejorada por recuperación
Desarrollar un sistema RAG personalizado para el sistema de puesta a tierra ofrece flexibilidad y control en cada paso del proceso. Vertex AI ofrece un paquete de APIs para ayudarte a crear tus propias soluciones de búsqueda. El uso de esas APIs te brinda flexibilidad total en el diseño de tu aplicación de RAG y, al mismo tiempo, ofrece un tiempo de lanzamiento acelerado y alta calidad, ya que se basa en estas APIs de Vertex AI de nivel inferior.
El analizador de diseño de Document AI. El analizador de diseño de Document AI transforma documentos en varios formatos en representaciones estructuradas, lo que permite acceder a contenido como párrafos, tablas, listas y elementos estructurales, como encabezados, encabezados de página y pies de página, y crea fragmentos conscientes del contexto que facilitan la recuperación de información en una variedad de apps de IA generativa y descubrimiento.
Para obtener más información, consulta Document AI Layout Parser en la documentación de Document AI.
API de incorporaciones: Las APIs de incorporaciones de Vertex AI te permiten crear incorporaciones para entradas multimodales o de texto. Las incorporaciones son vectores de números de punto flotante que están diseñados para capturar el significado de su entrada. Puedes usar las incorporaciones para potenciar la búsqueda semántica con la búsqueda de vectores.
Para obtener más información, consulta Incorporaciones de texto y Incorporaciones multimodales en la documentación de IA generativa en Vertex AI.
Búsqueda de vectores. El motor de recuperación es una parte clave de tu RAG o aplicación de búsqueda. La Búsqueda de vectores de Vertex AI es un motor de recuperación que puede buscar entre miles de millones de elementos similares o relacionados de manera semántica a gran escala, con consultas por segundo (QPS) altas, recuperación alta, latencia baja y rentabilidad. Puede realizar búsquedas en embeddings densos y admite la búsqueda de palabras clave de embeddings dispersos y la búsqueda híbrida en la vista preliminar pública.
Para obtener más información, consulta Descripción general de Vertex AI Vector Search en la documentación de Vertex AI.
La API de clasificación. La API de clasificación recibe una lista de documentos y vuelve a clasificarlos según su relevancia para una consulta determinada. En comparación con las incorporaciones que solo analizan la similitud semántica de un documento y una consulta, la API de clasificación puede brindarte una puntuación más precisa sobre qué tan bien un documento responde una consulta determinada.
Para obtener más información, consulta Cómo clasificar y volver a clasificar documentos.
La API de generación con conexión a tierra. Usa la API de generación fundamentada para generar respuestas fundamentadas a la instrucción de un usuario. Las fuentes de fundamentación pueden ser tus almacenes de datos de Vertex AI Search, los datos personalizados que proporciones o la Búsqueda de Google.
Para obtener más información, consulta Cómo generar respuestas fundamentadas.
La API de verificación de conexión a tierra. La API de verificación de justificación determina qué tan bien justificada está una parte de texto en un conjunto determinado de textos de referencia. La API puede generar citas de respaldo del texto de referencia para indicar dónde el texto determinado es compatible con los textos de referencia. Entre otras cosas, la API se puede usar para evaluar la fundamentación de las respuestas de un sistema de RAG. Además, como función experimental, la API también genera citas contradictorias que muestran dónde el texto dado y los textos de referencia no coinciden.
Para obtener más información, consulta Cómo verificar la conexión a tierra.
Flujo de trabajo: Genera respuestas fundamentadas a partir de datos no estructurados
A continuación, se muestra un flujo de trabajo que describe cómo integrar las APIs de RAG de Vertex AI para generar respuestas fundamentadas a partir de datos no estructurados.
- Importa tus documentos no estructurados, como archivos PDF, archivos HTML o imágenes con texto, a una ubicación de Cloud Storage.
- Procesa los documentos importados con el analizador de diseño. El analizador de diseño divide los documentos no estructurados en fragmentos y transforma el contenido no estructurado en su representación estructurada. El analizador de diseño también extrae anotaciones de los fragmentos.
- Crea incorporaciones de texto para los fragmentos con la API de incorporaciones de texto de Vertex AI.
- Indexa y recupera las incorporaciones de fragmentos con la Búsqueda vectorial.
- Clasifica los fragmentos con la API de clasificación y determina los fragmentos con la clasificación más alta.
- Genera respuestas fundamentadas en función de los fragmentos con mejor clasificación con la API de Grounded Generation.
Si generaste las respuestas con un modelo de generación de respuestas que no son los modelos de Google, puedes verificar la fundamentación de estas respuestas con el método de verificación de fundamentación.