Desarrollar aplicaciones basadas en LLM con LlamaIndex

En esta página se describen algunos casos prácticos para crear aplicaciones basadas en LLMs con LlamaIndex integrado en Cloud SQL para PostgreSQL. Se proporcionan enlaces a cuadernos de GitHub para ayudarte a explorar enfoques o a desarrollar tu aplicación.

LlamaIndex es un framework de orquestación de IA generativa que te permite conectar e integrar fuentes de datos con modelos de lenguaje extenso (LLMs). Puedes usar LlamaIndex para crear aplicaciones que accedan a información de datos privados o específicos de un dominio y la consulten mediante consultas en lenguaje natural.

LlamaIndex actúa como puente entre los datos personalizados y los LLMs, lo que facilita el desarrollo de aplicaciones de asistente de conocimientos con funciones de generación aumentada por recuperación (RAG).

LlamaIndex es ideal para aplicaciones centradas en documentos porque enfatiza la gestión de documentos estructurados, lo que simplifica la indexación y la recuperación. Este marco incluye mecanismos de consulta optimizados que mejoran la velocidad y la relevancia del acceso a la información, así como una gestión de metadatos sólida para un filtrado matizado.

Para obtener más información sobre el framework LlamaIndex, consulta la documentación del producto LlamaIndex.

Componentes de LlamaIndex

Cloud SQL para PostgreSQL ofrece las siguientes interfaces de LlamaIndex:

  • Vector Store
  • Document Store
  • Index Stores
  • Chat Stores
  • Lector de documentos

Consulta cómo usar LlamaIndex con el inicio rápido de Cloud SQL para PostgreSQL.

Vector Store

Esta integración de LlamaIndex te permite usar la naturaleza robusta y escalable de Cloud SQL para PostgreSQL para almacenar y gestionar tus datos de LlamaIndex. Al combinar las funciones de indexación y consulta de LlamaIndex con el alto rendimiento y la fiabilidad de Cloud SQL para PostgreSQL, puedes crear aplicaciones basadas en LLMs más eficientes y escalables.

LlamaIndex desglosa un documento (documentos, texto y PDFs) en componentes de documento llamados nodos. El VectorStore solo puede contener los vectores de inserción del contenido de los nodos ingeridos y el texto de los nodos. Un nodo, que es un concepto de primera clase, contiene contenido de texto, inserciones de vectores y metadatos. Puede aplicar filtros a estos campos de metadatos para restringir la recuperación de nodos a aquellos que coincidan con los criterios de metadatos especificados.

Para trabajar con almacenes de vectores en Cloud SQL para PostgreSQL, usa la clase PostgresVectorStore. Para obtener más información, consulta LlamaIndex Vector Stores.

Almacenar inserciones de vectores con la clase PostgresVectorStore

En el almacén de vectores de Cloud SQL para PostgreSQL se explica cómo hacer lo siguiente:

  • Inicializar una tabla para almacenar incrustaciones de vectores
  • Crea una instancia de la clase de inserción con cualquier modelo de inserciones de índice de Llama.
  • Inicializa un almacén de vectores PostgresVectorStore predeterminado.
  • Crea un índice a partir del almacén de vectores y haz consultas en él con VectorStoreIndex.
  • Crea un almacén de vectores personalizado para almacenar y filtrar metadatos de forma eficaz.
  • Añade un índice ANN para mejorar la latencia de búsqueda.

Almacenes de documentos e índices

La integración de LlamaIndex Document Stores gestiona el almacenamiento y la recuperación de documentos estructurados, lo que optimiza las funciones centradas en documentos de LlamaIndex. Document Store almacena el contenido relacionado con los vectores en el almacén de vectores.

Para obtener más información, consulta la documentación del producto LlamaIndex Document Stores.

Los almacenes de índices facilitan la gestión de los índices para permitir consultas y recuperaciones de datos rápidas, como los índices de resumen, de palabras clave y de árbol. Index en LlamaIndex es un almacenamiento ligero solo para los metadatos de los nodos. Para actualizar los metadatos de un nodo, no es necesario volver a indexar (es decir, generar la inserción) el nodo completo ni todos los nodos de un documento.

Para obtener más información, consulta LlamaIndex Index Stores (en inglés).

Almacenar documentos e índices

El cuaderno de Cloud SQL para PostgreSQL de Document Stores te muestra cómo usar Cloud SQL para PostgreSQL para almacenar documentos e índices con las clases PostgresDocumentStore y PostgresIndexStore. Aprenderás a hacer lo siguiente:

  • Crea un PostgresEngine con PostgresEngine.from_instance().
  • Crea tablas para DocumentStore e IndexStore.
  • Inicializa un PostgresDocumentStore predeterminado.
  • Configura un PostgresIndexStore.
  • Añade documentos a la Docstore.
  • Usa almacenes de documentos con varios índices.
  • Carga los índices existentes.

Chat Stores

Los almacenes de chat conservan el historial y el contexto de las conversaciones de las aplicaciones basadas en chat, lo que permite ofrecer interacciones personalizadas. Los Chat Stores proporcionan un repositorio central que almacena y recupera mensajes de chat en una conversación, lo que permite al LLM mantener el contexto y ofrecer respuestas más relevantes en función del diálogo en curso.

Los modelos de lenguaje extensos no tienen estado de forma predeterminada, lo que significa que no conservan las entradas anteriores a menos que se proporcionen explícitamente cada vez. Si usas una tienda de conversaciones, puedes conservar el contexto de la conversación, lo que permite que el modelo genere respuestas más relevantes y coherentes con el tiempo.

El módulo de memoria de LlamaIndex permite almacenar y recuperar de forma eficiente el contexto de las conversaciones, lo que permite que las interacciones en las aplicaciones de chat sean más personalizadas y contextuales. Puedes integrar el módulo de memoria en LlamaIndex con un ChatStore y un ChatMemoryBuffer.
Para obtener más información, consulta LlamaIndex Chat Stores.

Almacenar el historial de chat

En el notebook de Cloud SQL para PostgreSQL de Chat Stores se muestra cómo usar Cloud SQL para PostgreSQL para almacenar el historial de conversaciones mediante la clase PostgresChatStore. Aprenderás a hacer lo siguiente:

  • Crea un PostgresEngine con PostgresEngine.from_instance().
  • Inicializar un PostgresChatStore. predeterminado
  • Crea un ChatMemoryBuffer.
  • Crea una instancia de la clase LLM.
  • Usar PostgresChatStore sin contexto de almacenamiento.
  • Usa PostgresChatStore con un contexto de almacenamiento.
  • Crea y usa el Chat Engine.

Lector de documentos

Document Reader obtiene y transforma de forma eficiente los datos de Cloud SQL para PostgreSQL en formatos compatibles con LlamaIndex para indexarlos. La interfaz Document Reader proporciona métodos para cargar datos de una fuente como Documents. Document es una clase que almacena un fragmento de texto y los metadatos asociados. Puedes usar Lectores de documentos para cargar los documentos que quieras almacenar en Almacenes de documentos o usar para crear índices.

Para obtener más información, consulta LlamaIndex Document Reader.

Obtener datos como documentos

El cuaderno de Cloud SQL para PostgreSQL de Document Reader te muestra cómo usar Cloud SQL para PostgreSQL y recuperar datos como documentos con la clase PostgresReader. Aprenderás a hacer lo siguiente:

  • Crea un PostgresEngine con PostgresEngine.from_instance().
  • Crear PostgresReader.
  • Carga documentos con el argumento table_name.
  • Carga documentos mediante una consulta SQL.
  • Define el formato del contenido de la página.
  • Carga los documentos.

Siguientes pasos