Créer des applications basées sur un LLM avec LlamaIndex

Cette page décrit quelques cas d'utilisation de la création d'applications basées sur un LLM à l'aide de LlamaIndex intégré à AlloyDB Omni. Des liens vers des notebooks sur GitHub sont fournis pour vous aider à explorer des approches ou à développer votre application.

LlamaIndex est un framework d'orchestration d'IA générative qui vous permet de connecter et d'intégrer des sources de données à des grands modèles de langage (LLM). Vous pouvez utiliser LlamaIndex pour créer des applications qui accèdent à des informations à partir de données privées ou spécifiques au domaine et les interrogent à l'aide de requêtes en langage naturel.

LlamaIndex sert de pont entre les données personnalisées et les LLM, ce qui facilite le développement d'applications d'assistants de connaissances avec des fonctionnalités de génération augmentée de récupération (RAG).

LlamaIndex est adapté aux applications axées sur les documents, car il met l'accent sur la gestion structurée des documents, ce qui simplifie l'indexation et la récupération. Ce framework propose des mécanismes de requête optimisés qui améliorent la rapidité et la pertinence de l'accès aux informations, ainsi qu'une gestion robuste des métadonnées pour un filtrage nuancé.

Pour en savoir plus sur le framework LlamaIndex, consultez la documentation produit de LlamaIndex.

Composants LlamaIndex

AlloyDB Omni propose les interfaces LlamaIndex suivantes:

  • Vector Store
  • Document Store
  • Index Stores
  • Chat Stores
  • Lecteur de documents

Découvrez comment utiliser LlamaIndex avec le guide de démarrage rapide d'AlloyDB Omni.

Vector Store

Cette intégration LlamaIndex vous permet d'utiliser la nature robuste et évolutive d'AlloyDB Omni pour stocker et gérer vos données LlamaIndex. En combinant les fonctionnalités d'indexation et de requêtes de LlamaIndex aux performances et à la fiabilité élevées d'AlloyDB Omni, vous pouvez créer des applications optimisées par LLM plus efficaces et évolutives.

LlamaIndex décompose un document (document, texte et PDF) en composants appelés nœuds. Le VectorStore ne peut contenir que les vecteurs d'embedding des contenus des nœuds ingérés et le texte des nœuds. Un nœud contient du contenu textuel, des représentations vectorielles continues et des métadonnées. Vous pouvez appliquer des filtres à ces champs de métadonnées pour limiter la récupération des nœuds à ceux qui correspondent aux critères de métadonnées spécifiés.

Pour travailler avec des magasins de vecteurs dans AlloyDB Omni, utilisez la classe AlloyDBVectorStore. Pour en savoir plus, consultez la section Magasins de vecteurs LlamaIndex.

Stocker des embeddings vectoriels avec la classe AlloyDBVectorStore

Le notebook AlloyDB Omni pour le magasin de vecteurs vous explique comment effectuer les opérations suivantes:

  • Créez un AlloyDBEngine pour vous connecter à votre instance AlloyDB Omni à l'aide de AlloyDBEngine.from_connection_string().
  • Initialisez une table pour stocker des embeddings vectoriels.
  • Créez une instance de classe d'embedding à l'aide de n'importe quel modèle d'embedding de l'indice Llama.
  • Initialisez un magasin de vecteurs AlloyDBVectorStore par défaut.
  • Créez et interrogez un index à partir du magasin de vecteurs à l'aide de VectorStoreIndex.
  • Créez un magasin de vecteurs personnalisé pour stocker et filtrer les métadonnées.
  • Ajoutez un index ANN pour améliorer la latence de recherche.

Datastores de documents et d'index

L'intégration des magasins de documents LlamaIndex gère le stockage et la récupération de documents structurés, en optimisant les fonctionnalités axées sur les documents de LlamaIndex. Document Store stocke le contenu associé aux vecteurs dans le magasin de vecteurs.

Pour en savoir plus, consultez la documentation produit Magasins de documents LlamaIndex.

Les index stores facilitent la gestion des index pour permettre une interrogation et une récupération de données rapides, par exemple pour les index de résumé, de mot clé et d'arborescence. Index dans LlamaIndex est un stockage léger uniquement pour les métadonnées de nœud. Les mises à jour des métadonnées de nœud ne nécessitent pas de réindexation (génération d'un vecteur d'encapsulation de lecture) du nœud complet ni de tous les nœuds d'un document.

Pour en savoir plus, consultez la section Index Stores LlamaIndex.

Stocker des documents et des index

Le notebook AlloyDB Omni pour les magasins de documents vous montre comment utiliser AlloyDB Omni pour stocker des documents et des index à l'aide des classes AlloyDBDocumentStore et AlloyDBIndexStore. Vous allez apprendre à:

  • Créez un AlloyDBEngine pour vous connecter à votre instance AlloyDB Omni à l'aide de AlloyDBEngine.from_connection_string().
  • Créez des tables pour DocumentStore et IndexStore.
  • Initialisez un AlloyDBDocumentStore par défaut.
  • Configurez un AlloyDBIndexStore.
  • Ajoutez des documents à Docstore.
  • Utilisez des magasins de documents avec plusieurs index.
  • Charger les index existants.

Chat Stores

Les Chat Stores gèrent l'historique des conversations et le contexte pour les applications basées sur le chat, ce qui permet des interactions personnalisées. Les magasins Chat fournissent un dépôt central qui stocke et récupère les messages de chat dans une conversation, ce qui permet au LLM de conserver le contexte et de fournir des réponses plus pertinentes en fonction du dialogue en cours.

Les grands modèles de langage sont sans état par défaut, ce qui signifie qu'ils ne conservent pas les entrées précédentes, sauf si elles sont explicitement fournies à chaque fois. En utilisant un chat store, vous pouvez préserver le contexte de la conversation, ce qui permet au modèle de générer des réponses plus pertinentes et cohérentes au fil du temps.

Le module de mémoire de LlamaIndex permet de stocker et de récupérer efficacement le contexte conversationnel, ce qui permet des interactions plus personnalisées et contextuelles dans les applications de chat. Vous pouvez intégrer le module de mémoire dans LlamaIndex avec un ChatStore et un ChatMemoryBuffer. Pour en savoir plus, consultez la section Magasins de chat LlamaIndex.

Stocker l'historique des discussions

Le notebook AlloyDB Omni pour les magasins Chat vous montre comment utiliser AlloyDB for PostgreSQL pour stocker l'historique des discussions à l'aide de la classe AlloyDBChatStore. Vous allez apprendre à:

  • Créez un AlloyDBEngine pour vous connecter à votre instance AlloyDB Omni à l'aide de AlloyDBEngine.from_connection_string().
  • Initialisez un AlloyDBChatStore par défaut.
  • Créez un objet ChatMemoryBuffer.
  • Créez une instance de classe LLM.
  • Utilisez AlloyDBChatStore sans contexte de stockage.
  • Utilisez AlloyDBChatStore avec un contexte de stockage.
  • Créez et utilisez Chat Engine.

Lecteur de documents

Le lecteur de documents récupère et transforme efficacement les données d'AlloyDB Omni en formats compatibles avec LlamaIndex à des fins d'indexation. L'interface Lecteur de documents fournit des méthodes permettant de charger des données à partir d'une source en tant que Documents.

Document est une classe qui stocke un texte et les métadonnées associées. Vous pouvez utiliser des lecteurs de documents pour charger les documents que vous souhaitez stocker dans des magasins de documents ou utilisés pour créer des index.

Pour en savoir plus, consultez le LlamaIndex Document Reader.

Récupérer des données sous forme de documents

Le notebook AlloyDB Omni pour Document Reader vous montre comment utiliser AlloyDB Omni pour récupérer des données en tant que documents à l'aide de la classe AlloyDBReader. Vous allez apprendre à effectuer les opérations suivantes:

  • Créez un AlloyDBEngine pour vous connecter à votre instance AlloyDB Omni à l'aide de AlloyDBEngine.from_connection_string().
  • Créez des AlloyDBReader.
  • Chargez des documents à l'aide de l'argument table_name.
  • Charger des documents à l'aide d'une requête SQL
  • Définissez le format du contenu de la page.
  • Chargez les documents.

Étape suivante