Les data stores sont utilisés par gestionnaires de data store et outils de data store des playbooks pour trouver des réponses aux questions des utilisateurs finaux à partir de vos données. Les data stores sont des ensembles de sites Web et de documents, chacun faisant référence à vos données.
Lorsqu'un utilisateur final pose une question à l'agent, celui-ci recherche une réponse à partir du contenu source donné, puis résume les résultats dans une réponse cohérente. Il fournit également des liens vers les sources de la réponse pour permettre à l'utilisateur final d'en savoir plus. L'agent peut fournir jusqu'à cinq extraits de réponse pour une question donnée.
Sources des data stores
Vous pouvez fournir vos données à partir de différentes sources :
- URL de sites Web : explorez automatiquement le contenu de sites Web à partir d'une liste de domaines ou de pages Web.
- BigQuery : importez des données à partir de votre table BigQuery.
- Cloud Storage : importez des données à partir de votre bucket Cloud Storage.
Contenu de site Web
Lorsque vous ajoutez le contenu d'un site Web en tant que source,
vous pouvez ajouter et exclure plusieurs sites.
Lorsque vous spécifiez un site, vous pouvez utiliser des pages individuelles ou * comme caractère générique pour un modèle.
Tout le contenu HTML et PDF sera traité.
Vous devez valider votre domaine lorsque vous utilisez le contenu d'un site Web comme source.
Limites :
- Les fichiers des URL publiques doivent avoir été explorés par l'indexeur de la recherche Google. afin qu'elles figurent dans l'index de recherche. Vous pouvez vérifier cela à l'aide de la Google Search Console.
- 200 000 pages maximum sont indexées. Si le data store contient pages supplémentaires, l'indexation échoue et le dernier contenu indexé est conservé.
Importer des données
Vous pouvez importer vos données depuis BigQuery ou Cloud Storage. Ces données peuvent être structurées ou non structurées. qui peut être avec des métadonnées ou sans métadonnées.
Les options d'importation de données suivantes sont disponibles:
- Ajouter/Mettre à jour des données : les documents fournis sont ajoutés au magasin de données. Si un nouveau document a le même ID qu'un ancien document, le nouveau document le remplace.
- Remplacer les données existantes : toutes les anciennes données sont supprimées, puis les nouvelles données sont importées. Cette opération est irréversible.
Data store structurées
Les data stores structurés peuvent contenir les réponses aux questions fréquentes. Lorsque des questions d'un utilisateur sont mises en correspondance avec un niveau de confiance élevé avec une question importée, l'agent renvoie la réponse à cette question sans aucune modification. Vous pouvez fournir un titre et une URL pour chaque paire de question/réponse affichée par l'agent.
Lorsque vous importez des données dans le magasin de données, vous devez utiliser le format CSV. Chaque fichier doit comporter une ligne d'en-tête décrivant les colonnes.
Exemple :
"question","answer","title","url"
"Why is the sky blue?","The sky is blue because of Rayleigh scattering.","Rayleigh scattering","https://en.wikipedia.org/wiki/Rayleigh_scattering"
"What is the meaning of life?","42","",""
Les colonnes title et url sont facultatives et peuvent être omises :
"answer","question"
"42","What is the meaning of life?"
Lors du processus d'importation, vous pouvez sélectionner un dossier dans lequel chaque fichier est traité comme un fichier CSV, quelle que soit son extension.
Limites :
- Un espace supplémentaire après
,génère une erreur. - Les lignes vides (même à la fin du fichier) génèrent une erreur.
Data store non structuré
Les datastores de données non structurées peuvent contenir du contenu dans les formats suivants :
- HTML
- TXT
- CSV
Limites :
- La taille maximale des fichiers est de 2,5 Mo. 100 Mo pour les autres formats.
Data store avec métadonnées
Vous pouvez fournir un titre et une URL en tant que métadonnées. Lorsque l'agent est en conversation avec un utilisateur, il peut lui fournir ces informations. Cela peut aider les utilisateurs à créer rapidement des liens vers des pages Web internes auxquelles l'indexeur de la recherche Google n'a pas accès.
Pour importer du contenu avec des métadonnées, vous devez fournir un ou plusieurs fichiers JSON Lines. Chaque ligne de ce fichier décrit un document. Vous n'importez pas directement les documents réels. Les URI qui redirigent vers les chemins Cloud Storage sont fournis dans le fichier JSON Lines.
Lorsque vous fournissez vos fichiers JSON Lines, vous fournissez un dossier Cloud Storage qui les contient. N'ajoutez aucun autre fichier à ce dossier.
Descriptions des champs :
| Champ | Type | Description |
|---|---|---|
| id | chaîne | Identifiant unique du document. |
| content.mimeType | chaîne | Type MIME du document. "application/pdf" et "text/html" sont pris en charge. |
| content.uri | chaîne | URI du document dans Cloud Storage. |
| structData | chaîne | Objet JSON sur une seule ligne avec les champs title et url facultatifs. |
Exemple :
{ "id": "d001", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/first_doc.pdf"}, "structData": {"title": "First Document", "url": "https://internal.example.com/documents/first_doc.pdf"} }
{ "id": "d002", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/second_doc.pdf"}, "structData": {"title": "Second Document", "url": "https://internal.example.com/documents/second_doc.pdf"} }
{ "id": "d003", "content": {"mimeType": "text/html", "uri": "gs://example-import/unstructured/mypage.html"}, "structData": {"title": "My Page", "url": "https://internal.example.com/mypage.html"} }
Data store sans métadonnées
Ce type de contenu ne comporte pas de métadonnées. Il vous suffit de fournir les documents à importer. Le type de contenu est déterminé par l'extension du fichier.
Analyser et fragmenter la configuration
Selon la source de données, vous pourrez peut-être configurer Paramètres d'analyse et de fragmentation comme défini par Vertex AI Search.
Créer un data store
Pour créer un data store:
Accédez à la console Agent Builder :
Sélectionnez votre projet dans le menu déroulant de la console.
Lisez et acceptez les conditions d'utilisation, puis cliquez sur Continuer et activer l'API.
Cliquez sur Data stores dans le panneau de navigation de gauche.
Cliquez sur Nouveau datastore.
Choisissez une source de données.
Activer Indexation avancée de site Web. Nécessaire pour les agents de data store.
Fournir les données et la configuration pour la source de data store sélectionnée. L'emplacement de votre data store doit correspondre à l'emplacement de l'agent.
Cliquez sur Créer pour créer le data store.
Vous pouvez également définir la langue du data store:
- Dans la liste des datastores, cliquez sur celui que vous venez de créer.
- Cliquez sur le bouton Modifier correspondant au paramètre de langue.
- Sélectionnez une langue, puis cliquez sur la coche pour l'appliquer.
Utiliser Cloud Storage pour un document de datastore
Si votre contenu n'est pas public, nous vous recommandons de le stocker dans Cloud Storage.
Lorsque vous créez des documents de magasin de données, vous fournissez les URL de vos objets Cloud Storage sous la forme :gs://bucket-name/folder-name.
Chaque document du dossier est ajouté au datastore.
Lors de la création d'un bucket Cloud Storage :
- Assurez-vous d'avoir sélectionné le projet que vous utilisez pour l'agent.
- Utilisez la classe Stockage standard.
- Définissez l'emplacement du bucket. au même emplacement que votre agent.
Suivez les instructions de la page Démarrage rapide de Cloud Storage pour créer un bucket et importer des fichiers.
Langues
Pour connaître les langues acceptées, consultez la colonne "Datastore" dans la documentation de référence sur les langues.
Pour de meilleures performances, nous vous recommandons de créer des magasins de données dans une seule langue.
Après avoir créé un data store, vous pouvez éventuellement spécifier la langue du data store. Si vous définissez la langue du data store, vous pouvez connecter le data store à un agent configuré pour une autre langue. Par exemple, vous pouvez créer un entrepôt de données en français associé à un agent anglophone.
Régions où le service est disponible
Pour les régions compatibles, consultez les documentation de référence sur la région.