Datastores

Les data stores sont utilisés par agents de data store pour trouver des réponses aux questions des utilisateurs finaux à partir de vos données. Les data stores sont des ensembles de sites Web et de documents, chacun faisant référence à vos données.

Lorsqu'un utilisateur final pose une question à l'agent, L'agent recherche une réponse à partir du contenu source donné. et résume les résultats dans une réponse cohérente de l'agent. Il fournit également des liens vers les sources la réponse à l'utilisateur final pour en savoir plus. L'agent peut fournir jusqu'à cinq extraits de réponse pour une question donnée.

Sources des data stores

Vous pouvez fournir différentes sources de données:

• URL des sites Web: Explorer automatiquement le contenu d'un site Web à partir d'une liste de domaines ou des pages Web.
• BigQuery: Importez des données depuis votre table BigQuery.
• Cloud Storage: Importez des données depuis votre bucket Cloud Storage.

Contenu de site Web

Lorsque vous ajoutez le contenu d'un site Web en tant que source, vous pouvez ajouter et exclure plusieurs sites. Lorsque vous spécifiez un site, vous pouvez utiliser des pages individuelles ou * comme caractère générique pour un modèle. Tout le contenu HTML et PDF sera traité.

Vous devez valider votre domaine lorsque vous utilisez le contenu d'un site Web comme source.

Limites :

• Les fichiers des URL publiques doivent avoir été explorés par l'indexeur de la recherche Google. afin qu'ils figurent dans l'index de recherche. Vous pouvez vérifier cela à l'aide de la Google Search Console.
• 200 000 pages maximum sont indexées. Si le data store contient pages supplémentaires, l'indexation échoue et le dernier contenu indexé est conservé.

Importer des données

Vous pouvez importer vos données depuis BigQuery ou Cloud Storage. Ces données peuvent être structurées ou non structurées. qui peut être avec des métadonnées ou sans métadonnées.

Les options d'importation de données suivantes sont disponibles:

• Ajouter/Mettre à jour des données: Les documents fournis sont ajoutés au data store. Si un nouveau document a le même ID qu'un ancien document, le nouveau document remplace l'ancien.
• Remplacer les données existantes: Toutes les anciennes données sont supprimées, de nouvelles données sont alors importées. Cette opération est irréversible.

Data store structurées

Les data stores structurés peuvent contenir les réponses aux questions fréquentes. Lorsque des questions d'un utilisateur sont mises en correspondance avec un niveau de confiance élevé avec une question importée, l'agent renvoie la réponse à cette question sans aucune modification. Vous pouvez fournir un titre et une URL pour chaque paire question-réponse affiché par l'agent.

Lorsque vous importez des données dans le data store, vous devez utiliser le format CSV. Chaque fichier doit comporter une ligne d'en-tête décrivant les colonnes.

Exemple :

"question","answer","title","url"
"Why is the sky blue?","The sky is blue because of Rayleigh scattering.","Rayleigh scattering","https://en.wikipedia.org/wiki/Rayleigh_scattering"
"What is the meaning of life?","42","",""

Les colonnes title et url sont facultatives et peuvent être omises:

"answer","question"
"42","What is the meaning of life?"

Pendant le processus de mise en ligne, Vous pouvez sélectionner un dossier dans lequel chaque fichier est traité dans un fichier CSV, quelle que soit leur extension.

Limites :

• Un espace superflu après , provoque une erreur.
• Les lignes vides (même à la fin du fichier) provoquent une erreur.

Data store non structuré

Les data stores non structurés peuvent contenir des contenus dans les formats suivants:

• HTML
• PDF
• TXT
• CSV

Remarque :Les fichiers CSV peuvent également être importés en tant que contenu non structuré. Les mêmes exigences de schéma s'appliquent. Les métadonnées sont générées automatiquement si Les colonnes title et url sont fournies. Chaque paire de questions/réponses est indexée séparément. Les conditions de mise en correspondance sont moins strictes que pour les données CSV structurées. et la réponse peut être réécrite par l'agent.

Remarque :Il est possible (mais peu courant) d'importer des fichiers à partir du bucket Cloud Storage d'un autre projet. Un accès explicite doit être accordé au processus d'importation. Suivez les instructions du message d'erreur, car elles contiennent le nom de l'utilisateur ayant besoin d'un accès en lecture au bucket.

Limites :

• La taille maximale de fichier est de 2,5 Mo pour les formats textuels, 100 Mo pour les autres formats.

Datastore avec métadonnées

Un titre et une URL peuvent être fournis en tant que métadonnées. Lorsque l'agent est en conversation avec un utilisateur, l'agent peut fournir ces informations à l'utilisateur. Cela peut aider les utilisateurs pour créer rapidement des liens vers des pages Web internes auxquelles la recherche Google n'a pas accès un indexeur.

Pour importer du contenu avec des métadonnées, vous indiquez une ou plusieurs Fichiers JSON Lines. Chaque ligne de ce fichier décrit un document. Vous n'importez pas directement les documents. Les URI qui renvoient aux chemins d'accès Cloud Storage sont fournis dans le fichier de lignes JSON.

Lorsque vous fournissez vos fichiers JSON Lines, vous fournissez un dossier Cloud Storage contenant ces fichiers. Ne placez aucun autre fichier dans ce dossier.

Description des champs:

Champ	Type	Description
id	chaîne	Identifiant unique du document.
content.mimeType	chaîne	Type MIME du document. "application/pdf" et "text/html" sont pris en charge.
content.uri	chaîne	URI du document dans Cloud Storage.
content.structData	chaîne	Objet JSON sur une seule ligne avec les champs title et url facultatifs.

Exemple :

{ "id": "d001", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/first_doc.pdf"}, "structData": {"title": "First Document", "url": "https://internal.example.com/documents/first_doc.pdf"} }
{ "id": "d002", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/second_doc.pdf"}, "structData": {"title": "Second Document", "url": "https://internal.example.com/documents/second_doc.pdf"} }
{ "id": "d003", "content": {"mimeType": "text/html", "uri": "gs://example-import/unstructured/mypage.html"}, "structData": {"title": "My Page", "url": "https://internal.example.com/mypage.html"} }

Data store sans métadonnées

Ce type de contenu ne comporte aucune métadonnée. Il vous suffit de fournir les documents à importer. Le type de contenu est déterminé par l'extension du fichier.

Analyser et fragmenter la configuration

Selon la source de données, vous pourrez peut-être configurer Paramètres d'analyse et de fragmentation comme défini par Vertex AI Search.

Créer un data store

Pour créer un data store:

1. Accédez à la console Agent Builder:

   Console Agent Builder

2. Sélectionnez votre projet dans le menu déroulant de la console.

3. Lisez et acceptez les conditions d'utilisation, puis cliquez sur Continuer et activer l'API.

4. Cliquez sur Data stores dans le panneau de navigation de gauche.

5. Cliquez sur New Data Store (Nouveau data store).

6. Choisissez une source de données.

7. Activer Indexation avancée de site Web. Nécessaire pour les agents de data store.

8. Fournir les données et la configuration pour la source de data store sélectionnée. L'emplacement de votre data store doit correspondre à l'emplacement de l'agent.

9. Cliquez sur Créer pour créer le data store.

10. Vous pouvez également définir la langue du data store:

    1. Dans la liste des datastores, cliquez sur celui que vous venez de créer.
    2. Cliquez sur le bouton "Modifier" . pour le paramètre linguistique.
    3. Sélectionnez une langue, puis cochez la case pour l'appliquer.

11. Validez le domaine de votre site Web.

Utiliser Cloud Storage pour un document de data store

Si votre contenu n'est pas public, nous vous recommandons de le stocker dans Cloud Storage. Lors de la création de documents de data store, vous fournissez les URL de vos objets Cloud Storage sous la forme suivante: gs://bucket-name/folder-name Chaque document du dossier est ajouté au data store.

Lors de la création d'un bucket Cloud Storage :

• Assurez-vous d'avoir sélectionné le projet pour lequel vous utilisez l'agent.
• Utilisez la classe Stockage standard.
• Définissez l'emplacement du bucket. au même emplacement que votre agent.

Suivez les instructions de la page Démarrage rapide de Cloud Storage pour créer un bucket et importer des fichiers.

Langues

Pour les langages acceptés, consultez la colonne "data store" Documentation de référence sur le langage Dialogflow

Pour des performances optimales, il est recommandé de créer les data stores dans un seul langage.

Après avoir créé un data store, vous pouvez éventuellement spécifier le langage du data store. Si vous définissez la langue du data store, vous pouvez connecter le data store agent de data store configuré pour une autre langue. Par exemple : vous pouvez créer un data store français qui est mis en relation avec un agent anglais.

Régions où le service est disponible

Pour les régions compatibles, consultez les Documentation de référence sur la région Dialogflow