Data stores

Les data stores sont utilisés par les agents de data store pour trouver des réponses aux questions des utilisateurs finaux à partir de vos données. Les data stores sont des ensembles de sites Web et de documents, chacun faisant référence à vos données.

Lorsqu'un utilisateur final pose une question à l'agent, celui-ci recherche une réponse dans le contenu source donné et résume les résultats dans une réponse d'agent cohérente. Il fournit également des liens vers les sources de la réponse pour permettre à l'utilisateur final d'en savoir plus. L'agent peut fournir jusqu'à cinq extraits de réponse pour une question donnée.

Sources des data stores

Vous pouvez fournir différentes sources de données:

• URL des sites Web : explorez automatiquement le contenu d'un site Web à partir d'une liste de domaines ou de pages Web.
• BigQuery : importez des données depuis votre table BigQuery.
• Cloud Storage : importez des données depuis votre bucket Cloud Storage.

Contenu de site Web

Lorsque vous ajoutez le contenu d'un site en tant que source, vous pouvez ajouter et exclure plusieurs sites. Lorsque vous spécifiez un site, vous pouvez utiliser des pages individuelles ou * comme caractère générique pour un modèle. Tout le contenu HTML et PDF sera traité.

Vous devez valider votre domaine lorsque vous utilisez le contenu d'un site Web en tant que source.

Limites :

• Les fichiers des URL publiques doivent avoir été explorés par l'indexeur de la recherche Google pour pouvoir exister dans l'index de recherche. Vous pouvez vérifier cela à l'aide de la Google Search Console.
• 200 000 pages maximum sont indexées. Si le data store contient plus de pages, l'indexation échoue et le dernier contenu indexé est conservé.

Importer les données

Vous pouvez importer vos données depuis BigQuery ou Cloud Storage. Ces données peuvent être structurées ou non structurées, et peuvent être avec des métadonnées ou sans métadonnées.

Les options d'importation de données suivantes sont disponibles:

• Ajouter/Mettre à jour des données : les documents fournis sont ajoutés au data store. Si un nouveau document a le même ID qu'un ancien document, le nouveau document remplace l'ancien.
• Remplacer les données existantes : toutes les anciennes données sont supprimées, puis les nouvelles données sont importées. Cette opération est irréversible.

Data store structurées

Les data stores structurés peuvent contenir les réponses aux questions fréquentes. Lorsque les questions d'un utilisateur sont mises en correspondance avec un niveau de confiance élevé avec une question importée, l'agent renvoie la réponse à cette question sans aucune modification. Vous pouvez fournir un titre et une URL pour chaque paire question-réponse affichée par l'agent.

Lorsque vous importez des données dans le data store, vous devez utiliser le format CSV. Chaque fichier doit comporter une ligne d'en-tête décrivant les colonnes.

Exemple :

"question","answer","title","url"
"Why is the sky blue?","The sky is blue because of Rayleigh scattering.","Rayleigh scattering","https://en.wikipedia.org/wiki/Rayleigh_scattering"
"What is the meaning of life?","42","",""

Les colonnes title et url sont facultatives et peuvent être omises:

"answer","question"
"42","What is the meaning of life?"

Au cours du processus d'importation, il est possible de sélectionner un dossier dans lequel chaque fichier est traité comme un fichier CSV, quelle que soit l'extension.

Limites :

• Un espace superflu après , provoque une erreur.
• Les lignes vides (même à la fin du fichier) provoquent une erreur.

Data store non structuré

Les data stores non structurés peuvent inclure du contenu dans les formats suivants:

• HTML
• PDF
• TXT
• CSV

Remarque :Les fichiers CSV peuvent également être importés en tant que contenu non structuré. Les mêmes exigences de schéma s'appliquent. Les métadonnées sont générées automatiquement si les colonnes title et url sont fournies. Chaque paire de questions/réponses est indexée séparément. Les exigences de correspondance sont moins strictes que pour les magasins de données CSV structurées, et la réponse peut être réécrite par l'agent.

Remarque :Il est possible (mais peu courant) d'importer des fichiers à partir du bucket Cloud Storage d'un autre projet. Un accès explicite doit être accordé au processus d'importation. Suivez les instructions du message d'erreur, car elles contiennent le nom de l'utilisateur nécessitant un accès en lecture au bucket.

Limites :

• La taille maximale des fichiers est de 2,5 Mo pour les formats textuels et de 100 Mo pour les autres.

Datastore avec métadonnées

Un titre et une URL peuvent être fournis en tant que métadonnées. Lorsque l'agent est en conversation avec un utilisateur, il peut fournir ces informations à l'utilisateur. Cela peut aider les utilisateurs à créer rapidement des liens vers des pages Web internes auxquelles l'indexeur de la recherche Google n'a pas accès.

Pour importer du contenu avec des métadonnées, vous devez fournir un ou plusieurs fichiers de lignes JSON. Chaque ligne de ce fichier décrit un document. Vous n'importez pas directement les documents. Les URI qui renvoient aux chemins d'accès Cloud Storage sont fournis dans le fichier de lignes JSON.

Lorsque vous fournissez vos fichiers de lignes JSON, vous fournissez un dossier Cloud Storage contenant ces fichiers. Ne placez aucun autre fichier dans ce dossier.

Description des champs:

Champ	Type	Description
id	chaîne	Identifiant unique du document.
content.mimeType	chaîne	Type MIME du document. "application/pdf" et "text/html" sont acceptés.
content.uri	chaîne	URI du document dans Cloud Storage.
content.structData	chaîne	Objet JSON sur une seule ligne avec les champs title et url facultatifs.

Exemple :

{ "id": "d001", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/first_doc.pdf"}, "structData": {"title": "First Document", "url": "https://internal.example.com/documents/first_doc.pdf"} }
{ "id": "d002", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/second_doc.pdf"}, "structData": {"title": "Second Document", "url": "https://internal.example.com/documents/second_doc.pdf"} }
{ "id": "d003", "content": {"mimeType": "text/html", "uri": "gs://example-import/unstructured/mypage.html"}, "structData": {"title": "My Page", "url": "https://internal.example.com/mypage.html"} }

Data store sans métadonnées

Ce type de contenu ne comporte aucune métadonnée. Il vous suffit de fournir les documents à importer. Le type de contenu est déterminé par l'extension du fichier.

Analyser et fragmenter la configuration

Selon la source de données, vous pouvez configurer des paramètres d'analyse et de fragmentation tels que définis par Vertex AI Search.

Créer un data store

Pour créer un data store:

1. Accédez à la console Agent Builder:

   Console Agent Builder

2. Sélectionnez votre projet dans le menu déroulant de la console.

3. Lisez et acceptez les conditions d'utilisation, puis cliquez sur Continuer et activer l'API.

4. Cliquez sur Data stores dans le panneau de navigation de gauche.

5. Cliquez sur New Data Store (Nouveau data store).

6. Choisissez une source de données.

7. Activez l'indexation avancée de site Web. Nécessaire pour les agents de data store.

8. Fournissez les données et la configuration de la source du data store que vous avez sélectionnée. L'emplacement de votre data store doit correspondre à l'emplacement de l'agent.

9. Cliquez sur Créer pour créer le data store.

10. Vous pouvez également définir la langue du data store:

    1. Dans la liste des datastores, cliquez sur celui que vous venez de créer.
    2. Cliquez sur le bouton Modifier pour le paramètre de langue.
    3. Sélectionnez une langue, puis cochez la case pour l'appliquer.

11. Validez le domaine de votre site Web.

Utiliser Cloud Storage pour un document de data store

Si votre contenu n'est pas public, nous vous recommandons de le stocker dans Cloud Storage. Lorsque vous créez des documents de data store, vous indiquez les URL de vos objets Cloud Storage au format suivant : gs://bucket-name/folder-name. Chaque document du dossier est ajouté au data store.

Lors de la création d'un bucket Cloud Storage :

• Assurez-vous d'avoir sélectionné le projet que vous utilisez pour l'agent.
• Utilisez la classe Stockage standard.
• Définissez l'emplacement du bucket sur le même emplacement que votre agent.

Suivez les instructions de la page Démarrage rapide de Cloud Storage pour créer un bucket et importer des fichiers.

Langues

Pour connaître les langages compatibles, consultez la colonne "data store" dans la documentation de référence sur le langage Dialogflow.

Pour des performances optimales, il est recommandé de créer les data stores dans un seul langage.

Après avoir créé un data store, vous pouvez spécifier son langage. Si vous définissez la langue du datastore, vous pouvez le connecter à un agent de data store configuré pour une autre langue. Par exemple, vous pouvez créer un data store français connecté à un agent anglais.

Régions où le service est disponible

Pour connaître les régions disponibles, consultez la documentation de référence sur les régions Dialogflow.