Datastore

I datastore vengono utilizzati dagli agenti dei datastore per trovare risposte alle domande degli utenti finali a partire dai tuoi dati. I datastore sono una raccolta di siti web e documenti, ognuno dei quali fa riferimento ai tuoi dati.

Quando un utente finale pone una domanda all'agente, quest'ultimo cerca una risposta dal contenuto di origine specificato e riassume i risultati in una risposta coerente dell'agente. Fornisce inoltre link di supporto alle sorgenti della risposta per consentire all'utente finale di saperne di più. L'agente può fornire fino a cinque snippet di risposta per una determinata domanda.

Origini datastore

Esistono diverse origini che puoi fornire per i tuoi dati:

• URL dei siti web: esegui automaticamente la scansione dei contenuti di siti web da un elenco di domini o pagine web.
• BigQuery: Importa i dati dalla tua tabella BigQuery.
• Cloud Storage: Importa i dati dal bucket Cloud Storage.

Contenuti dei siti web

Quando aggiungi i contenuti di un sito web come origine, puoi aggiungere ed escludere più siti. Quando specifichi un sito, puoi utilizzare singole pagine o * come carattere jolly per un pattern. Tutti i contenuti HTML e PDF verranno elaborati.

Devi verificare il tuo dominio quando utilizzi i contenuti del sito web come fonte.

Limitazioni:

• I file degli URL pubblici devono essere stati sottoposti a scansione dall'indicizzatore della Ricerca Google affinché siano presenti nell'indice di ricerca. Puoi verificarlo con Google Search Console.
• Sono indicizzate al massimo 200.000 pagine. Se il datastore contiene più pagine, l'indicizzazione non riesce e l'ultimo contenuto indicizzato rimane.

Importa dati

Puoi importare i dati da BigQuery o Cloud Storage. Questi dati possono essere strutturati o non strutturati e possono essere con metadati o senza metadati.

Sono disponibili le seguenti opzioni di importazione dati:

• Aggiungi/Aggiorna dati: i documenti forniti vengono aggiunti al datastore. Se un nuovo documento ha lo stesso ID di un documento precedente, il nuovo documento sostituisce quello precedente.
• Sostituisci dati esistenti: tutti i vecchi dati vengono eliminati, poi vengono caricati i nuovi dati. Questa operazione è irreversibile.

Datastore di dati strutturati

I datastore strutturati possono contenere risposte alle domande frequenti. Quando le domande degli utenti vengono associate con un'elevata affidabilità a una domanda caricata, l'agente restituisce la risposta a quella domanda senza alcuna modifica. Puoi fornire un titolo e un URL per ogni coppia di domanda e risposta visualizzata dall'agente.

Per il caricamento dei dati nel datastore, è necessario utilizzare il formato CSV. Ogni file deve avere una riga di intestazione che descriva le colonne.

Ad esempio:

"question","answer","title","url"
"Why is the sky blue?","The sky is blue because of Rayleigh scattering.","Rayleigh scattering","https://en.wikipedia.org/wiki/Rayleigh_scattering"
"What is the meaning of life?","42","",""

Le colonne title e url sono facoltative e possono essere omesse:

"answer","question"
"42","What is the meaning of life?"

Durante il processo di caricamento, è possibile selezionare una cartella in cui ogni file viene trattato come un file CSV indipendentemente dall'estensione.

Limitazioni:

• Lo spazio aggiuntivo dopo , determina un errore.
• Le righe vuote (anche alla fine del file) causano un errore.

Datastore non strutturati

I datastore non strutturati possono includere contenuti nei seguenti formati:

• HTML
• PDF
• TXT
• CSV

Nota: i file CSV possono essere importati anche come contenuti non strutturati. Si applicano gli stessi requisiti di schema. I metadati vengono generati automaticamente se vengono fornite le colonne title e url. Ogni coppia di domanda e risposta viene indicizzata separatamente. I requisiti di corrispondenza sono meno rigorosi rispetto agli archivi di dati CSV strutturati e la risposta potrebbe essere riscritta dall'agente.

Nota: è possibile, ma è raro, importare file dal bucket Cloud Storage di un altro progetto. È necessario concedere l'accesso esplicito al processo di importazione. Segui le istruzioni nel messaggio di errore, poiché contiene il nome dell'utente che deve accedere in lettura al bucket.

Limitazioni:

• La dimensione massima di un documento è 100 MB.

Datastore con metadati

Un titolo e un URL possono essere forniti come metadati. Quando l'agente è impegnato in una conversazione con un utente, può fornirgli queste informazioni. Questo può aiutare gli utenti a collegarsi rapidamente a pagine web interne non accessibili dall'indicizzatore della Ricerca Google.

Per importare contenuti con metadati, devi fornire uno o più file JSON Lines. Ogni riga di questo file descrive un documento. Non carichi direttamente i documenti effettivi; gli URI che rimandano ai percorsi Cloud Storage vengono forniti nel file JSON Lines.

Quando fornisci i file JSON Lines, fornisci una cartella Cloud Storage contenente questi file. Non inserire altri file in questa cartella.

Descrizioni dei campi:

Campo	Tipo	Descrizione
id	string	Identificatore univoco del documento.
content.mimeType	string	Tipo MIME del documento. sono supportati i campi "application/pdf" e "text/html".
content.uri	string	URI del documento in Cloud Storage.
content.structData	string	Oggetto JSON a riga singola con campi title e url facoltativi.

Ad esempio:

{ "id": "d001", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/first_doc.pdf"}, "structData": {"title": "First Document", "url": "https://internal.example.com/documents/first_doc.pdf"} }
{ "id": "d002", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/second_doc.pdf"}, "structData": {"title": "Second Document", "url": "https://internal.example.com/documents/second_doc.pdf"} }
{ "id": "d003", "content": {"mimeType": "text/html", "uri": "gs://example-import/unstructured/mypage.html"}, "structData": {"title": "My Page", "url": "https://internal.example.com/mypage.html"} }

Datastore senza metadati

Questo tipo di contenuti non ha metadati. Basta fornire i documenti da importare. Il tipo di contenuti è determinato dall'estensione del file.

Crea un datastore

Per creare un datastore:

1. Nella console Google Cloud, vai alla pagina Search and Conversation.

   Ricerca e conversazione

2. Seleziona il progetto dal menu a discesa della console.

3. Leggi e accetta i Termini di servizio, quindi fai clic su Continua e attiva l'API.

4. Nel menu di navigazione a sinistra, fai clic su Datastore.

5. Fai clic su Nuovo datastore.

6. Scegli un'origine di dati.

7. Attiva Indicizzazione avanzata dei siti web. Questa operazione è obbligatoria per gli agenti del datastore.

8. Fornisci i dati e la configurazione per l'origine del datastore selezionata. La località del datastore deve corrispondere alla località dell'agente.

9. Fai clic su Crea per creare il datastore.

10. Verifica il dominio del tuo sito web.

Utilizzo di Cloud Storage per un documento relativo a un datastore

Se i contenuti non sono pubblici, l'opzione consigliata è archiviarla in Cloud Storage. Quando crei documenti del datastore, fornisci gli URL per gli oggetti Cloud Storage nel formato: gs://bucket-name/folder-name. Ogni documento all'interno della cartella viene aggiunto al datastore.

Quando crei il bucket Cloud Storage:

• Assicurati di aver selezionato il progetto che utilizzi per l'agente.
• Utilizza la classe Standard Storage.
• Imposta la località del bucket sulla stessa località dell'agente.

Segui le istruzioni della guida rapida di Cloud Storage per creare un bucket e caricare i file.

Lingue supportate

Per le lingue supportate, consulta la colonna del datastore nel riferimento delle lingue di Dialogflow.

Per ottenere prestazioni ottimali, è consigliabile creare i datastore in un'unica lingua.

Aree geografiche supportate

Per le regioni supportate, consulta il riferimento sulle regioni di Dialogflow.