I datastore vengono utilizzati dagli handler dei datastore e dagli strumenti dei datastore dei playbook per trovare le risposte alle domande degli utenti finali tra i tuoi dati. I datastore sono una raccolta di siti web e documenti, ognuno dei quali fa riferimento ai tuoi dati.
Quando un utente finale pone una domanda all'agente, l'agente cerca una risposta dai contenuti di origine specificati e riassume i risultati in una risposta coerente dell'agente. Fornisce inoltre link di supporto alle fonti di la risposta per mostrare all'utente finale ulteriori informazioni. L'agente può fornire fino a cinque snippet di risposta per una determinata domanda.
Origini del datastore
Puoi fornire diverse origini per i tuoi dati:
- URL del sito web: esegui automaticamente la scansione dei contenuti del sito web da un elenco di domini o pagine web.
- BigQuery: Importa i dati dalla tabella BigQuery.
- Cloud Storage Importa i dati dal tuo bucket Cloud Storage.
Contenuti dei siti web
Quando aggiungi i contenuti di un sito web come origine, puoi aggiungere ed escludere più siti.
Quando specifichi un sito,
puoi utilizzare singole pagine o * come carattere jolly per un pattern.
Tutti i contenuti HTML e PDF verranno elaborati.
Devi verificare il tuo dominio quando si utilizzano i contenuti di un sito web come fonte.
Limitazioni:
- I file provenienti da URL pubblici devono essere stati sottoposti a scansione dall'indicizzatore della Ricerca Google, in modo che esistano nell'indice di ricerca. Puoi verificarlo con Google Search Console.
- Sono indicizzate massimo 200.000 pagine. Se il datastore contiene più pagine, l'indicizzazione non riesce e rimangono gli ultimi contenuti indicizzati.
Importa dati
Puoi importare i dati da BigQuery o Cloud Storage. Questi dati possono essere strutturati o non strutturati, e possono essere con metadati o senza metadati.
Sono disponibili le seguenti opzioni di importazione dati:
- Aggiungi/Aggiorna dati: i documenti forniti vengono aggiunti al datastore. Se un nuovo documento ha lo stesso ID di un documento precedente, lo sostituisce.
- Esegui l'override dei dati esistenti: Tutti i vecchi dati vengono eliminati, vengono caricati nuovi dati. Questa operazione è irreversibile.
Datastore strutturati
Gli store di dati strutturati possono contenere le risposte alle domande frequenti (FAQ). Quando le domande degli utenti corrispondono con un'elevata affidabilità a una domanda caricata, l'agente restituisce la risposta alla domanda senza alcuna modifica. Puoi fornire un titolo e un URL per ogni coppia di domanda e risposta visualizzato dall'agente.
Quando carichi i dati nello spazio dati, devi utilizzare il formato CSV. Ogni file deve avere una riga di intestazione che descriva le colonne.
Ad esempio:
"question","answer","title","url"
"Why is the sky blue?","The sky is blue because of Rayleigh scattering.","Rayleigh scattering","https://en.wikipedia.org/wiki/Rayleigh_scattering"
"What is the meaning of life?","42","",""
Le colonne title e url sono facoltative e possono essere omesse:
"answer","question"
"42","What is the meaning of life?"
Durante la procedura di caricamento, è possibile selezionare una cartella in cui ogni file viene trattato un file CSV a prescindere dall'estensione.
Limitazioni:
- Lo spazio aggiuntivo dopo
,causa un errore. - Le righe vuote (anche alla fine del file) causano un errore.
Datastore non strutturato
I datastore di dati non strutturati possono contenere contenuti nei seguenti formati:
- HTML
- TXT
- CSV
Limitazioni:
- La dimensione massima del file è 2,5 MB per i formati basati su testo e 100 MB per gli altri formati.
Datastore con metadati
È possibile fornire un titolo e un URL come metadati. Durante una conversazione con un utente, l'agente l'agente può fornire queste informazioni all'utente. Questo può aiutare gli utenti per rimandare rapidamente a pagine web interne non accessibili alla Ricerca Google indicizzatore.
Per importare i contenuti con i metadati, fornisci uno o più file JSON Lines. Ogni riga di questo file descrive un documento. Non carichi direttamente i documenti effettivi; gli URI che rimandano ai percorsi Cloud Storage sono forniti nel file JSON Lines.
Quando fornisci i file JSON Lines, fornisci una cartella Cloud Storage che li contiene. Non inserire altri file in questa cartella.
Descrizioni dei campi:
| Campo | Tipo | Descrizione |
|---|---|---|
| ID | string | Identificatore univoco del documento. |
| content.mimeType | string | Tipo MIME del documento. Sono supportati i tipi "application/pdf" e "text/html". |
| content.uri | string | URI del documento in Cloud Storage. |
| structData | string | Oggetto JSON a riga singola con campi facoltativi title e url. |
Ad esempio:
{ "id": "d001", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/first_doc.pdf"}, "structData": {"title": "First Document", "url": "https://internal.example.com/documents/first_doc.pdf"} }
{ "id": "d002", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/second_doc.pdf"}, "structData": {"title": "Second Document", "url": "https://internal.example.com/documents/second_doc.pdf"} }
{ "id": "d003", "content": {"mimeType": "text/html", "uri": "gs://example-import/unstructured/mypage.html"}, "structData": {"title": "My Page", "url": "https://internal.example.com/mypage.html"} }
Datastore senza metadati
Questo tipo di contenuti non include metadati. Fornisci solo i documenti da importare. Il tipo di contenuti è determinato dall'estensione del file.
Analisi e configurazione di chunking
A seconda dell'origine dati, potresti essere in grado di configurare Impostazioni di analisi e chunking come definito da Vertex AI Search.
Crea un datastore
Per creare un datastore:
Vai alla console di Agent Builder:
Seleziona il progetto dal menu a discesa della console.
Leggi e accetta i Termini di servizio, quindi fai clic su Continua e attiva l'API.
Fai clic su Data Store nel riquadro di navigazione a sinistra.
Fai clic su Nuovo datastore.
Scegli un'origine dati.
Attiva l'indicizzazione avanzata dei siti web. Questo è necessario per gli agenti del data store.
Fornisci i dati e la configurazione per l'origine del datastore selezionata. La posizione del tuo data store deve corrispondere alla posizione dell'agente.
Fai clic su Crea per creare il datastore.
Se vuoi, imposta il linguaggio del datastore:
- Nell'elenco dei datastore, fai clic sul datastore appena creato.
- Fai clic sul pulsante di modifica per l'impostazione della lingua.
- Seleziona una lingua e fai clic sul segno di spunta per applicarla.
Utilizzo di Cloud Storage per un documento di un datastore
Se i tuoi contenuti non sono pubblici, la soluzione consigliata è archiviarli in Cloud Storage.
Quando crei documenti del datastore,
fornisci gli URL per gli oggetti Cloud Storage nel formato:
gs://bucket-name/folder-name.
Ogni documento all'interno della cartella viene aggiunto al datastore.
Quando crei il bucket Cloud Storage:
- Assicurati di aver selezionato il progetto che utilizzi per l'agente.
- Utilizza la classe di archiviazione Standard.
- Imposta la posizione del bucket sulla stessa posizione dell'agente.
Segui la guida rapida di Cloud Storage. istruzioni per creare un bucket e caricare i file.
Linguaggi
Per le lingue supportate, consulta la colonna del datastore nel riferimento alle lingue.
Per ottenere prestazioni ottimali, è consigliabile creare i datastore in un'unica lingua.
Dopo aver creato un datastore, se vuoi puoi specificare la lingua del datastore. Se imposti la lingua del datastore, puoi connettere il datastore a un agente configurato per una lingua diversa. Ad esempio: puoi creare un datastore francese collegato a un agente inglese.
Aree geografiche supportate
Per le regioni supportate, vedi il riferimento regione.