Dopo l'importazione di un documento, il motore RAG di Vertex AI esegue una serie di trasformazioni per preparare i dati per l'indicizzazione. Puoi controllare i casi d'uso utilizzando i seguenti parametri:
| Parametro | Descrizione |
|---|---|
chunk_size |
Quando i documenti vengono importati in un indice, vengono suddivisi in blocchi. Il parametro chunk_size (in token) specifica le dimensioni del chunk. La dimensione del chunk predefinita è 1024 token. |
chunk_overlap |
Per impostazione predefinita, i documenti vengono suddivisi in blocchi con una certa sovrapposizione per migliorare la pertinenza e la qualità del recupero. L'intersezione dei chunk predefinita è di 200 token. |
Un chunk più piccolo significa che gli embedding sono più precisi. Una dimensione del chunk più grande significa che gli embedding potrebbero essere più generici, ma potrebbero mancare dettagli specifici.
Ad esempio, se converti 1000 parole in un array di embedding pensato per 200 parole, potresti perdere dettagli. La capacità di incorporamento è fissa per ogni blocco. Una grande quantità di testo potrebbe non adattarsi a un modello con finestra piccola.