Introduzione alla ricerca vettoriale
Per fornire feedback o richiedere assistenza per questa funzione, invia un'email a bq-vector-search@google.com.
Questo documento fornisce una panoramica ricerca vettoriale in BigQuery. Vettore la ricerca consente di cercare negli incorporamenti per identificare entità semanticamente simili.
Gli incorporamenti sono vettori numerici ad alta dimensionalità che rappresentano una determinata entità, come un testo o un file audio. I modelli di machine learning (ML) utilizzano incorporamenti per codificare la semantica su tali entità per semplificare e confrontarli. Ad esempio, un'operazione comune nel clustering, di classificazione e i modelli di suggerimento è misurare la distanza tra in uno spazio di incorporamento per trovare elementi semanticamente simili.
Per eseguire una ricerca vettoriale, utilizza
Funzione VECTOR_SEARCH
e, facoltativamente, un indice vettoriale. Quando un vettore
utilizzare l'indice, VECTOR_SEARCH
usa
Vicino approssimato più vicino
di ricerca per contribuire a migliorare il rendimento della ricerca vettoriale, con
compromesso nella riduzione
richiamo
con la restituzione di risultati più approssimativi. La forza bruta viene utilizzata per restituire dati
quando non è disponibile un indice vettoriale e puoi scegliere di usare
per ottenere risultati esatti anche quando è disponibile un indice vettoriale.
Casi d'uso
La combinazione della generazione di incorporamenti e della ricerca vettoriale consente di casi d'uso interessanti, RAG (Retrieval-Augmented Generation) quella canonica. Ecco altri possibili casi d'uso:
- Dato un gruppo di nuove richieste di assistenza, trova diverse richieste risolte simili per ciascuna. Passa le informazioni sulle richieste risolte a un modello linguistico (LLM) da utilizzare come contesto per riassumere e suggerire le soluzioni per le nuove richieste di assistenza.
- Data una voce dell'audit log, trova le voci più simili tra quelle gli ultimi 30 giorni.
- Genera incorporamenti dai dati del profilo del paziente e poi utilizza la ricerca vettoriale trovare pazienti con profili simili al fine di esplorare i piani terapeutici efficaci prescritti a quella coorte di pazienti.
- Dati gli incorporamenti che rappresentano i momenti pre-incidente di tutti i sensori e fotocamere di una flotta di scuolabus, trovano momenti simili da di tutti gli altri veicoli della flotta per ulteriori analisi, messe a punto e il riaddestramento dei modelli che regolano il coinvolgimento delle funzionalità di sicurezza.
- Data una foto, trova le immagini più correlate in una nella tabella di oggetti BigQuery e passare queste immagini a un modello generare didascalie.
Prezzi
La
CREATE VECTOR INDEX
e
Utilizzo della funzione VECTOR_SEARCH
Prezzi di computing di BigQuery.
Per l'istruzione CREATE VECTOR INDEX
, viene considerata solo la colonna indicizzata
di byte elaborati.
Non è previsto alcun costo per l'elaborazione richiesta per creare e aggiornare il vettore.
indicizza quando la dimensione totale dei dati della tabella indicizzati è inferiore al valore per organizzazione
limite. Per supportare l'indicizzazione oltre questo limite, devi:
fornire una prenotazione
per la gestione
dei job di gestione degli indici. Gli indici vettoriali comportano costi di archiviazione
quando sono attivi. Puoi trovare le dimensioni dello spazio di archiviazione dell'indice nel
INFORMATION_SCHEMA.VECTOR_INDEXES
visualizzazione.
Se l'indice vettoriale non ha ancora una copertura del 100%, ti vengono comunque addebitati tutti
archiviazione indice riportata nella vista INFORMATION_SCHEMA.VECTOR_INDEXES
.
Quote e limiti
Per ulteriori informazioni, vedi Limiti degli indici vettoriali.
Limitazioni
- Le query che contengono la funzione
VECTOR_SEARCH
non vengono accelerate da BigQuery BI Engine. - Le regole di governance e di sicurezza dei dati di BigQuery si applicano all'uso
VECTOR_SEARCH
. Per ulteriori informazioni, consulta la sezione Limitazioni inVECTOR_SEARCH
. Queste regole non si applicano alla generazione di indici vettoriali.
Passaggi successivi
- Scopri di più sulla creazione di un indice vettoriale.
- Prova Cerca negli incorporamenti con la ricerca vettoriale tutorial per imparare a creare un indice vettoriale e poi fare un cerca gli incorporamenti con e senza l'indice.
Prova la sezione Genera e utilizza incorporamenti di testo per imparare a svolgere le seguenti attività:
- Genera incorporamenti di testo.
- Crea un indice vettoriale sugli incorporamenti.
- Esegui una ricerca vettoriale con gli incorporamenti per cercare testo simile.
- Eseguire RAG (Retrieval-Augmented Generation) utilizzando la ricerca vettoriale per aumentare l'input del prompt e migliorare i risultati.