Introduzione alla ricerca vettoriale

Per fornire feedback o richiedere assistenza per questa funzione, invia un'email a bq-vector-search@google.com.

Questo documento fornisce una panoramica ricerca vettoriale in BigQuery. Vettore la ricerca consente di cercare negli incorporamenti per identificare entità semanticamente simili.

Gli incorporamenti sono vettori numerici ad alta dimensionalità che rappresentano una determinata entità, come un testo o un file audio. I modelli di machine learning (ML) utilizzano incorporamenti per codificare la semantica su tali entità per semplificare e confrontarli. Ad esempio, un'operazione comune nel clustering, di classificazione e i modelli di suggerimento è misurare la distanza tra in uno spazio di incorporamento per trovare elementi semanticamente simili.

Per eseguire una ricerca vettoriale, utilizza Funzione VECTOR_SEARCH e, facoltativamente, un indice vettoriale. Quando un vettore utilizzare l'indice, VECTOR_SEARCH usa Vicino approssimato più vicino di ricerca per contribuire a migliorare il rendimento della ricerca vettoriale, con compromesso nella riduzione richiamo con la restituzione di risultati più approssimativi. La forza bruta viene utilizzata per restituire dati quando non è disponibile un indice vettoriale e puoi scegliere di usare per ottenere risultati esatti anche quando è disponibile un indice vettoriale.

Casi d'uso

La combinazione della generazione di incorporamenti e della ricerca vettoriale consente di casi d'uso interessanti, RAG (Retrieval-Augmented Generation) quella canonica. Ecco altri possibili casi d'uso:

  • Dato un gruppo di nuove richieste di assistenza, trova diverse richieste risolte simili per ciascuna. Passa le informazioni sulle richieste risolte a un modello linguistico (LLM) da utilizzare come contesto per riassumere e suggerire le soluzioni per le nuove richieste di assistenza.
  • Data una voce dell'audit log, trova le voci più simili tra quelle gli ultimi 30 giorni.
  • Genera incorporamenti dai dati del profilo del paziente e poi utilizza la ricerca vettoriale trovare pazienti con profili simili al fine di esplorare i piani terapeutici efficaci prescritti a quella coorte di pazienti.
  • Dati gli incorporamenti che rappresentano i momenti pre-incidente di tutti i sensori e fotocamere di una flotta di scuolabus, trovano momenti simili da di tutti gli altri veicoli della flotta per ulteriori analisi, messe a punto e il riaddestramento dei modelli che regolano il coinvolgimento delle funzionalità di sicurezza.
  • Data una foto, trova le immagini più correlate in una nella tabella di oggetti BigQuery e passare queste immagini a un modello generare didascalie.

Prezzi

La CREATE VECTOR INDEX e Utilizzo della funzione VECTOR_SEARCH Prezzi di computing di BigQuery. Per l'istruzione CREATE VECTOR INDEX, viene considerata solo la colonna indicizzata di byte elaborati.

Non è previsto alcun costo per l'elaborazione richiesta per creare e aggiornare il vettore. indicizza quando la dimensione totale dei dati della tabella indicizzati è inferiore al valore per organizzazione limite. Per supportare l'indicizzazione oltre questo limite, devi: fornire una prenotazione per la gestione dei job di gestione degli indici. Gli indici vettoriali comportano costi di archiviazione quando sono attivi. Puoi trovare le dimensioni dello spazio di archiviazione dell'indice nel INFORMATION_SCHEMA.VECTOR_INDEXES visualizzazione. Se l'indice vettoriale non ha ancora una copertura del 100%, ti vengono comunque addebitati tutti archiviazione indice riportata nella vista INFORMATION_SCHEMA.VECTOR_INDEXES.

Quote e limiti

Per ulteriori informazioni, vedi Limiti degli indici vettoriali.

Limitazioni

  • Le query che contengono la funzione VECTOR_SEARCH non vengono accelerate da BigQuery BI Engine.
  • Le regole di governance e di sicurezza dei dati di BigQuery si applicano all'uso VECTOR_SEARCH. Per ulteriori informazioni, consulta la sezione Limitazioni in VECTOR_SEARCH. Queste regole non si applicano alla generazione di indici vettoriali.

Passaggi successivi

  • Scopri di più sulla creazione di un indice vettoriale.
  • Prova Cerca negli incorporamenti con la ricerca vettoriale tutorial per imparare a creare un indice vettoriale e poi fare un cerca gli incorporamenti con e senza l'indice.

  • Prova la sezione Genera e utilizza incorporamenti di testo per imparare a svolgere le seguenti attività:

    • Genera incorporamenti di testo.
    • Crea un indice vettoriale sugli incorporamenti.
    • Esegui una ricerca vettoriale con gli incorporamenti per cercare testo simile.
    • Eseguire RAG (Retrieval-Augmented Generation) utilizzando la ricerca vettoriale per aumentare l'input del prompt e migliorare i risultati.