Scelte del database vettoriale nell'engine RAG di Vertex AI

Questa pagina illustra le opzioni di un database vettoriale supportato sul motore RAG di Vertex AI. Puoi anche scoprire come collegare un database di vettori (magazzino di vettori) al tuo corpus RAG.

Un problema comune degli LLM è che non comprendono le conoscenze private, ovvero i dati della tua organizzazione. Con il motore RAG di Vertex AI, puoi arricchire il contesto del modello LLM con informazioni private aggiuntive, perché il modello può ridurre le allucinazioni e rispondere alle domande in modo più preciso.

I database vettoriali svolgono un ruolo fondamentale nel consentire il recupero per le applicazioni RAG. I database vettoriali offrono un modo specializzato per archiviare ed eseguire query sugli incorporamenti vettoriali, che sono rappresentazioni matematiche di testo o altri dati che acquisiscono significato e relazioni semantiche. Gli embedding vettoriali consentono ai sistemi RAG di trovare rapidamente e con precisione le informazioni più pertinenti all'interno di una vasta knowledge base, anche quando si tratta di query complesse o sfumate. Se combinati con un modello di incorporamento, i database vettoriali possono contribuire a superare i limiti degli LLM e fornire risposte più accurate, pertinenti e complete.

Database vettoriali supportati

Quando crei un corpus RAG, il motore RAG di Vertex AI offre RagManagedDb come scelta predefinita per un database vettoriale, che non richiede provisioning o gestione aggiuntivi. Per consentire al motore RAG di Vertex AI di creare e gestire automaticamente il database di vettori, consulta Creare un corpus RAG.

Oltre a RagManagedDb predefinito, il motore RAG di Vertex AI ti consente di eseguire il provisioning e di utilizzare il tuo database vettoriale all'interno del corpus RAG. In questo caso, sei responsabile del ciclo di vita e della scalabilità del tuo database di vettori.

Confronta le opzioni del database di vettori

Questa tabella elenca le opzioni di database vettoriali supportate nel motore RAG di Vertex AI e fornisce link a pagine che spiegano come utilizzare i database vettoriali all'interno del corpus RAG.

Per identificare il database vettoriale che soddisfa le tue esigenze, utilizza questa tabella per confrontare le opzioni di database vettoriale:

Database vettoriale Descrizione Vantaggi Svantaggi Metriche di distanza supportate nel motore RAG di Vertex AI Tipo di ricerca Fase di lancio nel motore RAG di Vertex AI Pronta per la produzione Ideale per
RagManagedDb (default) RagManagedDb è un servizio di database scalabile distribuito a livello di regione che offre coerenza e alta disponibilità.

RagManagedDb può essere utilizzato per una ricerca di vettori.
  • Non è richiesta alcuna configurazione. Ideale per una guida rapida e casi d'uso su piccola scala.
  • Coerenza e alta disponibilità.
  • Bassa latenza.
  • Eccellente per i carichi di lavoro transazionali.
  • La capacità è intenzionalmente limitata.
  • Non consigliato per casi d'uso su larga scala.
cosine KNN Anteprima
  • PoC rapido
  • Chatbot
  • App RAG
Ricerca vettoriale Vector Search è il servizio di database vettoriale all'interno di Vertex AI.

Vector Search è ottimizzato per le attività di machine learning e si integra con altri Google Cloud servizi.
  • La ricerca vettoriale si integra con Vertex AI e altri Google Cloud servizi.
  • La scalabilità e l'affidabilità sono supportate dall' Google Cloud infrastruttura.
  • Utilizza i prezzi di pagamento a consumo.
  • Coerenza finale, il che significa che gli aggiornamenti non vengono applicati immediatamente.
  • Nuovo servizio con funzionalità in evoluzione.
  • Vincolo al fornitore con Google Cloud.
  • Può essere costoso a seconda dei casi d'uso.
cosine

dot-product
ANN GA
  • Documenti con volumi elevati
  • RAG su larga scala
  • Gestione dell'infrastruttura del database di vettori
  • Clienti Google Cloud esistenti o chiunque voglia utilizzare più Google Cloud servizi
Vertex AI Feature Store

Vertex AI Feature Store è un servizio gestito per organizzare, archiviare e distribuire le funzionalità di machine learning.

Vertex AI Feature Store è ottimizzato per le attività di machine learning e si integra con altri Google Cloud servizi.

  • Vertex AI Feature Store si integra con Vertex AI e altri Google Cloud servizi.
  • La scalabilità e l'affidabilità sono supportate dall' Google Cloud infrastruttura.
  • Sfrutta l'infrastruttura BigQuery esistente come Vertex AI Feature Store, che fornisce una soluzione scalabile ed economica.
  • Solo dopo l'esecuzione della sincronizzazione manuale, le modifiche sono disponibili nel negozio online.
  • Vincolo al fornitore con Google Cloud.
cosine

dot-product

L2 squared
ANN Anteprima
  • Documenti con volumi elevati
  • RAG su larga scala
  • Gestione dell'infrastruttura del database di vettori
  • Clienti Google Cloud esistenti o clienti che vogliono utilizzare più Google Cloud servizi
Weaviate Weaviate è un database vettoriale open source incentrato su flessibilità e modularità.

Weaviate supporta vari tipi di dati e offre funzionalità di grafo integrate.
  • Weaviate fornisce open source e una community vivace.
  • Altamente flessibile e personalizzabile.
  • Supporta diversi tipi di dati e moduli per diverse modalità, come testo e immagini.
  • Puoi scegliere tra provider cloud come Google Cloud, AWS e Azure.
  • Coerenza finale, il che significa che gli aggiornamenti non vengono applicati immediatamente.
  • Può essere più complessa da configurare e gestire.
  • Il rendimento può variare in base alla configurazione.
cosine

dot-product

L2 squared

hamming

manhattan
Supporto ANN + ricerca ibrida Anteprima
  • Documenti con volumi elevati
  • RAG su larga scala
  • Gestione dell'infrastruttura del database di vettori
  • Clienti esistenti di Weaviate
Pinecone Pinecone è un database vettoriale cloud-native completamente gestito progettato per una ricerca di similarità ad alte prestazioni.
  • Inizia rapidamente.
  • Scalabilità e prestazioni eccellenti.
  • Concentrati sulla ricerca vettoriale con funzionalità avanzate come i filtri e la ricerca di metadati.
  • Puoi scegliere tra provider cloud come Google Cloud, AWS e Azure.
  • Coerenza finale, il che significa che gli aggiornamenti non vengono applicati immediatamente.
  • Può essere più costoso rispetto ad altre opzioni.
  • Le quote e i limiti limitano la scalabilità e le prestazioni.
  • Controllo limitato sull'infrastruttura sottostante.
cosine

euclidean

dot-product
ANN GA
  • Documenti con volumi elevati
  • RAG su larga scala
  • Gestione dell'infrastruttura del database di vettori
  • Clienti esistenti di Pinecone

Passaggi successivi