Opções de banco de dados vetorial no mecanismo RAG

Visualizar

O RAG Engine é uma oferta em fase de pré-lançamento, sujeita aos "Termos das Soluções Pré-GA" dos Termos Específicos de Serviço do Google Cloud. Os produtos e recursos de pré-GA podem ter suporte limitado, e as mudanças neles podem não ser compatíveis com outras versões de pré-GA. Para mais informações, consulte as descrições da fase de lançamento. Além disso, ao usar a API Gemini na Vertex AI, você concorda com os Termos e Condições de pré-lançamento da IA generativa (Termos de pré-lançamento).

Esta página apresenta as opções de um banco de dados de vetor com suporte no RAG Engine. Você também pode conferir como conectar um banco de dados vetorial (armazenamento vetorial) ao seu corpus RAG.

Um problema comum com os LLMs é que eles não entendem o conhecimento particular, ou seja, os dados da sua organização. Com o RAG Engine, é possível enriquecer o contexto do LLM com mais informações particulares, porque o modelo pode reduzir a alucinação artificial e responder a perguntas com mais precisão.

Os bancos de dados de vetores desempenham um papel crucial na recuperação de aplicativos de RAG. Os bancos de dados vetoriais oferecem uma maneira especializada de armazenar e consultar embeddings vetoriais, que são representações matemáticas de texto ou outros dados que capturam significado e relações semânticas. As inclusões de vetor permitem que os sistemas de RAG encontrem de forma rápida e precisa as informações mais relevantes em uma vasta base de conhecimento, mesmo ao lidar com consultas complexas ou sutis. Quando combinados com um modelo de inserção, os bancos de dados vetoriais podem ajudar a superar as limitações dos LLMs e fornecer respostas mais precisas, relevantes e abrangentes.

Bancos de dados de vetores com suporte

Ao criar um corpus de RAG, o RAG Engine oferece RagManagedDb como a escolha padrão de um banco de dados vetorial, que não requer provisionamento ou gerenciamento adicional. Para que o RAG Engine crie e gerencie automaticamente o banco de dados de vetores, consulte Criar um corpus RAG.

Além do RagManagedDb padrão, o RAG Engine permite provisionar e trazer seu banco de dados vetorial para uso no corpus de RAG. Nesse caso, você é responsável pelo ciclo de vida e pela capacidade de escalonamento do banco de dados de vetores.

Comparar opções de banco de dados de vetor

Esta tabela lista as opções de bancos de dados vetoriais com suporte no RAG Engine e fornece links para páginas que explicam como usar os bancos de dados vetoriais no seu corpus RAG.

Para identificar qual banco de dados vetorial atende às suas necessidades, use esta tabela para comparar as opções de banco de dados vetorial:

Banco de dados de vetores	Descrição	Vantagens	Desvantagens	Métricas de distância com suporte no RAG Engine	Tipo de pesquisa	Etapa de lançamento no mecanismo RAG	Pronto para Production	Ideal para
RagManagedDb (default)	O RagManagedDb é um serviço de banco de dados escalonável e distribuído regionalmente que oferece consistência e alta disponibilidade. RagManagedDb pode ser usado para uma pesquisa vetorial.	Não é necessário configurar. Bom para um início rápido e casos de uso em pequena escala. Alta disponibilidade e consistência. Baixa latência. Excelente para cargas de trabalho transacionais.	A capacidade é intencionalmente limitada. Não recomendado para casos de uso em grande escala.	cosine	KNN	Visualizar		PoC rápido ChatBots Apps RAG
Pinecone (link em inglês)	O Pinecone é um banco de dados de vetores nativo da nuvem totalmente gerenciado, projetado para uma pesquisa de similaridade de alto desempenho.	Comece rapidamente. Excelente escalonabilidade e desempenho. Foque na pesquisa de vetores com recursos avançados, como filtragem e pesquisa de metadados. Pode escolher entre provedores de nuvem, como o Google Cloud, a AWS e o Azure.	Consistência posterior, o que significa que as atualizações não são refletidas imediatamente. Pode ser mais cara que outras opções. As cotas e os limites restringem a escala e o desempenho. Controle limitado sobre a infraestrutura subjacente.	cosine euclidean dot-product	ANN	Visualizar		Documentos de grande volume RAG em escala empresarial Gerenciar a infraestrutura do banco de dados vetorial Clientes atuais da Pinecone
Weaviate	O Weaviate é um banco de dados vetorial de código aberto com foco em flexibilidade e modularidade. O Weaviate oferece suporte a vários tipos de dados e recursos de gráfico integrados.	O Weaviate oferece código aberto e uma comunidade vibrante. Altamente flexível e personalizável. Oferece suporte a vários tipos de dados e módulos para diferentes modalidades, como texto e imagens. Pode escolher entre provedores de nuvem, como o Google Cloud, a AWS e o Azure.	Consistência posterior, o que significa que as atualizações não são refletidas imediatamente. Podem ser mais complexas de configurar e gerenciar. A performance pode variar de acordo com a configuração.	cosine dot-product L2 squared hamming manhattan	Suporte para ANN e pesquisa híbrida	Visualizar		Documentos de grande volume RAG em escala empresarial Gerenciar a infraestrutura do banco de dados vetorial Clientes atuais da Weaviate
Vector Search	A Vector Search é o serviço de banco de dados vetorial da Vertex AI. A Vector Search é otimizada para tarefas de machine learning e se integra a outros serviços do Google Cloud.	A pesquisa vetorial é integrada à Vertex AI e a outros serviços do Google Cloud. A escalabilidade e a confiabilidade são compatíveis com a infraestrutura do Google Cloud. Usa preços de pagamento por uso.	Consistência posterior, o que significa que as atualizações não são refletidas imediatamente. Novo serviço com recursos em evolução. Dependência de um fornecedor com o Google Cloud. Pode ser caro, dependendo dos casos de uso.	cosine dot-product	ANN	Visualizar		Documentos de grande volume RAG em escala empresarial Gerenciar a infraestrutura do banco de dados vetorial Clientes atuais do Google Cloud ou qualquer pessoa que queira usar vários serviços do Google Cloud
Vertex AI Feature Store	O Feature Store da Vertex AI é um serviço gerenciado para organizar, armazenar e disponibilizar recursos de machine learning. A Feature Store da Vertex AI é otimizada para tarefas de machine learning e se integra a outros serviços do Google Cloud.	O Feature Store da Vertex AI se integra à Vertex AI e a outros serviços do Google Cloud. A escalabilidade e a confiabilidade são compatíveis com a infraestrutura do Google Cloud. Aproveita a infraestrutura atual do BigQuery como o Vertex AI Feature Store, que oferece uma solução econômica e escalonável.	Depois que a sincronização manual ocorre, as mudanças na loja on-line ficam disponíveis. Dependência de um fornecedor com o Google Cloud.	cosine dot-product L2 squared	ANN	Visualizar		Documentos de grande volume RAG em escala empresarial Gerenciar a infraestrutura do banco de dados vetorial Clientes atuais do Google Cloud ou que querem usar vários serviços do Google Cloud

A seguir

• Para saber mais sobre como escolher modelos de embedding, consulte Usar modelos de embedding com o RAG Engine.
• Para saber mais sobre o RAG Engine, consulte Visão geral do RAG Engine.