Opções de banco de dados de vetores no mecanismo de RAG da Vertex AI

O controle de segurança do VPC-SC é compatível com o RAG Engine. Não há suporte para residência de dados, CMEK e controles de segurança AXT.

Esta página apresenta as opções de um banco de dados de vetores com suporte no Vertex AI RAG Engine. Você também pode conferir como conectar um banco de dados vetorial (armazenamento vetorial) ao seu corpus RAG.

Um problema comum com os LLMs é que eles não entendem o conhecimento particular, ou seja, os dados da sua organização. Com o mecanismo de RAG da Vertex AI, é possível enriquecer o contexto do LLM com mais informações particulares, porque o modelo pode reduzir a alucinação artificial e responder a perguntas com mais precisão.

Os bancos de dados de vetores desempenham um papel crucial na recuperação de aplicativos de RAG. Os bancos de dados vetoriais oferecem uma maneira especializada de armazenar e consultar embeddings vetoriais, que são representações matemáticas de texto ou outros dados que capturam significado e relações semânticas. As inclusões de vetor permitem que os sistemas de RAG encontrem de forma rápida e precisa as informações mais relevantes em uma vasta base de conhecimento, mesmo ao lidar com consultas complexas ou sutis. Quando combinados com um modelo de inserção, os bancos de dados vetoriais podem ajudar a superar as limitações dos LLMs e fornecer respostas mais precisas, relevantes e abrangentes.

Bancos de dados de vetores com suporte

Ao criar um corpus RAG, o mecanismo RAG da Vertex AI oferece RagManagedDb como a escolha padrão de um banco de dados vetorial, que não requer provisionamento ou gerenciamento adicional. Para que o mecanismo RAG da Vertex AI crie e gerencie automaticamente o banco de dados de vetores, consulte Criar um corpus RAG.

Além do RagManagedDb padrão, o mecanismo RAG da Vertex AI permite provisionar e trazer seu banco de dados vetorial para uso no corpus RAG. Nesse caso, você é responsável pelo ciclo de vida e pela capacidade de escalonamento do seu banco de dados de vetores.

Comparar opções de banco de dados de vetor

Esta tabela lista as opções de bancos de dados vetoriais com suporte no Vertex AI RAG Engine e fornece links para páginas que explicam como usar os bancos de dados vetoriais no seu corpus RAG.

Para identificar qual banco de dados vetorial atende às suas necessidades, use esta tabela para comparar as opções de banco de dados vetorial:

Banco de dados de vetores	Descrição	Vantagens	Desvantagens	Métricas de distância compatíveis no mecanismo RAG da Vertex AI	Tipo de pesquisa	Fase de lançamento no mecanismo RAG da Vertex AI	Pronto para produção	Ideal para
RagManagedDb (default)	O RagManagedDb é um serviço de banco de dados escalonável e distribuído regionalmente que oferece consistência e alta disponibilidade. RagManagedDb pode ser usado para uma pesquisa vetorial.	Não é necessário configurar. Bom para um início rápido e casos de uso em pequena escala. Alta disponibilidade e consistência. Baixa latência. Excelente para cargas de trabalho transacionais.	A capacidade é intencionalmente limitada. Não recomendado para casos de uso em grande escala.	cosine	KNN	Visualizar		PoC rápida Chatbots Apps RAG
Vector Search	A pesquisa de vetor é o serviço de banco de dados de vetores da Vertex AI. A pesquisa de vetores é otimizada para tarefas de machine learning e se integra a outros Google Cloud serviços.	A Pesquisa Vetorial é integrada à Vertex AI e a outros Google Cloud serviços. A escalabilidade e a confiabilidade são compatíveis com a Google Cloud infraestrutura. Usa preços de pagamento por uso.	Consistência posterior, o que significa que as atualizações não são refletidas imediatamente. Novo serviço com recursos em evolução. Dependência de um só fornecedor com Google Cloud. Pode ser caro, dependendo dos casos de uso.	cosine dot-product	ANN	GA		Documentos de grande volume RAG em escala empresarial Gerenciar a infraestrutura do banco de dados vetorial Clientes Google Cloud existentes ou qualquer pessoa que queira usar vários Google Cloud serviços
Vertex AI Feature Store	O Feature Store da Vertex AI é um serviço gerenciado para organizar, armazenar e disponibilizar recursos de machine learning. A Vertex AI Feature Store é otimizada para tarefas de machine learning e se integra a outros Google Cloud serviços.	A Vertex AI Feature Store se integra à Vertex AI e a outros Google Cloud serviços. A escalabilidade e a confiabilidade são compatíveis com a Google Cloud infraestrutura. Aproveita a infraestrutura atual do BigQuery como o Vertex AI Feature Store, que oferece uma solução econômica e escalonável.	As mudanças só vão aparecer na loja on-line depois que a sincronização manual for realizada. Dependência de um só fornecedor com Google Cloud.	cosine dot-product L2 squared	ANN	Visualizar		Documentos de grande volume RAG em escala empresarial Gerenciar a infraestrutura do banco de dados vetorial Clientes Google Cloud existentes ou que querem usar vários Google Cloud serviços
Weaviate (em inglês)	O Weaviate é um banco de dados vetorial de código aberto com foco em flexibilidade e modularidade. O Weaviate oferece suporte a vários tipos de dados e recursos de gráfico integrados.	O Weaviate oferece código aberto e uma comunidade vibrante. Altamente flexível e personalizável. Oferece suporte a vários tipos de dados e módulos para diferentes modalidades, como texto e imagens. Pode escolher entre provedores de nuvem, como Google Cloud, AWS e Azure.	Consistência posterior, o que significa que as atualizações não são refletidas imediatamente. Podem ser mais complexas de configurar e gerenciar. A performance pode variar de acordo com a configuração.	cosine dot-product L2 squared hamming manhattan	Suporte para ANN e pesquisa híbrida	Visualizar		Documentos de grande volume RAG em escala empresarial Gerenciar a infraestrutura do banco de dados vetorial Clientes atuais da Weaviate
Pinecone (link em inglês)	O Pinecone é um banco de dados vetorial nativo da nuvem totalmente gerenciado, projetado para uma pesquisa de similaridade de alto desempenho.	Comece rapidamente. Excelente escalonabilidade e desempenho. Foque na pesquisa de vetores com recursos avançados, como filtragem e pesquisa de metadados. Pode escolher entre provedores de nuvem, como Google Cloud, AWS e Azure.	Consistência posterior, o que significa que as atualizações não são refletidas imediatamente. Pode ser mais cara que outras opções. As cotas e os limites restringem a escala e o desempenho. Controle limitado sobre a infraestrutura subjacente.	cosine euclidean dot-product	ANN	GA		Documentos de grande volume RAG em escala empresarial Gerenciar a infraestrutura do banco de dados vetorial Clientes atuais da Pinecone

A seguir

• Usar a Vertex AI Feature Store