Tal como acontece com outros tipos de dados, a consulta eficiente de um grande conjunto de vetores requer um índice, e os bancos de dados vetoriais oferecem suporte a índices especializados para vetores. Ao contrário de muitos outros tipos de dados (como texto ou números) que têm uma única ordem lógica, os vetores não têm uma ordem natural que corresponda a casos de uso práticos. Em vez disso, o caso de uso mais comum é consultar os vetores k mais próximos de algum outro vetor em termos de uma métrica de distância, como produto escalar, similaridade do cosseno ou distância euclidiana. Esse tipo de consulta é chamado de consulta “vizinhos k (exatos) mais próximos” ou “KNN”.

Infelizmente, não há algoritmos gerais para consultas de KNN eficientes. Para garantir a localização dos vizinhos k mais próximos de um determinado vetor, q, é necessário calcular a distância entre q e todos os outros vetores. No entanto, há algoritmos eficientes para encontrar os vizinhos k mais próximos aproximados ("ANN"). Esses algoritmos de ANN compensam certa acurácia (especificamente recall, o algoritmo pode omitir alguns dos vizinhos mais próximos reais) para melhorar a velocidade. Como muitos casos de uso já consideram o processo de computação de embeddings de vetores um pouco impreciso, eles podem tolerar alguma perda de recall em troca de grandes melhorias no desempenho.

Para permitir consultas de ANN para vetores com base na distância de algum outro vetor, um índice de vetor é estruturado de uma maneira que clusters de vetores próximos geralmente são agrupados. Os tipos de índice de vetor comum podem ser estruturados como um conjunto de listas em que cada lista representa os vetores em um determinado cluster, um gráfico em que cada vetor está conectado a vários vizinhos mais próximos, árvores em que as ramificações correspondem aos subconjuntos do cluster do nó pai e mais. Cada tipo de índice oferece compensações entre velocidade de pesquisa, recall, consumo de memória, tempo de criação do índice e outros fatores.

No entanto, a maioria das consultas de banco de dados não se baseia apenas na semelhança semântica. Por exemplo, talvez um usuário esteja procurando um livro com uma descrição semelhante a "uma história comovente sobre uma criança e um cachorro", mas ele também queira limitar a pesquisa a preços abaixo de US$ 20 e a livros disponíveis em brochura. Os bancos de dados de vetores para fins especiais podem fornecer alguma capacidade de filtragem adicional limitada (às vezes chamada de “restrições”), enquanto os bancos de dados de uso geral podem compor predicados ricos usando linguagens padrão, como SQL, que podem ser combinadas com ordenação de similaridade de vetores para permitir consultas muito poderosas e expressivas.

A capacidade de embeddings vetoriais de representar o significado semântico de dados não estruturados, combinada com a capacidade dos bancos de dados vetoriais pesquisar vetores próximos de maneira eficiente, desbloqueia muitos casos de uso importantes:

• encontrar mensagens do histórico de chat que sejam relevantes para a conversa atual, permitindo que os chats com tecnologia de IA tenham "memória";
• encontrar videoclipes de um vasto arquivo de transmissões esportivas que têm uma descrição simples como "pular sobre um zagueiro para pegar a bola e marcar um touchdown";
• encontrar produtos semelhantes a itens que um usuário já comprou antes e que se encaixam no preço e nas preferências de estilo desse usuário;
• procurar documentos relevantes para uma tarefa como "substituir o filtro em um aspirador" para que um assistente com tecnologia de IA possa fornecer uma resposta relevante e factual.

Os bancos de dados vetoriais são importantes porque podem ser usados para resolver uma variedade de problemas que são difíceis ou impossíveis de resolver usando apenas predicados relacionais ou técnicas de pesquisa de texto.

Os bancos de dados vetoriais são adequados para aplicativos de IA generativa porque facilitam a recuperação de contextos críticos de negócios e aplicativos, como histórico de chat relevante ou conteúdo não estruturado específico de negócios, para ajudar os LLMs a responder a uma consulta complexa do usuário.

Eles também podem facilitar a pesquisa de conteúdo usando linguagem natural ou a consulta por exemplo.