Visão geral do Vertex AI Matching Engine

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

O mecanismo de correspondência da Vertex AI oferece o principal banco de dados vetoriais de baixa latência do setor de alta escala do setor (também conhecido como correspondência de semelhança de vetores ou serviço vizinho mais próximo).

O mecanismo de correspondência oferece ferramentas para criar casos de uso que correspondem a itens semanticamente semelhantes. Mais especificamente, considerando um item de consulta, o mecanismo de correspondência encontra os itens semanticamente mais semelhantes a ele em um grande corpus de itens candidatos. Essa capacidade de procurar itens semanticamente semelhantes ou semanticamente relacionados tem muitos casos de uso reais e é uma parte essencial de aplicativos como:

  • Mecanismos de recomendação
  • Mecanismos de pesquisa
  • Sistemas de segmentação de anúncios
  • Classificação ou pesquisa de imagens
  • Classificação de texto
  • Respostas a perguntas
  • Chatbots

O paradigma de arte para criar sistemas de correspondência semântica é a computação de representações vetoriais dos itens. Essas representações vetoriais geralmente são chamadas de embeddings. Os embeddings são calculados usando modelos de machine learning. Os modelos são treinados para aprender um espaço de embedding em que exemplos semelhantes estão próximos, enquanto exemplos diferentes estão distantes. Quanto mais próximos os dois itens estiverem no espaço de incorporação, mais semelhantes eles serão.

A ilustração a seguir mostra como essa técnica pode ser aplicada ao problema de encontrar livros, em um banco de dados, que são a melhor correspondência semântica para uma consulta de entrada. Para responder a uma consulta com essa abordagem, o sistema precisa primeiro mapear cada item do banco de dados para uma incorporação e, em seguida, mapear a consulta para o espaço de incorporação. O sistema precisa localizar, entre todas as incorporações de banco de dados, as mais próximas à consulta. é o problema de pesquisa de vizinho mais próximo (às vezes, também chamado de pesquisa de similaridade vetorial).

Pontos de consulta e de banco de dados.

O uso de embeddings não se limita a palavras ou texto. Com o uso de modelos de machine learning, geralmente modelos de aprendizado profundo, é possível gerar embeddings semânticos para vários tipos de dados, como fotos, áudio, filmes e preferências do usuário.

Em um nível mais alto, a correspondência semântica pode ser simplificada em duas etapas críticas:

  • Gerar representações de incorporação de itens.
  • Realizar consultas vizinhas mais próximas nos embeddings.

O mecanismo de correspondência da Vertex AI é um banco de dados vetorial que usa as características exclusivas de vetores de embedding para indexá-los de maneira eficiente, oferecendo pesquisa e recuperação fáceis e escalonáveis de embeddings semelhantes. Com ele, é possível fazer consultas de alta escala, consultas por segundo (QPS) econômicas e de baixa latência em índices com mais de um bilhão de vetores de embedding.

Cotas

Saiba mais sobre as cotas do Vertex AI Matching Engine e como solicitar aumento de cota.

A seguir