Visão geral do Vertex AI Matching Engine

Resumo: o Vertex AI Matching Engine oferece o serviço líder de mercado de alta escala, baixa latência, similaridade vetorial, também conhecido como vizinho mais próximo, e líder no setor algoritmos para treinar embeddings semânticos para casos de uso de correspondência por similaridade.

O Matching Engine oferece ferramentas para criar casos de uso que envolvam correspondência de itens semanticamente semelhantes. Mais especificamente, considerando um item de consulta, o mecanismo de correspondência encontra os itens semanticamente mais semelhantes a ele em um grande corpus de itens candidatos. Essa capacidade de procurar itens semanticamente semelhantes ou semanticamente relacionados tem muitos casos de uso reais e é uma parte essencial de aplicativos como:

  • Mecanismos de recomendação
  • Mecanismos de pesquisa
  • Sistemas de segmentação de anúncios
  • Classificação ou pesquisa de imagens
  • Classificação de texto
  • Respostas a perguntas
  • Chatbots

O paradigma de arte para criar esses sistemas de correspondência semântica é a computação de representações vetoriais dos itens. Essas representações vetoriais geralmente são chamadas de "incorporações". Os embeddings são calculados com modelos de machine learning, cada vez mais detalhados. Os modelos são treinados para aprender um espaço de incorporação em que exemplos semelhantes estão próximos, enquanto exemplos diferentes estão distantes. Assim, quanto mais próximos os dois itens estiverem no espaço de incorporação, mais semelhantes eles serão.

A ilustração a seguir mostra como essa técnica pode ser aplicada ao problema de encontrar livros, em um banco de dados, que são a melhor correspondência semântica para uma consulta de entrada. Para responder a uma consulta com essa abordagem, o sistema precisa primeiro mapear cada item do banco de dados para uma incorporação e, em seguida, mapear a consulta para o espaço de incorporação. O sistema precisa localizar, entre todas as incorporações de banco de dados, as mais próximas à consulta. é o problema de pesquisa de vizinho mais próximo (às vezes, também chamado de pesquisa de similaridade vetorial).

Pontos de consulta e de banco de dados.

O uso de embeddings não se limita a palavras ou texto. Com o uso de modelos de machine learning, geralmente modelos de aprendizado profundo, é possível gerar embeddings semânticos para vários tipos de dados, como fotos, áudio, filmes e preferências do usuário.

Assim, em um alto nível, o paradigma de correspondência semântica pode ser simplificado em duas etapas essenciais:

  • Gerar representações de incorporação de itens
  • Realizar consultas vizinhas mais próximas nos embeddings

O Vertex AI Matching Engine oferece ferramentas para as duas fases acima. Mais especificamente, ele fornece:

  • Modelos prontos para uso que podem ser treinados para produzir representações de incorporação de itens.
  • Um serviço de vizinho mais próximo (ANN, na sigla em inglês) de alta escala e baixa latência para encontrar embeddings semelhantes.

Os recursos acima são fornecidos como ofertas modulares independentes. Os clientes podem usar uma das ofertas acima com outros serviços. Eles não precisam ser usados juntos. Por exemplo, é possível produzir embeddings usando outro serviço, mas processá-los no serviço ANN do mecanismo de correspondência para realizar consultas vizinhas mais próximas. É comum, por exemplo, que os clientes usem modelos como o BERT ou o ResNet do TF-Hub para produzir embeddings de texto ou imagem. Da mesma forma, é possível treinar embeddings usando o modelo Two-Tower do Matching Engine e exportá-los para uso em outro serviço.

A seguir