Descripción general de Vertex AI Matching Engine

Resumen: Vertex AI Matching Engine proporciona el servicio líder de la industria de escala masiva, baja latencia y similitud de vector (también conocido como vecino más cercano aproximado), y los algoritmos líderes de la industria para entrenar incorporaciones semánticas en casos de uso de coincidencia de similitud.

Matching Engine proporciona herramientas para crear casos de uso que coinciden con elementos semánticos similares. De manera más específica, dado un elemento de consulta, Matching Engine encuentra los elementos más similares a él semánticamente desde un gran corpus de elementos candidatos. Esta capacidad de buscar elementos con similitudes o relaciones semánticas tiene muchos casos de uso en el mundo real y es una parte vital de las aplicaciones como las siguientes:

  • Motores de recomendaciones
  • Motores de búsqueda
  • Sistemas de segmentación de anuncios
  • Clasificación de imágenes o búsqueda de imágenes
  • Clasificación de texto
  • Respuestas a preguntas
  • Chat bots

El paradigma de vanguardia para compilar sistemas de coincidencia semántica es calcular representaciones vectoriales de los elementos. Estas representaciones vectoriales suelen llamarse incorporaciones. Las incorporaciones se calculan mediante modelos de aprendizaje automático. Los modelos se entrenan para aprender un espacio de incorporaciones en el que ejemplos similares estén cerca, mientras que los que son muy diferentes están muy separados. Cuanto más cerca estén los dos elementos en el espacio de incorporaciones, más similares serán.

En la siguiente ilustración, se muestra cómo se puede aplicar esta técnica al problema de encontrar libros, en una base de datos, que sean la mejor coincidencia semántica en una consulta de entrada. Para responder una consulta con este enfoque, el sistema primero debe asignar cada elemento de base de datos a una incorporación y, luego, asignar la consulta al espacio de incorporaciones. Luego, el sistema debe encontrar, entre todas las incorporaciones de la base de datos, las más cercanas a la consulta. Este es el problema de búsqueda de vecino más cercano (a veces llamado búsqueda de similitud vector).

Puntos de consulta y base de datos.

El uso de incorporaciones no se limita a palabras o texto. Con el uso de modelos de aprendizaje automático (a menudo, modelos de aprendizaje profundo), se pueden generar incorporaciones semánticas para varios tipos de datos, como fotos, audio, películas y preferencias de usuario.

En un nivel alto, la coincidencia semántica se puede simplificar en dos pasos críticos:

  • Genera representaciones de incorporación de elementos
  • Realizar búsquedas del vecino más cercano en incorporaciones

Vertex AI Matching Engine proporciona herramientas para ambas fases anteriores. En particular, proporciona lo siguiente:

  • Modelos listos para usar que se pueden entrenar a fin de producir representaciones de incorporación de elementos.
  • Un servicio de vecino más cercano aproximado (ANN) de alta escala y baja latencia para encontrar incorporaciones similares.

El servicio de creación de incorporaciones y el servicio ANN se ofrecen como ofertas modulares independientes. Puedes usar uno o ambos servicios juntos o combinados con servicios externos. No es necesario que se usen en conjunto. Por ejemplo, puedes producir incorporaciones con otro servicio, pero transferirlas al servicio ANN de Match Engine para realizar consultas de vecino más cercano. Es común, por ejemplo, que algunos clientes usen modelos como BERT o ResNet de TF-Hub para producir incorporaciones de texto o imágenes. De manera similar, puedes entrenar las incorporaciones mediante el modelo de dos túneles de Matching Engine y exportarlas para usarlas en otro servicio.

Cuotas

Obtén más información sobre las cuotas de Vertex AI Matching Engine y cómo solicitar aumentos de cuotas.

¿Qué sigue?