Vertex AI Matching Engine 概览

摘要:Vertex AI Matching Engine 提供业界领先的大规模、低延迟、矢量相似度匹配(也称为近似最邻近)服务,以及行业领先的算法来训练相似度匹配用例的语义嵌入。

Matching Engine 提供的工具用于构建涉及匹配语义相似项的用例。更具体地说,给定一个查询项,Matching Engine 会从一个大型候选项语料库中查找与其在语义上最相似的项。这种搜索语义相似度或语义相关项的能力具有许多实际用例,是诸如以下应用的重要部分:

  • 商品推荐引擎
  • 搜索引擎
  • 广告定位系统
  • 图片分类或图片搜索
  • 文本分类
  • 问题回答
  • 聊天机器人

用于构建此类语义匹配系统的先进范式是计算项的矢量表示。这些矢量表示通常称为“嵌入”。嵌入是使用机器学习模型来计算的,使用深度学习模型来计算的情况也越来越多。模型经过训练,可以学习类似样本很接近而不同样本相距很远的嵌入空间。因此,嵌入空间中两项越接近,它们越相似。

下图显示了如何将此技术应用于从数据库中查找与输入查询在语义上最匹配的图书的问题。要使用此方法响应查询,系统必须首先将每个数据库项映射到嵌入,然后将查询映射到嵌入空间。然后,系统必须在所有数据库嵌入中查找最接近查询的内容;这是最近邻搜索问题(有时也称为矢量相似度搜索)。

查询和数据库点。

使用嵌入的情形不限于字词或文本。使用机器学习模型(通常是深度学习模型)可以针对多种类型的数据(例如照片、音频、影片和用户偏好)生成语义嵌入。

因此,概括来讲,语义匹配范式可以简化为两个关键步骤:

  • 生成项的嵌入表示
  • 对嵌入执行最近邻搜索

Vertex AI Matching Engine 为上述两个阶段提供工具。具体来说,它提供:

  • 可以训练来生成项的嵌入表示的开箱即用模型。
  • 用于查找类似嵌入的大规模、短延迟时间的近似最近邻 (ANN) 服务。

上述功能作为独立的模块化产品提供。客户可以将上述产品之一与其他服务搭配使用。它们不必一起使用。例如,您可以使用其他服务生成嵌入,但将它们注入到 Matching Engine 的 ANN 服务中以执行最近邻查询。例如,客户通常使用 BERT 或 TF-Hub 中的 ResNet 等模型来生成文本或图片嵌入。 同样,您可以使用 Matching Engine 的双塔模型来训练嵌入,并将其导出以在其他服务中使用。

后续步骤