本页面介绍了如何使用余弦距离、欧几里得距离和点积向量函数在 Spanner 中执行相似度向量搜索,以查找最近的 K 个相邻项。在阅读本页内容之前,请务必先了解以下概念:
- 欧几里得距离:测量两个矢量之间的最短距离。
- 余弦距离:测量两个矢量之间角度的余弦。
- 点积:计算角度的余弦乘以相应向量量的积。如果您知道数据集中的所有向量嵌入都已归一化,则可以使用
DOT_PRODUCT()
作为距离函数。 - K 最近邻点 (KNN):一种用于解决分类或回归问题的监督式机器学习算法。
您可以使用矢量距离函数针对相似度搜索或检索增强生成等用例执行 K 最近邻 (KNN) 向量搜索。Spanner 支持 COSINE_DISTANCE()
、EUCLIDEAN_DISTANCE()
和 DOT_PRODUCT()
函数,这些函数可对向量嵌入执行操作,以便您查找输入嵌入的 KNN。
例如,生成 Spanner 运算数据并将其保存为向量嵌入后,您可以在查询中提供这些向量嵌入作为输入参数,以查找 N 维空间中最近的向量,以搜索语义相似或相关的项。
所有三个距离函数都采用 array<>
类型的参数 vector1
和 vector2
,并且必须由相同的维度组成且长度相同。如需详细了解这些函数,请参阅:
- GoogleSQL 中的
COSINE_DISTANCE()
- GoogleSQL 中的
EUCLIDEAN_DISTANCE()
- GoogleSQL 中的
DOT_PRODUCT()
- PostgreSQL 中的数学函数(
spanner.cosine_distance()
、spanner.euclidean_distance()
和spanner.dot_product()
) - 从矢量距离函数中进行选择,以测量向量嵌入相似度。
示例
以下示例展示了 KNN 搜索、对分区数据的 KNN 搜索以及将二级索引与 KNN 搭配使用。
这些示例均使用 EUCLIDEAN_DISTANCE()
。您也可以使用 COSINE_DISTANCE()
。此外,如果数据集中的所有向量嵌入都已归一化,您可以使用 DOT_PRODUCT()
作为距离函数。
示例 1:KNN 搜索
假设有一个 Documents
表,该表中有 DocContents
个字节列中的预计算文本嵌入列 (DocEmbedding
)。
GoogleSQL
CREATE TABLE Documents (
UserId INT64 NOT NULL,
DocId INT64 NOT NULL,
Author STRING(1024),
DocContents BYTES,
DocEmbedding ARRAY<FLOAT32>
) PRIMARY KEY (UserId, DocId);
PostgreSQL
CREATE TABLE Documents (
UserId bigint primary key,
DocId bigint primary key,
Author varchar(1024),
DocContents bytea,
DocEmbedding float4[]
);
假设“棒球,但非职业棒球”的输入嵌入是数组 [0.3, 0.3, 0.7, 0.7]
,您可以通过以下查询找到匹配的排名前五个的文档:
GoogleSQL
SELECT DocId, DocEmbedding FROM Documents
ORDER BY EUCLIDEAN_DISTANCE(DocEmbedding,
ARRAY<FLOAT32>[0.3, 0.3, 0.7, 0.8])
LIMIT 5;
PostgreSQL
SELECT DocId, DocEmbedding FROM Documents
ORDER BY spanner.euclidean_distance(DocEmbedding,
'{0.3, 0.3, 0.7, 0.8}'::float4[])
LIMIT 5;
此示例的预期结果:
Documents
+---------------------------+-----------------+
| DocId | DocEmbedding |
+---------------------------+-----------------+
| 24 | [8, ...] |
+---------------------------+-----------------+
| 25 | [6, ...] |
+---------------------------+-----------------+
| 26 | [3.2, ...] |
+---------------------------+-----------------+
| 27 | [38, ...] |
+---------------------------+-----------------+
| 14229 | [1.6, ...] |
+---------------------------+-----------------+
示例 2:对分区数据进行 KNN 搜索
如需修改上例中的查询,您可以向 WHERE
子句添加条件,将向量搜索限制为数据的子集。此方法的一种常见应用是搜索分区数据,例如属于特定 UserId
的行。
GoogleSQL
SELECT UserId, DocId, DocEmbedding FROM Documents
WHERE UserId=18
ORDER BY EUCLIDEAN_DISTANCE(DocEmbedding,
ARRAY<FLOAT32>[0.3, 0.3, 0.7, 0.8])
LIMIT 5;
PostgreSQL
SELECT UserId, DocId, DocEmbedding FROM Documents
WHERE UserId=18
ORDER BY spanner.euclidean_distance(DocEmbedding,
'{0.3, 0.3, 0.7, 0.8}'::float4[])
LIMIT 5;
此示例的预期结果:
Documents
+-----------+-----------------+-----------------+
| UserId | DocId | DocEmbedding |
+-----------+-----------------+-----------------+
| 18 | 234 | [12, ...] |
+-----------+-----------------+-----------------+
| 18 | 12 | [1.6, ...] |
+-----------+-----------------+-----------------+
| 18 | 321 | [22, ...] |
+-----------+-----------------+-----------------+
| 18 | 432 | [3, ...] |
+-----------+-----------------+-----------------+
示例 3:对二级索引范围进行 KNN 搜索
如果您使用的 WHERE
子句过滤条件不是表的主键的一部分,则可以创建二级索引,以通过仅索引扫描来加速操作。
GoogleSQL
CREATE INDEX DocsByAuthor
ON Documents(Author)
STORING (DocEmbedding);
SELECT Author, DocId, DocEmbedding FROM Documents
WHERE Author="Mark Twain"
ORDER BY EUCLIDEAN_DISTANCE(DocEmbedding,
<embeddings for "book about the time traveling American">)
LIMIT 5;
PostgreSQL
CREATE INDEX DocsByAuthor
ON Documents(Author)
INCLUDE (DocEmbedding);
SELECT Author, DocId, DocEmbedding FROM Documents
WHERE Author="Mark Twain"
ORDER BY spanner.euclidean_distance(DocEmbedding,
<embeddings for "that book about the time traveling American">)
LIMIT 5;
此示例的预期结果:
Documents
+------------+-----------------+-----------------+
| Author | DocId | DocEmbedding |
+------------+-----------------+-----------------+
| Mark Twain | 234 | [12, ...] |
+------------+-----------------+-----------------+
| Mark Twain | 12 | [1.6, ...] |
+------------+-----------------+-----------------+
| Mark Twain | 321 | [22, ...] |
+------------+-----------------+-----------------+
| Mark Twain | 432 | [3, ...] |
+------------+-----------------+-----------------+
| Mark Twain | 375 | [9, ...] |
+------------+-----------------+-----------------+
后续步骤
详细了解 GoogleSQL
COSINE_DISTANCE()
、EUCLIDEAN_DISTANCE()
、DOT_PRODUCT()
函数。详细了解 PostgreSQL
spanner.cosine_distance()
、spanner.euclidean_distance()
、spanner.dot_product()
函数。详细了解如何从向量距离函数中选择以测量向量嵌入相似度。