本页面介绍了如何在 Spanner 中执行相似向量搜索,方法是使用余弦距离、欧几里得距离和点积向量函数查找 K 最近邻点。在阅读本页之前,请务必了解以下概念:
- 欧几里得距离:测量两个向量之间的最短距离。
- 余弦距离:测量两个向量之间角度的余弦。
- 点积:计算角度的余弦与对应矢量大小的乘积的乘积。如果您知道数据集中的所有向量嵌入均已归一化,则可以使用
DOT_PRODUCT()
作为距离函数。 - K 最近邻 (KNN):一种用于解决分类或回归问题的监督式机器学习算法。
您可以使用矢量距离函数对相似度搜索或检索增强生成等使用场景执行 K 最近邻 (KNN) 向量搜索。Spanner 支持对矢量嵌入执行操作的 COSINE_DISTANCE()
、EUCLIDEAN_DISTANCE()
和 DOT_PRODUCT()
函数,让您可以查找输入嵌入的 KNN。
例如,生成操作 Spanner 数据并将其保存为向量嵌入后,您可以在查询中提供这些向量嵌入作为输入参数,以查找 N 维空间中最接近的向量,以搜索语义相似或相关的项。
所有三个距离函数都采用类型为 array<>
的参数 vector1
和 vector2
,它们必须由相同的维度组成且具有相同的长度。如需详细了解这些函数,请参阅:
- GoogleSQL 中的
COSINE_DISTANCE()
- GoogleSQL 中的
EUCLIDEAN_DISTANCE()
- GoogleSQL 中的
DOT_PRODUCT()
- PostgreSQL 中的数学函数(
spanner.cosine_distance()
、spanner.euclidean_distance()
和spanner.dot_product()
) - 选择向量距离函数以测量向量嵌入的相似性。
示例
以下示例展示了 KNN 搜索、KNN 搜索分区数据以及结合使用二级索引和 KNN。
示例均使用 EUCLIDEAN_DISTANCE()
。您也可以使用 COSINE_DISTANCE()
。此外,如果数据集中的所有向量嵌入都已归一化,您可以使用 DOT_PRODUCT()
作为距离函数。
示例 1:KNN 搜索
假设有一个 Documents
表,其中包含 DocContents
字节列中的预计算文本嵌入列 (DocEmbedding
)。
GoogleSQL
CREATE TABLE Documents (
UserId INT64 NOT NULL,
DocId INT64 NOT NULL,
Author STRING(1024),
DocContents BYTES,
DocEmbedding ARRAY<FLOAT32>
) PRIMARY KEY (UserId, DocId);
PostgreSQL
CREATE TABLE Documents (
UserId bigint primary key,
DocId bigint primary key,
Author varchar(1024),
DocContents bytea,
DocEmbedding float4[]
);
假设“棒球,但不是职业棒球”的输入嵌入是数组 [0.3, 0.3, 0.7, 0.7]
,您可以通过以下查询找到匹配的前五个最接近的文档:
GoogleSQL
SELECT DocId, DocEmbedding FROM Documents
ORDER BY EUCLIDEAN_DISTANCE(DocEmbedding,
ARRAY<FLOAT32>[0.3, 0.3, 0.7, 0.8])
LIMIT 5;
PostgreSQL
SELECT DocId, DocEmbedding FROM Documents
ORDER BY spanner.euclidean_distance(DocEmbedding,
'{0.3, 0.3, 0.7, 0.8}'::float4[])
LIMIT 5;
本示例的预期结果:
Documents
+---------------------------+-----------------+
| DocId | DocEmbedding |
+---------------------------+-----------------+
| 24 | [8, ...] |
+---------------------------+-----------------+
| 25 | [6, ...] |
+---------------------------+-----------------+
| 26 | [3.2, ...] |
+---------------------------+-----------------+
| 27 | [38, ...] |
+---------------------------+-----------------+
| 14229 | [1.6, ...] |
+---------------------------+-----------------+
示例 2:KNN 对分区数据进行搜索
可以通过向 WHERE
子句添加条件来修改上例中的查询,将向量搜索限制为数据的子集。它的一个常见应用是搜索分区数据,例如属于特定 UserId
的行。
GoogleSQL
SELECT UserId, DocId, DocEmbedding FROM Documents
WHERE UserId=18
ORDER BY EUCLIDEAN_DISTANCE(DocEmbedding,
ARRAY<FLOAT32>[0.3, 0.3, 0.7, 0.8])
LIMIT 5;
PostgreSQL
SELECT UserId, DocId, DocEmbedding FROM Documents
WHERE UserId=18
ORDER BY spanner.euclidean_distance(DocEmbedding,
'{0.3, 0.3, 0.7, 0.8}'::float4[])
LIMIT 5;
本示例的预期结果:
Documents
+-----------+-----------------+-----------------+
| UserId | DocId | DocEmbedding |
+-----------+-----------------+-----------------+
| 18 | 234 | [12, ...] |
+-----------+-----------------+-----------------+
| 18 | 12 | [1.6, ...] |
+-----------+-----------------+-----------------+
| 18 | 321 | [22, ...] |
+-----------+-----------------+-----------------+
| 18 | 432 | [3, ...] |
+-----------+-----------------+-----------------+
示例 3:在二级索引范围上执行 KNN 搜索
如果您使用的 WHERE
子句过滤条件不是表主键的一部分,则可以创建二级索引,通过仅扫描索引来加速操作。
GoogleSQL
CREATE INDEX DocsByAuthor
ON Documents(Author)
STORING (DocEmbedding);
SELECT Author, DocId, DocEmbedding FROM Documents
WHERE Author="Mark Twain"
ORDER BY EUCLIDEAN_DISTANCE(DocEmbedding,
<embeddings for "book about the time traveling American">)
LIMIT 5;
PostgreSQL
CREATE INDEX DocsByAuthor
ON Documents(Author)
INCLUDE (DocEmbedding);
SELECT Author, DocId, DocEmbedding FROM Documents
WHERE Author="Mark Twain"
ORDER BY spanner.euclidean_distance(DocEmbedding,
<embeddings for "that book about the time traveling American">)
LIMIT 5;
本示例的预期结果:
Documents
+------------+-----------------+-----------------+
| Author | DocId | DocEmbedding |
+------------+-----------------+-----------------+
| Mark Twain | 234 | [12, ...] |
+------------+-----------------+-----------------+
| Mark Twain | 12 | [1.6, ...] |
+------------+-----------------+-----------------+
| Mark Twain | 321 | [22, ...] |
+------------+-----------------+-----------------+
| Mark Twain | 432 | [3, ...] |
+------------+-----------------+-----------------+
| Mark Twain | 375 | [9, ...] |
+------------+-----------------+-----------------+
后续步骤
详细了解 GoogleSQL
COSINE_DISTANCE()
、EUCLIDEAN_DISTANCE()
、DOT_PRODUCT()
函数。详细了解 PostgreSQL
spanner.cosine_distance()
、spanner.euclidean_distance()
、spanner.dot_product()
函数。详细了解如何在向量距离函数中进行选择以衡量向量嵌入的相似性。