此页面由 Cloud Translation API 翻译。

在 Spanner 中查找近似最近邻，以便索引和查询矢量嵌入

本页面介绍了如何创建矢量索引和查询矢量嵌入，方法是分别使用近似余弦距离、近似欧几里得距离和近似点积矢量函数。您可以使用这些函数来查找 Spanner 中的近似最近邻 (ANN)。当数据集较小时，您可以使用 K 最近邻 (KNN) 找出确切的 k 最近向量。不过，随着数据集的增长，KNN 搜索的延迟时间和费用也会增加。您可以使用 ANN 找到近似的 k 个最近邻，从而显著缩短延迟时间并降低费用。

k 最近邻项

在 ANN 搜索中，返回的 k 个向量并非真正的前 k 个最近邻。有时，系统会返回一些不在前 k 个最近邻中的向量。这称为“召回率损失”。召回率损失是多少取决于应用场景，但在大多数情况下，通过召回率提升数据库性能是可以接受的权衡。

如需详细了解 Spanner 近似距离函数，请参阅：

矢量索引

Spanner 使用专用矢量索引加快 ANN 矢量搜索速度。此索引利用 Google 研究团队的可伸缩最近邻 (ScaNN) 算法，这是一种高效的最近邻算法。

向量索引使用基于树的结构来划分数据，以便更快地进行搜索。Spanner 同时提供两级树配置和三级树配置：

两级树配置：叶节点 (num_leaves) 包含一组密切相关的矢量及其相应的质心。根级别由所有叶节点的质心组成。
三层树配置：在概念上与两层树类似，引入一个额外的分支层 (num_branches)，从该分支节点形心进一步分区，形成根级别 (num_leaves)。

此外，您必须使用特定的距离度量来构建向量索引。您可以将 distance_type 设置为 COSINE、DOT_PRODUCT 或 EUCLIDEAN，从而选择最适合您的用例的距离指标。

如需了解详情，请参阅 VECTOR INDEX 语句。

限制

Spanner 矢量索引具有以下限制：

不支持 ALTER VECTOR INDEX。

创建向量索引

为了尽可能优化矢量索引以实现良好的检索率和性能，我们建议您在包含嵌入的大多数行写入数据库后创建矢量索引。您可能还需要定期请在插入新数据后重建矢量索引。如需了解详情，请参阅重新构建矢量索引。

要创建包含两层树和 1,000 个叶节点的向量索引，包含使用余弦的嵌入列 DocEmbedding 的 Documents 表距离：

CREATE VECTOR INDEX DocEmbeddingIndex
  ON Documents(DocEmbedding)
  OPTIONS (distance_type = 'COSINE', tree_depth = 2, num_leaves = 1000);

如需创建一个三级树和 1000000 个叶节点的向量索引，请执行以下操作：

CREATE VECTOR INDEX DocEmbeddingIndex
  ON Documents(NullableDocEmbedding)
  WHERE NullableDocEmbedding IS NOT NULL
  OPTIONS (distance_type = 'COSINE', tree_depth = 3, num_branches=1000, num_leaves = 1000000);

如果您的嵌入列可为 null，则必须使用 WHERE column_name IS NOT NULL 子句声明它：

CREATE VECTOR INDEX DocEmbeddingIndex
  ON Documents(NullableDocEmbedding)
  WHERE NullableDocEmbedding IS NOT NULL
  OPTIONS (distance_type = 'COSINE', tree_depth = 2, num_leaves = 1000);

查询向量嵌入

如需查询矢量索引，请使用以下三个近似距离函数之一：

APPROX_COSINE_DISTANCE
APPROX_EUCLIDEAN_DISTANCE
APPROX_DOT_PRODUCT

使用近似距离函数时的限制包括以下：

您必须提供查询提示才能使用矢量索引。
您必须使用常量表达式作为距离函数的一个参数（例如，形参或字面量）。
使用近似距离函数的查询或子查询必须采用特定形式：距离函数必须是唯一的 ORDER BY 键，并指定上限

有关限制的详细列表，请参阅近似距离函数参考页面。

示例

如需搜索最接近 [1.0, 2.0, 3.0] 的 100 个向量，请执行以下操作：

SELECT DocId
FROM Documents@{FORCE_INDEX=DocEmbeddingIndex}
ORDER BY APPROX_EUCLIDEAN_DISTANCE(
  ARRAY<FLOAT32>[1.0, 2.0, 3.0], DocEmbedding,
  options => JSON '{"num_leaves_to_search": 10}')
LIMIT 100

如果嵌入列可为 null：

SELECT DocId
FROM Documents@{FORCE_INDEX=DocEmbeddingIndex}
WHERE NullableDocEmbedding IS NOT NULL
ORDER BY APPROX_EUCLIDEAN_DISTANCE(
  ARRAY<FLOAT32>[1.0, 2.0, 3.0], NullableDocEmbedding,
  options => JSON '{"num_leaves_to_search": 10}')
LIMIT 100

最佳做法

请遵循以下最佳实践来优化向量索引并改进查询结果。

调整矢量搜索选项

最佳矢量搜索值取决于应用场景，即矢量以及查询矢量。您可能需要执行迭代调整，以便找到适合您的特定工作负载的最佳值。

在选择合适的值时，请遵循以下实用准则：

tree_depth（树级）：如果要编制索引的表的行数少于 1,000 万行，请将 tree_depth 设为 2。否则，tree_depth 为 3 支持的表格数量上限约为 100 亿行。
num_leaves：使用数据集中行数的平方根。值越大，向量索引构建时间就越长。避免设置 num_leaves 比table_row_count/1000大，因为这会导致叶子过小性能不佳。
num_leaves_to_search：此选项指定索引的叶节点数量。提高 num_leaves_to_search 会提高召回率，但也会增加延迟时间和费用。我们建议将 CREATE VECTOR INDEX 语句中定义的叶子总数的 1% 作为 num_leaves_to_search 的值。如果您使用过滤条件子句，请将以扩大搜索范围。

如果实现了可接受的召回率，但查询费用过高，这会导致 QPS 上限较低，请尝试按以下方法提高 num_leaves 步骤：

将 num_leaves 设置为其原始值的 k 倍（例如 2 * sqrt(table_row_count)）。
将 num_leaves_to_search 设为与其原始值相同的 k 倍。
尝试降低 num_leaves_to_search，以便在保持召回率的同时降低费用和 QPS。

提高回想度

召回率恶化有多种可能性，包括：

num_leaves_to_search 太小：您可能会发现，查找某些查询向量的最近邻更具挑战性，因此增加 num_leaves_to_search 以搜索更多叶子可以帮助提高召回率。近期对话查询可能已转而包含更多此类具有挑战性的向量。
向量索引需要重新构建：向量索引的树结构为在创建数据集时针对数据集进行优化，此后将处于静态。因此，如果在创建数据集后添加明显不同的向量，初始向量索引，那么树结构可能就不是最佳的，从而导致回想度较低。

重新构建向量索引

要在不停机的情况下重新构建矢量索引，请执行以下操作：

在与当前向量索引相同的嵌入列上创建新的向量索引，并根据需要更新参数（例如 OPTIONS）。
索引创建完成后，更改 FORCE_INDEX 提示指向新索引，以更新矢量搜索查询。这样可以确保查询将使用新的矢量索引。（你可能还需要重新调优 num_leaves_to_search）。
删除过时的向量索引。

后续步骤

详细了解 GoogleSQL APPROXIMATE_COSINE_DISTANCE()、APPROXIMATE_EUCLIDEAN_DISTANCE()、APPROXIMATE_DOT_PRODUCT() 函数。
详细了解 GoogleSQL VECTOR INDEX 语句。