このドキュメントでは、クエリのパフォーマンスを向上させ、レコードの検索精度を高めるためにインデックスをチューニングする方法について説明します。
ScaNN インデックスを作成する前に、次の操作を行います。
- データを含むテーブルがすでに作成されていることを確認します。
- インデックスの生成中に問題が発生しないように、
maintenance_work_memフラグとshared_buffersフラグに設定する値がマシンのメモリの合計より小さいことを確認してください。
ScaNN インデックスをチューニングする
2 レベルと 3 レベルの ScaNN インデックスのどちらを選択するかは、次のガイダンスに沿って決定してください。
- ベクトル行数が 1,000 万行未満の場合は、2 レベルのインデックスを選択します。
- ベクトル行数が 1 億行を超える場合は、3 レベル インデックスを選択します。
- ベクトル行数が 1,000 万行から 1 億行の範囲内にある場合は、インデックスの構築時間を重視して 3 レベル インデックスを選択するか、検索レコードの回収率を重視して 2 レベル インデックスを選択します。
2 レベルと 3 レベルの ScaNN インデックスの次の例では、1000000 行のテーブルにチューニング パラメータを設定する方法を示します。
2 レベル インデックス
SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;
CREATE INDEX my-scann-index ON my-table
USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 1/2)]);
3 レベル インデックス
SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors=50;
CREATE INDEX my-scann-index ON my-table
USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);
クエリを分析する
次の SQL クエリの例に示すように、EXPLAIN ANALYZE コマンドを使用してクエリ分析情報を分析します。
EXPLAIN ANALYZE SELECT result-column
FROM my-table
ORDER BY EMBEDDING_COLUMN <-> embedding('text-embedding-005', 'What is a database?')::vector
LIMIT 1;
レスポンスの例 QUERY PLAN には、所要時間、スキャンまたは返された行数、使用されたリソースなどの情報が含まれます。
Limit (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
-> Index Scan using my-scann-index on my-table (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
Order By: (embedding_column <-> embedding('text-embedding-005', 'What is a database?')::vector(768))
Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms
ベクトル インデックスの指標を表示する
ベクトル インデックスの指標を使用すると、ベクトル インデックスのパフォーマンスを確認して改善すべき領域を特定し、必要に応じて指標に基づいてインデックスをチューニングできます。
すべてのベクトル インデックス指標を表示するには、pg_stat_ann_indexes ビューを使用する次の SQL クエリを実行します。
SELECT * FROM pg_stat_ann_indexes;
指標の一覧の詳細については、ベクトル インデックスの指標をご覧ください。