ベクトルクエリのパフォーマンスを調整する

このドキュメントでは、クエリのパフォーマンスを向上させ、レコードの検索精度を高めるためにインデックスをチューニングする方法について説明します。

ScaNN インデックスを作成する前に、次の操作を行います。

  • データを含むテーブルがすでに作成されていることを確認します。
  • インデックスの生成中に問題が発生しないように、maintenance_work_mem フラグと shared_buffers フラグに設定する値がマシンのメモリの合計より小さいことを確認してください。

2 レベルと 3 レベルの ScaNN インデックスのどちらを選択するかは、次のガイダンスに沿って決定してください。

  • ベクトル行数が 1,000 万行未満の場合は、2 レベルのインデックスを選択します。
  • ベクトル行数が 1 億行を超える場合は、3 レベル インデックスを選択します。
  • ベクトル行数が 1,000 万行から 1 億行の範囲にある場合は、インデックスの構築時間を重視して 3 レベル インデックスを選択するか、検索レコールを重視して 2 レベル インデックスを選択します。

2 レベルと 3 レベルの ScaNN インデックスの次の例では、1000000 行のテーブルにチューニング パラメータを設定する方法を示します。

2 レベル インデックス3 レベル インデックス
SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = [power(1000000, 1/2)]);

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);

クエリを分析する

次の SQL クエリの例に示すように、EXPLAIN ANALYZE コマンドを使用してクエリ分析情報を分析します。

  EXPLAIN ANALYZE SELECT result-column
  FROM my-table
  ORDER BY EMBEDDING_COLUMN <-> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

レスポンスの例 QUERY PLAN には、所要時間、スキャンまたは返された行数、使用されたリソースなどの情報が含まれます。

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my-scann-index on my-table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <-> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

ベクトル インデックスの指標を表示する

ベクトル インデックスの指標を使用すると、ベクトル インデックスのパフォーマンスを確認して改善の余地がある領域を特定し、必要に応じて指標に基づいてインデックスをチューニングできます。

すべてのベクトル インデックス指標を表示するには、pg_stat_ann_indexes ビューを使用する次の SQL クエリを実行します。

SELECT * FROM pg_stat_ann_indexes;

次のような出力が表示されます。

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

指標の一覧の詳細については、ベクトル インデックスの指標をご覧ください。

次のステップ