Leistung der Vektorabfrage optimieren

In diesem Dokument erfahren Sie, wie Sie Ihre Indexe optimieren, um eine schnellere Abfrageleistung und eine bessere Rückrufleistung zu erzielen.

Bevor Sie einen ScaNN-Index erstellen, müssen Sie Folgendes tun:

  • Achten Sie darauf, dass bereits eine Tabelle mit Ihren Daten erstellt wurde.
  • Achten Sie darauf, dass der Wert, den Sie für das maintenance_work_mem- und das shared_buffers-Flag festlegen, kleiner als der Gesamtarbeitsspeicher des Computers ist, um Probleme beim Generieren des Index zu vermeiden.

ScaNN-Index optimieren

Anhand der folgenden Hinweise können Sie zwischen einem zweistufigen und einem dreistufigen ScaNN-Index wählen:

  • Wählen Sie einen Index mit zwei Ebenen aus, wenn die Anzahl der Vektorzeilen weniger als 10 Millionen Zeilen beträgt.
  • Wählen Sie einen Index mit drei Ebenen aus, wenn die Anzahl der Vektorzeilen 100 Millionen Zeilen überschreitet.
  • Wählen Sie einen Index mit drei Ebenen aus, um die Indexerstellungszeit zu optimieren, oder einen Index mit zwei Ebenen, um die Trefferquote bei der Suche zu optimieren, wenn die Anzahl der Vektorzeilen zwischen 10 Millionen und 100 Millionen liegt.

In den folgenden Beispielen für ScaNN-Indexe mit zwei und drei Ebenen wird gezeigt, wie die Optimierungsparameter für eine Tabelle mit 1.000.000 Zeilen festgelegt werden:

Zweistufiger Index

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = [power(1000000, 1/2)]);

Dreistufiger Index

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);

Abfragen analysieren

Verwenden Sie den Befehl EXPLAIN ANALYZE, um Ihre Abfragestatistiken zu analysieren, wie in der folgenden Beispiel-SQL-Abfrage gezeigt.

  EXPLAIN ANALYZE SELECT result-column
  FROM my-table
  ORDER BY EMBEDDING_COLUMN <-> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

Die Beispielantwort QUERY PLAN enthält Informationen wie die benötigte Zeit, die Anzahl der gescannten oder zurückgegebenen Zeilen und die verwendeten Ressourcen.

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my-scann-index on my-table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <-> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

Messwerte für Vektorindexe ansehen

Mit den Messwerten für Vektorindexe können Sie die Leistung Ihres Vektorindex prüfen, Verbesserungsmöglichkeiten ermitteln und den Index bei Bedarf anhand der Messwerte optimieren.

Wenn Sie alle Messwerte für den Vektorindex aufrufen möchten, führen Sie die folgende SQL-Abfrage aus, in der die Datenansicht pg_stat_ann_indexes verwendet wird:

SELECT * FROM pg_stat_ann_indexes;

Eine vollständige Liste der Messwerte finden Sie unter Messwerte für Vektorindexe.

Nächste Schritte