Indexe erstellen

Auf dieser Seite wird beschrieben, wie Sie gespeicherte Einbettungen verwenden, um HNSW-Indizes zu generieren und Einbettungen mit einem HNSW-Index mit AlloyDB for PostgreSQL abzufragen. Weitere Informationen zum Speichern von Einbettungen finden Sie unter Vektoreinbettungen speichern.

Hinweise

Bevor Sie mit dem Erstellen von Indexen beginnen können, müssen Sie die folgenden Voraussetzungen erfüllen.

  • Einbettungsvektoren werden einer Tabelle in Ihrer AlloyDB-Datenbank hinzugefügt.

  • Die vector-Erweiterungsversion 0.5.0 oder höher, die auf pgvector basiert und von Google für AlloyDB erweitert wurde, ist installiert.

    CREATE EXTENSION IF NOT EXISTS vector;

HNSW-Index erstellen

AlloyDB unterstützt das Erstellen eines graphbasierten hnsw-Index, der mit pgvector über die AlloyDB-Erweiterung pgvector verfügbar ist. Bei Verwendung eines hnsw-Index wird eine Greedy-Suche durchgeführt, bei der der Graph durchlaufen und ständig nach dem Nachbarn gesucht wird, der dem Abfragevektor am nächsten ist, bis ein optimales Ergebnis gefunden wird. Im Vergleich zu IVF bietet es eine schnellere Abfrageleistung, aber längere Build-Zeiten.

Weitere Informationen zum HNSW-Algorithmus finden Sie unter Hierarchical Navigable Small World graphs.

Führen Sie die folgende Abfrage aus, um einen hnsw-Index zu erstellen:

CREATE INDEX INDEX_NAME ON TABLE
  USING hnsw (EMBEDDING_COLUMN DISTANCE_FUNCTION)
  WITH (m = NUMBER_OF_CONNECTIONS, ef_construction = 'CANDIDATE_LIST_SIZE');

Ersetzen Sie Folgendes:

  • INDEX_NAME: Der Name des Index, den Sie erstellen möchten, z. B. my-hnsw-index.

  • TABLE: Die Tabelle, der der Index hinzugefügt werden soll.

  • EMBEDDING_COLUMN: eine Spalte, in der vector-Daten gespeichert werden.

  • DISTANCE_FUNCTION: Die Distanzfunktion, die für diesen Index verwendet werden soll. Wählen Sie eine der folgenden Optionen aus:

    • L2-Distanz:vector_l2_ops

    • Skalarprodukt:vector_ip_ops

    • Kosinus-Distanz:vector_cosine_ops

  • NUMBER_OF_CONNECTIONS: Die maximale Anzahl von Verbindungen pro Knoten im Diagramm. Sie können mit dem Standardwert 16 beginnen und je nach Größe Ihres Datasets höhere Werte testen.

  • CANDIDATE_LIST_SIZE: Die Größe einer Kandidatenliste, die während der Grapherstellung verwaltet wird und die aktuellen besten Kandidaten für die nächsten Nachbarn eines Knotens ständig aktualisiert. Legen Sie für diesen Wert einen beliebigen Wert fest, der höher als das Doppelte des m-Werts ist, z. B. 64.

So rufen Sie den Indexierungsfortschritt auf:pg_stat_progress_create_index

SELECT * FROM pg_stat_progress_create_index;

In der Spalte phase wird der aktuelle Status der Indexerstellung angezeigt. Die Phase building graph wird nach der Indexerstellung nicht mehr angezeigt.

Informationen zum Optimieren des Index für ein bestimmtes Gleichgewicht zwischen Recall und QPS finden Sie unter hnsw-Index optimieren.

Abfrage ausführen

Nachdem Sie die Einbettungen in Ihrer Datenbank gespeichert und indexiert haben, können Sie mit der pgvector-Abfragefunktion Abfragen starten.

Wenn Sie die semantisch nächsten Nachbarn für einen Einbettungsvektor finden möchten, können Sie die folgende Beispielabfrage ausführen. Dabei legen Sie dieselbe Distanzfunktion fest, die Sie beim Erstellen des Index verwendet haben.

  SELECT * FROM TABLE
    ORDER BY EMBEDDING_COLUMN DISTANCE_FUNCTION_QUERY ['EMBEDDING']
    LIMIT ROW_COUNT

Ersetzen Sie Folgendes:

  • TABLE: Die Tabelle, die die Einbettung enthält, mit der der Text verglichen werden soll.

  • INDEX_NAME: der Name des Index, den Sie verwenden möchten, z. B. my-hnsw-index.

  • EMBEDDING_COLUMN: die Spalte mit den gespeicherten Einbettungen.

  • DISTANCE_FUNCTION_QUERY: Die Distanzfunktion, die für diese Abfrage verwendet werden soll. Wählen Sie je nach der beim Erstellen des Index verwendeten Distanzfunktion eine der folgenden Optionen aus:

    • L2-Distanz:<->

    • Skalarprodukt:<#>

    • Kosinus-Distanz:<=>

  • EMBEDDING: Der Einbettungsvektor, für den Sie die nächsten gespeicherten semantischen Nachbarn finden möchten.

  • ROW_COUNT: Die Anzahl der zurückzugebenden Zeilen.

    Geben Sie 1 an, wenn Sie nur die beste Übereinstimmung erhalten möchten.

Weitere Beispiele für Abfragen finden Sie unter Abfragen.

Sie können auch die Funktion embedding() verwenden, um den Text in einen Vektor zu übersetzen. Sie wenden den Vektor auf einen der pgvector-Operatoren für die Suche nach dem nächsten Nachbarn<-> für die L2-Distanz an, um die Datenbankzeilen mit den semantisch ähnlichsten Einbettungen zu finden.

Da embedding() ein real-Array zurückgibt, müssen Sie den embedding()-Aufruf explizit in vector umwandeln, um diese Werte mit pgvector-Operatoren zu verwenden.

Nächste Schritte