Einführung in die Vektorsuche

Wenn Sie Feedback geben oder Support für dieses Feature anfordern möchten, senden Sie eine E-Mail an bq-vector-search@google.com.

Dieses Dokument bietet eine Übersicht über die Vektorsuche in BigQuery. Mit der Vektorsuche können Sie nach Einbettungen suchen, um semantisch ähnliche Entitäten zu identifizieren.

Einbettungen sind hochdimensionale numerische Vektoren, die eine bestimmte Entität darstellen, z. B. ein Text oder eine Audiodatei. ML-Modelle verwenden Einbettungen, um die Semantik solcher Entitäten zu codieren, um sie leichter zu verstehen und zu vergleichen. Ein gängiger Vorgang bei Clustering-, Klassifizierungs- und Empfehlungsmodellen besteht beispielsweise darin, die Entfernung zwischen Vektoren in einem Einbettungsbereich zu messen, um Elemente zu finden, die semantisch am ähnlichsten sind.

Für eine Vektorsuche verwenden Sie die Funktion VECTOR_SEARCH und optional einen Vektorindex. Bei Verwendung eines Vektorindex nutzt VECTOR_SEARCH die Suchmethode Annäherung an den nächsten Nachbarn, um die Leistung der Vektorsuchleistung zu verbessern, mit dem Kompromiss: Reduzierung der Trefferquote und damit die Rückgabe von ungefähren Ergebnissen. Brute-Force wird verwendet, um exakte Ergebnisse zurückzugeben, wenn kein Vektorindex verfügbar ist. Sie können Brute-Force nutzen, um genaue Ergebnisse zu erhalten, auch wenn ein Vektorindex verfügbar ist.

Preise

Die CREATE VECTOR INDEX-Anweisung und die VECTOR_SEARCH-Funktion verwenden die BigQuery-Computing-Preise. Für die CREATE VECTOR INDEX-Anweisung wird nur die indexierte Spalte in den verarbeiteten Byte berücksichtigt.

Die für den Aufbau und die Aktualisierung Ihrer Vektorindexe erforderliche Verarbeitung ist kostenlos, wenn die Gesamtgröße der indizierten Tabellendaten in Ihrem Unternehmen unter dem Limit von 20 TB liegt. Um die Indexierung über dieses Limit hinaus zu unterstützen, müssen Sie Ihre eigene Reservierung bereitstellen, um die Indexverwaltungsjobs zu verarbeiten. Vektorindexe verursachen Speicherkosten, wenn sie aktiv sind. Sie finden die Indexspeichergröße in der Ansicht INFORMATION_SCHEMA.VECTOR_INDEXES. Wenn der Suchindex noch nicht zu 100 % abgedeckt ist, wird Ihnen trotzdem der gesamte in der Ansicht INFORMATION_SCHEMA.VECTOR_INDEXES gemeldete Indexspeicher in Rechnung gestellt.

Kontingente und Limits

Weitere Informationen finden Sie unter Limits für Vektorindexe.

Beschränkungen

  • Abfragen, die die Funktion VECTOR_SEARCH enthalten, werden von BigQuery BI Engine nicht beschleunigt.
  • Für die Verwendung von VECTOR_SEARCH gelten BigQuery-Regeln für die Datensicherheit und Governance. Weitere Informationen finden Sie im Abschnitt Einschränkungen in VECTOR_SEARCH. Diese Regeln gelten nicht für die Generierung von Vektorindexen.

Nächste Schritte

  • Weitere Informationen zum Erstellen eines Vektorindex
  • In der Anleitung Einbettungen mit Vektorsuche suchen erfahren Sie, wie Sie einen Vektorindex erstellen und dann eine Vektorsuche nach Einbettungen mit und ohne Index durchführen.

  • In der Anleitung Texteinbettungen generieren und verwenden erfahren Sie, wie Sie die folgenden Aufgaben ausführen:

    • Texteinbettungen generieren
    • Erstellen Sie einen Vektorindex für die Einbettungen.
    • Führen Sie eine Vektorsuche mit den Einbettungen durch, um nach ähnlichem Text zu suchen.
    • Führen Sie mithilfe von Vektorsuchergebnissen RAG (Retrieval Augmented Generation) durch, um die Prompt-Eingabe zu erweitern und die Ergebnisse zu verbessern.