Vertex AI Vector Search

Die Vektorsuche basiert auf der Vektorsuchtechnologie, die von der Google-Forschung entwickelt wurde. Mit der Vektorsuche können Sie dieselbe Infrastruktur nutzen, die eine Grundlage für Google-Produkte wie die Google Suche, YouTube und Play bietet.

Einführung

Die Vektorsuche kann auf Milliarden von semantisch ähnlichen oder semantisch verwandten Elementen ausgeführt werden. Ein Dienst zur Ermittlung von Vektorähnlichkeiten bietet viele Anwendungsfälle wie die Implementierung von Empfehlungssystemen, Suchmaschinen, Chatbots und Textklassifizierungen.

Abfrage für Kleid

Ein möglicher Anwendungsfall für die Vektorsuche ist ein Online-Einzelhandel mit einem Inventar von Hunderttausenden von Kleidungsstücken. In diesem Szenario könnte die multimodale Einbettungs-API dabei helfen, Einbettungen dieser Elemente zu erstellen und die Vektorsuche zu verwenden, um sie mit Textabfragen den semantisch ähnlichsten Bildern zuzuordnen. Sie könnten zum Beispiel nach „gelbes Sommerkleid“ suchen und die Vektorsuche würde die ähnlichsten Artikel zurückgeben und anzeigen. Die Vektorsuche kann im großen Maßstab suchen, mit hohen Abfragen pro Sekunde, hoher Trefferquote, niedriger Latenz und Kosteneffizienz.

Die Verwendung von Einbettungen ist nicht auf Wörter oder Text beschränkt. Semantische Einbettungen lassen sich für viele Arten von Daten generieren, einschließlich Bildern, Audio, Video und Nutzereinstellungen. Informationen zum Generieren einer multimodalen Einbettung mit Vertex AI finden Sie unter Multimodale Einbettungen abrufen.

So verwenden Sie die Vektorsuche für den semantischen Abgleich

Der semantische Abgleich lässt sich auf wenige Schritte reduzieren. Zuerst müssen Sie Einbettungsdarstellungen vieler Elemente (außerhalb der Vektorsuche) generieren. Zweitens laden Sie Ihre Einbettungen in Google Cloud hoch und verknüpfen Ihre Daten dann mit Vector Search. Nachdem Ihre Einbettungen zur Vektorsuche hinzugefügt wurden, können Sie einen Index erstellen, um Abfragen für Empfehlungen oder Ergebnisse durchzuführen.

Einbettung generieren

Erstellen Sie eine Einbettung für Ihr Dataset. Dazu müssen die Daten so vorverarbeitet werden, dass die Suche nach den ungefähren nächsten Nachbarn („approximate nearest neighbors“, ANN) effizient ist. Sie können dies außerhalb von Vertex AI durchführen oder Sie können mit generativer KI in Vertex AI eine Einbettung erstellen. Mit generativer KI für Vertex AI können Sie sowohl Text- als auch multimodale Einbettungen erstellen.

Einbettung zu Cloud Storage hinzufügen

Laden Sie die Einbettung in Cloud Storage hoch, damit Sie sie über den Vektorsuchdienst aufrufen können.

In die Vektorsuche hochladen

Verbinden Sie die Einbettungen mit der Vektorsuche, um die Suche nach dem nächsten Nachbarn durchzuführen. Sie erstellen einen Index aus Ihrer Einbettung, den Sie an einen Index-Endpunkt zur Abfrage bereitstellen können. Die Abfrage gibt die ungefähren nächsten Nachbarn zurück. Informationen zum Erstellen eines Index finden Sie unter Indexe verwalten. Informationen zum Bereitstellen des Index auf einem Endpunkt finden Sie unter Indexendpunkte bereitstellen und verwalten.

Testergebnisse auswerten

Sobald Sie die Ergebnisse der ungefähren nächsten Nachbarn haben, können Sie diese bewerten, um zu sehen, wie gut sie Ihren Bedürfnissen entsprechen. Wenn die Ergebnisse nicht genau genug sind, passen Sie die Parameter des Algorithmus an oder aktivieren die Skalierung, um mehr Abfragen pro Sekunde zu unterstützen. Dies erfolgt durch Aktualisieren Ihrer Konfigurationsdatei, die Ihren Index konfiguriert. Weitere Informationen finden Sie unter Indexparameter konfigurieren.

Terminologie für die Vektorsuche

Diese Liste enthält einige wichtige Begriffe, die Sie für die Verwendung der Vektorsuche kennen sollten:

  • Vektor: Ein Vektor ist eine Liste von Gleitkommawerten mit Größe und Richtung. Sie können damit alle Arten von Daten darstellen, z. B. Zahlen, Punkte im Raum und Richtungen.
  • Einbettung: Eine Einbettung ist ein Vektortyp, der zur Darstellung von Daten verwendet wird, um ihre semantische Bedeutung zu erfassen. Einbettungen werden meist mithilfe von Techniken des maschinellen Lernens erstellt und häufig in Natural Language Processing (NLP) und anderen ML-Anwendungen verwendet.
  • Index: Eine Sammlung von Vektoren, die gemeinsam für die Ähnlichkeitssuche bereitgestellt werden. Vektoren können einem Index hinzugefügt oder daraus entfernt werden. Ähnlichkeitssuchanfragen werden an einen bestimmten Index gestellt und durchsuchen die Vektoren in diesem Index.
  • Ground Truth: Ein Begriff, bei dem das maschinelle Lernen auf Genauigkeit im echten Leben geprüft wird, z. B. ein Ground Truth-Dataset.

  • Recall: Der Prozentsatz der nächsten Nachbarn, die vom Index zurückgegeben werden und tatsächlich echte Nachbarn sind. Wenn z. B. eine Abfrage nach 20 nächsten Nachbarn 19 der „grundlegend echten“ nächsten Nachbarn zurückgibt, beträgt der Recall 19/20x100 = 95 %.

  • Einschränken: Funktionen, die Suchanfragen mithilfe von booleschen Regeln auf eine Teilmenge des Index beschränken. „Einschränken“ wird auch als „Filter“ bezeichnet. In der Vektorsuche können Sie die numerische Filterung und die Textattributfilterung verwenden.

Nächste Schritte