Vertex AI bietet eine Reihe von APIs, mit denen Sie Ihre eigenen Retrieval Augmented Generation (RAG)-Anwendungen oder Suchmaschinen erstellen können. Auf dieser Seite werden diese APIs vorgestellt.
Abruf und Generierung
RAG ist eine Methode, mit der Large Language Models (LLMs) Antworten generieren können, die auf Ihrer ausgewählten Datenquelle basieren. Es gibt zwei Phasen in RAG:
- Abruf: Es kann ein häufiges Problem bei der Suche sein, schnell die relevantesten Fakten zu erhalten. Mit RAG können Sie schnell die Fakten abrufen, die für die Beantwortung einer Frage wichtig sind.
- Generierung:Das LLM verwendet die abgerufenen Fakten, um eine fundierte Antwort zu generieren.
Vertex AI bietet Optionen für beide Phasen, um den unterschiedlichen Anforderungen von Entwicklern gerecht zu werden.
Abruf
Wählen Sie die für Ihre Anforderungen am besten geeignete Abrufmethode aus:
Vertex AI Search:Vertex AI Search ist eine Suchmaschine in Google-Qualität, die in jeder generativen KI-Anwendung verwendet werden kann, die Ihre Unternehmensdaten nutzt. Vertex AI Search ist eine sofort einsatzfähige semantische und Keyword-Suchmaschine für RAG, die eine Vielzahl von Dokumenttypen verarbeiten kann und über Connectors zu einer Vielzahl von Quellsystemen verfügt, darunter BigQuery und viele Drittanbietersysteme.
Weitere Informationen finden Sie unter Vertex AI Search.
Eigenen Abruf erstellen:Wenn Sie eine semantische Suche erstellen möchten, können Sie Vertex AI APIs für Komponenten Ihres benutzerdefinierten RAG-Systems verwenden. Diese API-Suite bietet hochwertige Implementierungen für das Dokumenten-Parsing, die Generierung von Einbettungen, die Vektorsuche und das semantische Ranking. Mit diesen APIs der unteren Ebene haben Sie volle Flexibilität bei der Gestaltung Ihres Retrievers. Gleichzeitig profitieren Sie durch die Verwendung von Vertex AI APIs der unteren Ebene von einer beschleunigten Markteinführung und hoher Qualität.
Weitere Informationen finden Sie unter Eigene Retrieval Augmented Generation erstellen.
Vorhandene Suche verwenden:Sie können Ihre vorhandene Suche als Retriever für die fundierte Generierung verwenden. Sie können die Vertex APIs für RAG auch verwenden, um die Qualität Ihrer vorhandenen Suche zu verbessern.
LlamaIndex in Vertex AI:Mit LlamaIndex in Vertex AI können Entwickler, die mit diesem beliebten Open-Source-Software-Framework vertraut sind, Retriever für die Produktion und für den Einsatz in Unternehmen erstellen.
Weitere Informationen finden Sie in der Dokumentation zu Generative AI in Vertex AI unter LlamaIndex in Vertex AI für RAG – Übersicht.
Google Suche:Wenn Sie die Fundierung mit der Google Suche für Ihr Gemini-Modell verwenden, verwendet Gemini die Google Suche und generiert eine Ausgabe, die auf den relevanten Suchergebnissen basiert. Diese Abrufmethode erfordert keine Verwaltung und Sie erhalten Zugriff auf das gesamte Wissen, das für Gemini verfügbar ist.
Weitere Informationen finden Sie in der Dokumentation zu Generative AI in Vertex AI unter Fundierung mit der Google Suche.
Generierung
Wählen Sie die Methode aus, die Ihren Anforderungen am besten entspricht:
Grounded Generation API (GA mit Zulassungsliste): Mit der Grounded Generation API können Sie fundierte Antworten auf die Suchanfrage eines Nutzers generieren. Diese API verwendet ein spezielles, optimiertes Gemini-Modell und ist eine effektive Möglichkeit, Halluzinationen zu reduzieren und Antworten zu liefern, die auf Ihren eigenen Quellen, Drittanbieterquellen oder der Google Suche basieren, einschließlich Verweisen auf hilfreiche Inhalte.
Weitere Informationen finden Sie unter Fundierte Antworten generieren.
Gemini:Gemini ist das leistungsstärkste Modell von Google und bietet eine sofort einsatzbereite Fundierung mit der Google Suche. Sie können damit eine vollständig benutzerdefinierte Lösung für die Erdung von Generatoren erstellen.
Weitere Informationen finden Sie in der Dokumentation zur generativen KI in Vertex AI unter Fundierung mit der Google Suche.
Model Garden:Wenn Sie die volle Kontrolle und das Modell Ihrer Wahl haben möchten, können Sie zum Generieren eines beliebigen Modells aus dem Vertex AI Model Garden verwenden.
Eigene Retrieval-Augmented-Generation erstellen
Die Entwicklung eines benutzerdefinierten RAG-Systems für die Erdung bietet Flexibilität und Kontrolle in jedem Schritt des Prozesses. Vertex AI bietet eine Reihe von APIs, mit denen Sie eigene Suchlösungen erstellen können. Mit diesen APIs haben Sie volle Flexibilität beim Entwerfen Ihrer RAG-Anwendung. Gleichzeitig profitieren Sie durch die Verwendung dieser Vertex AI APIs der unteren Ebene von einer beschleunigten Markteinführung und hoher Qualität.
Der Document AI-Layout-Parser Der Document AI Layout Parser wandelt Dokumente in verschiedenen Formaten in strukturierte Darstellungen um, macht Inhalte wie Absätze, Tabellen, Listen und strukturelle Elemente wie Überschriften, Seitenüberschriften und Fußzeilen zugänglich und erstellt kontextsensitive Blöcke, die das Abrufen von Informationen in einer Reihe von Anwendungen für generative KI und Discovery erleichtern.
Weitere Informationen finden Sie in der Document AI-Dokumentation unter Document AI-Layout-Parser.
Embeddings API:Mit den Vertex AI-Embeddings APIs können Sie Einbettungen für Text- oder multimodale Eingaben erstellen. Einbettungen sind Vektoren von Gleitkommazahlen, die die Bedeutung der Eingabe erfassen sollen. Sie können die Einbettungen für die semantische Suche mit der Vektorsuche verwenden.
Weitere Informationen finden Sie in der Dokumentation zu Generative AI in Vertex AI unter Text-Embeddings und Multimodale Embeddings.
Vektorsuche Die Abruf-Engine ist ein wichtiger Bestandteil Ihrer RAG- oder Suchanwendung. Die Vertex AI-Vektorsuche ist eine Abruf-Engine, die mit hoher QPS (Abfragen pro Sekunde), hoher Trefferquote, niedriger Latenz und Kosteneffizienz in Milliarden von semantisch ähnlichen oder semantisch verwandten Elementen suchen kann. Sie kann in dichten Einbettungen suchen und unterstützt die Stichwortsuche mit dünnbesetzten Einbettungen sowie die Hybridsuche in der öffentlichen Vorschau.
Weitere Informationen finden Sie in der Vertex AI-Dokumentation unter Übersicht über die Vertex AI-Vektorsuche.
Die Ranking API Die Ranking API nimmt eine Liste von Dokumenten auf und sortiert diese neu, je nachdem, wie relevant sie für eine bestimmte Suchanfrage sind. Im Vergleich zu Einbettungen, die sich nur auf die semantische Ähnlichkeit eines Dokuments und einer Suchanfrage konzentrieren, kann die Ranking API eine genauere Bewertung dafür liefern, wie gut ein Dokument eine bestimmte Suchanfrage beantwortet.
Weitere Informationen finden Sie unter Dokumente neu sortieren.
Die Grounding API Mit der Grounded Generation API können Sie fundierte Antworten auf den Prompt eines Nutzers generieren. Die Fundierungsquellen können Ihre Vertex AI Search-Datenspeicher, von Ihnen bereitgestellte benutzerdefinierte Daten oder die Google Suche sein.
Weitere Informationen finden Sie unter Fundierte Antworten generieren.
Die API „check grounding“ Die API „check grounding“ bestimmt, wie fundiert ein bestimmter Text in einer bestimmten Reihe von Referenztexten ist. Die API kann aus den Referenztexten unterstützende Zitate generieren, um anzugeben, wo der angegebene Text durch die Referenztexte unterstützt wird. Mit der API lässt sich unter anderem die Fundierung von Antworten aus RAG-Systemen bewerten. Als experimentelle Funktion generiert die API außerdem widersprüchliche Zitate, die zeigen, wo sich der angegebene Text von den Referenztexten unterscheidet.
Weitere Informationen finden Sie unter Erdung prüfen.
Workflow: Fundierte Antworten aus unstrukturierten Daten generieren
Im folgenden Workflow wird beschrieben, wie Sie die Vertex AI RAG APIs einbinden, um fundierte Antworten aus unstrukturierten Daten zu generieren.
- Importieren Sie Ihre unstrukturierten Dokumente wie PDF-Dateien, HTML-Dateien oder Bilder mit Text in einen Cloud Storage-Speicherort.
- Die importierten Dokumente mit dem Layout-Parser verarbeiten Der Layout-Parser gliedert die unstrukturierten Dokumente in Blöcke auf und wandelt die unstrukturierten Inhalte in eine strukturierte Darstellung um. Der Layout-Parser extrahiert auch Anmerkungen aus den Chunks.
- Erstellen Sie Texteinbettungen für Blöcke mit der Vertex AI Text Embeddings API.
- Indexieren und abrufen Sie die Chunk-Einbettungen mit der Vektorsuche.
- Sortiere die Segmente mit der Ranking API und bestimme die Segmente mit dem höchsten Rang.
- Generieren Sie fundierte Antworten basierend auf den am besten bewerteten Chunks mit der Grounded Generation API.
Wenn Sie die Antworten mit einem anderen Modell zur Antwortgenerierung als den Google-Modellen generiert haben, können Sie die Grundwahrheit dieser Antworten mit der Methode „Grundwahrheit prüfen“ überprüfen.