Vertex AI bietet eine Reihe von APIs, mit denen Sie Ihre eigenen Retrieval Augmented Generation (RAG)-Anwendungen oder Suchmaschinen erstellen können. Auf dieser Seite werden diese APIs vorgestellt.
Daten abrufen und erstellen
RAG ist eine Methode, mit der Large Language Models (LLMs) Antworten generieren können, die auf Ihrer ausgewählten Datenquelle basieren. Es gibt zwei Phasen in RAG:
- Abrufen: Häufig erhalten Sie schnell die relevantesten Fakten. Suchproblem. Mit RAG können Sie schnell die Fakten abrufen, eine Antwort zu geben.
- Generierung: Das LLM verwendet die abgerufenen Fakten, um eine fundierte Antwort zu generieren.
Vertex AI bietet Optionen für beide Phasen, um den unterschiedlichen Anforderungen von Entwicklern gerecht zu werden.
Abruf
Wählen Sie die für Ihre Anforderungen am besten geeignete Abrufmethode aus:
Vertex AI Search: Vertex AI Search ist eine Suchmaschine zum Abrufen von Informationen in Google-Qualität, die in jeder generativen KI-Anwendung verwendet werden kann, die Ihre Unternehmensdaten nutzt. Vertex AI Search ist eine sofort einsatzfähige semantische und Keyword-Suchmaschine für RAG, die eine Vielzahl von Dokumenttypen verarbeiten kann und über Connectors zu einer Vielzahl von Quellsystemen verfügt, darunter BigQuery und viele Drittanbietersysteme.
Weitere Informationen finden Sie unter Vertex AI Search.
Eigenen Abruf erstellen: Wenn Sie eine semantische Suche erstellen möchten, gehen Sie folgendermaßen vor: können sich auf Vertex AI APIs für Komponenten Ihrer benutzerdefinierten RAG verlassen System. Diese API-Suite bietet hochwertige Implementierungen das Parsen, das Generieren von Einbettungen, die Vektorsuche und das semantische Ranking. Mit diesen APIs der unteren Ebene haben Sie volle Flexibilität bei der Gestaltung Ihres Retrievers. Gleichzeitig profitieren Sie durch die Verwendung von Vertex AI APIs der unteren Ebene von einer beschleunigten Markteinführung und hoher Qualität.
Weitere Informationen finden Sie unter Eigene Retrieval Augmented Generation erstellen
Vorhandenen Abruf verwenden:Sie können Ihre vorhandene Suche als Retriever für die geerdete Generierung. Sie können auch die Vertex APIs für RAG verwenden um die Qualität Ihrer bestehenden Suche zu verbessern.
LlamaIndex in Vertex AI: Mit LlamaIndex in Vertex AI können Entwickler, die mit diesem beliebten Open-Source-Software-Framework vertraut sind, Retriever für die Produktion und für den Einsatz in Unternehmen erstellen.
Weitere Informationen finden Sie in der Dokumentation zu Generative AI in Vertex AI unter LlamaIndex in Vertex AI für RAG – Übersicht.
Google Suche:Wenn Sie die Fundierung mit der Google Suche nach deinem Gemini-Modell, dann Gemini verwendet die Google-Suche und generiert eine Ausgabe, die auf den um relevante Suchergebnisse zu erhalten. Diese Abrufmethode erfordert keine Verwaltung und Sie erhalten Zugriff auf das gesamte Wissen, das für Gemini verfügbar ist.
Weitere Informationen finden Sie unter Funding mit Google Suche in der Dokumentation zu generativer KI in Vertex AI.
Generierung
Wählen Sie die beste Generierungsmethode für Ihre Anforderungen aus:
Grounded Generation API (GA mit Zulassungsliste): Fundierte Generation verwenden API zum Generieren fundierter Antworten auf die Anfrage eines Nutzers Diese API verwendet ein spezielles, optimiertes Gemini-Modell und ist eine effektive Möglichkeit, Halluzinationen zu reduzieren und Antworten zu liefern, die auf Ihren Quellen, Drittanbieterquellen oder der Google Suche basieren, einschließlich Verweisen auf hilfreiche Inhalte.
Weitere Informationen finden Sie unter Generieren Sie fundierte Antworten.
Gemini: Gemini ist das leistungsstärkste Modell von Google und bietet eine sofort einsatzbereite Fundierung mit der Google Suche. Sie können es verwenden , um eine vollständig benutzerdefinierte, bodengebundene Generierungslösung zu erstellen.
Weitere Informationen finden Sie unter Fundierung der Google Suche in der Dokumentation zu generativer KI in Vertex AI.
Model Garden: Wenn Sie die volle Kontrolle und das Modell Ihrer Wahl haben möchten, können Sie zum Generieren eines beliebigen Modells aus Vertex AI Model Garden verwenden.
Eigene Retrieval Augmented Generation erstellen
Die Entwicklung eines kundenspezifischen RAG-Systems zur Fundierung bietet Flexibilität und Kontrolle Schritt des Prozesses. Vertex AI bietet eine Reihe von APIs, mit denen Sie eigene Suchlösungen erstellen können. Mit diesen APIs haben Sie volle Flexibilität beim Entwerfen Ihrer RAG-Anwendung. Gleichzeitig profitieren Sie durch die Verwendung dieser Vertex AI APIs der unteren Ebene von einer beschleunigten Markteinführung und hoher Qualität.
Der Document AI-Layout-Parser Der Document AI Layout Parser transformiert Dokumente in verschiedenen Formate in strukturierte Darstellungen umwandeln und Inhalte wie Absätze, Tabellen, Listen und Strukturelementen wie Überschriften, Seitenüberschriften und zugänglich sind und kontextsensitive Blöcke erstellen, Datenabruf in einer Reihe von Apps mit generativer KI und zum Entdecken von Informationen.
Weitere Informationen finden Sie in der Document AI-Dokumentation unter Document AI-Layout-Parser.
Embeddings API: Mit den Vertex AI-Embeddings APIs können Sie Einbettungen für Text- oder multimodale Eingaben erstellen. Einbettungen sind Vektoren von Gleitkommazahlen sind, die die Bedeutung Eingabe. Sie können die Einbettungen für die semantische Suche in Vektor verwenden suchen.
Weitere Informationen finden Sie unter Texteinbettungen und Multimodale Einbettungen in der generativen KI auf Vertex AI-Dokumentation.
Vektorsuche Die Abruf-Engine ist ein wichtiger Bestandteil Ihrer RAG- oder Suchanwendung. Vertex AI Vector Search ist eine Abrufmaschine, die Milliarden von semantisch ähnlichen oder semantisch verwandte Elemente mit einer hohen Anzahl von Abfragen pro Sekunde (Queries per Second, QPS), hoch geringe Latenz und Kosteneffizienz. Sie kann auch in dichten und unterstützt die dünnbesetzte Einbettung der Keyword-Suche und Hybridsuche in Öffentliche Vorschau.
Weitere Informationen finden Sie unter Vertex AI – Übersicht Vektorsuche in der Vertex AI-Dokumentation.
Die Ranking-API Die Ranking API nimmt eine Liste von Dokumenten auf und bewertet diese Dokumente neu je nachdem, wie relevant die Dokumente für eine bestimmte Abfrage sind. Verglichen mit Einbettungen, die nur die semantische Ähnlichkeit eines Dokuments und ein können Sie mit der Ranking API genauer ermitteln, Dokument eine bestimmte Abfrage beantwortet.
Weitere Informationen finden Sie unter Dokumente neu sortieren.
Die geerdete API zur Generierung von Daten. Mit der Grounded Generation API können Sie fundierte Antworten auf den Prompt eines Nutzers generieren. Die Fundierungsquellen können Vertex AI Search-Datenspeicher, von Ihnen bereitgestellte benutzerdefinierte Daten oder Google Suche
Weitere Informationen finden Sie unter Solide Antworten generieren.
Die API „check grounding“ Die API „check grounding“ bestimmt, wie fundiert ein bestimmter Text in einer bestimmten Reihe von Referenztexten ist. Die API kann aus den Referenztexten unterstützende Zitate generieren, um anzugeben, wo der angegebene Text durch die Referenztexte unterstützt wird. Mit der API lässt sich unter anderem die Fundierung von Antworten aus RAG-Systemen bewerten. Als experimentelle Funktion generiert die API außerdem widersprüchliche Zitate, die zeigen, wo sich der angegebene Text und die Referenztexte unterscheiden.
Weitere Informationen finden Sie unter Grounding prüfen.
Workflow: Fundierte Antworten aus unstrukturierten Daten generieren
Im Folgenden finden Sie einen Workflow, der beschreibt, wie die Vertex AI RAG APIs eingebunden werden um fundierte Antworten aus unstrukturierten Daten zu generieren.
- Unstrukturierte Dokumente wie PDF-Dateien, HTML-Dateien oder Bilder importieren mit Text an einem Cloud Storage-Speicherort an.
- Verarbeiten Sie die importierten Dokumente mit dem Layoutparser. Der Layoutparser teilt die unstrukturierten Dokumente in Blöcke auf wandelt den unstrukturierten Inhalt in eine strukturierte Darstellung um. Die Der Layoutparser extrahiert auch Anmerkungen aus den Blöcken.
- Erstellen Sie Texteinbettungen für Blöcke mit der Vertex AI Text Embeddings API.
- Indexieren und abrufen Sie die Chunk-Einbettungen mit der Vektorsuche.
- Sortiere die Segmente mit der Ranking API und bestimme die Segmente mit dem höchsten Rang.
- Generieren Sie fundierte Antworten basierend auf den am besten bewerteten Chunks mithilfe der Grounded Generation API.
Wenn Sie die Antworten mit einem anderen Modell zur Antwortgenerierung als den Google-Modellen generiert haben, können Sie die Fundierung dieser Antworten mit der Methode „Fundierung prüfen“ überprüfen.