Im Rahmen der Retrieval Augmented Generation (RAG) in Vertex AI Agent Builder können Sie fundierte Antworten auf Prompts basierend auf den folgenden Quellen generieren:
- Google Suche: Verwenden Sie die Funktion „Mit der Google Suche fundieren“, wenn Sie das Modell mit dem Wissen der ganzen Welt, einer Vielzahl von Themen oder aktuellen Informationen im Internet verknüpfen möchten. Die Funktion „Mit der Google Suche fundieren“ unterstützt die dynamische Abfrage, mit der Sie fundierte Ergebnisse mit der Google Suche nur bei Bedarf generieren können. Daher wird in der Konfiguration für die dynamische Abfrage geprüft, ob für einen Prompt Wissen über aktuelle Ereignisse erforderlich ist, und die Fundierung mit der Google Suche wird aktiviert. Weitere Informationen finden Sie unter Dynamische Abfrage.
- Inline-Text: Verwenden Sie die Begründung mit Inline-Text, um die Antwort auf Textstücke zu stützen, die in der Anfrage als Faktentext angegeben sind. Ein Faktentext ist eine von Nutzern bereitgestellte Aussage, die für eine bestimmte Anfrage als sachlich betrachtet wird. Das Modell prüft nicht die Authentizität des Faktentexts.
- Vertex AI Search-Datenspeicher: Verwenden Sie die Fundierung mit Vertex AI Search, wenn Sie das Modell mit Ihren Unternehmensdokumenten aus Vertex AI Search-Datenspeichern verknüpfen möchten.
Auf dieser Seite wird beschrieben, wie Sie anhand dieser Quellen fundierte Antworten generieren können. Dabei werden die folgenden Ansätze verwendet:
Generierung von Antworten mit einer Antwortrunde
Außerdem können Sie die Antworten aus dem Modell streamen. Das Generieren einer fundierten Antwort durch Streaming ist eine experimentelle Funktion.
Sie können auch andere Methoden verwenden, um fundierte Antworten zu generieren, die zu Ihrer Anwendung passen. Weitere Informationen finden Sie unter Vertex AI APIs zum Erstellen von Such- und RAG-Umgebungen.
Terminologie
Bevor Sie die Methode zur Generierung fundierter Antworten verwenden, sollten Sie sich mit den Eingaben und Ausgaben, der Strukturierung Ihrer Anfrage und der RAG-bezogenen Terminologie vertraut machen.
RAG-Begriffe
RAG ist eine Methode, mit der Large Language Models (LLMs) Antworten generieren können, die auf Ihrer ausgewählten Datenquelle basieren. Es gibt zwei Phasen im RAG-Prozess:
- Abruf: Es kann ein häufiges Problem bei der Suche sein, schnell die relevantesten Fakten zu erhalten. Mit RAG können Sie schnell die Fakten abrufen, die für die Beantwortung einer Frage wichtig sind.
- Generierung:Das LLM verwendet die abgerufenen Fakten, um eine fundierte Antwort zu generieren.
Daher ruft die Methode zum Generieren fundierter Antworten die Fakten aus der Fundierungsquelle ab und generiert eine fundierte Antwort.
Eingabedaten
Für die Methode zur Generierung fundierter Antworten sind die folgenden Eingaben in der Anfrage erforderlich:
Role: Der Absender eines bestimmten Textes, entweder ein Nutzer (
user) oder ein Modell (model).Text: Wenn die Rolle
userist, ist der Text ein Prompt. Wenn die Rollemodelist, ist der Text eine fundierte Antwort. So geben Sie die Rolle und den Text in einer Anfrage an:- Bei der Generierung einer Antwort mit nur einem Beitrag sendet der Nutzer den Prompttext in der Anfrage und das Modell sendet den Antworttext in der Antwort.
- Bei der Generierung einer Antwort mit mehreren Gesprächsrunden enthält die Anfrage das Prompt-Antwort-Paar für alle vorherigen Gesprächsrunden und den Prompttext des Nutzers für die aktuelle Gesprächsrunde. Daher ist in einer solchen Anfrage die Rolle
userfür den Prompttext undmodelfür den Antworttext.
Systemanweisung: Eine Präambel zu Ihrem Prompt, die das Verhalten des Modells steuert und die Ausgabe entsprechend anpasst. Sie können der generierten Antwort beispielsweise eine Persona hinzufügen oder das Modell anweisen, den Ausgabetext auf eine bestimmte Weise zu formatieren. Wenn Sie Antworten mit mehreren Antworten generieren möchten, müssen Sie dem System für jeden Zug Anweisungen geben. Weitere Informationen finden Sie unter Anleitung zum Verwenden des Systems.
Fundierungsquelle: Die Quelle, auf die die Antwort basiert. Dies kann eine oder mehrere der folgenden Quellen sein:
Google Suche: Antworten mit Google-Suchergebnissen fundieren. Wenn die Google Suche die Grundlage ist, können Sie eine Konfiguration für den dynamischen Abruf mit einem Grenzwert für den dynamischen Abruf angeben. Weitere Informationen finden Sie unter Dynamische Abfrage.
Inline-Text: Begründen Sie die Antwort mit Faktentext, der in der Anfrage enthalten ist. Ein Faktentext ist eine von Nutzern bereitgestellte Aussage, die für eine bestimmte Anfrage als sachlich betrachtet wird. Das Modell prüft nicht die Authentizität des Faktentexts. Sie können in jeder Inline-Textquelle maximal 100 Sachtexte angeben. Die Faktentexte können mit Meta-Attributen wie Titel, Autor und URI unterstützt werden. Diese Meta-Attribute werden in der Antwort zurückgegeben, wenn die Antwortblöcke zitiert werden.
Vertex AI Search-Datenspeicher: Die Antwort wird auf den Dokumenten aus Vertex AI Search-Datenspeichern begründet. Sie können keinen Websitesuchdatenspeicher als Referenzquelle angeben.
In einer Anfrage können Sie sowohl eine Inline-Textquelle als auch eine Vertex AI Search-Datenspeicherquelle angeben. Die Google Suche kann nicht mit diesen Quellen kombiniert werden. Wenn Sie Ihre Antworten also mit Google-Suchergebnissen fundieren möchten, müssen Sie einen separaten Antrag senden, in dem die Google Suche als einzige Fundierungsquelle angegeben ist.
Sie können maximal 10 Erdungsquellen in beliebiger Reihenfolge angeben. Angenommen, Sie geben die Erdungsquellen mit der folgenden Anzahl und in der folgenden Reihenfolge an, um insgesamt 10 Erdungsquellen zu erhalten:
- Drei Inline-Textquellen, die jeweils maximal 100 Sachtexte enthalten können
- Sechs Vertex AI Search-Datenspeicher
- Eine Inline-Textquelle mit maximal 100 Sachtexten
Jede Quelle erhält einen Index in der Reihenfolge, in der sie in der Anfrage angegeben ist. Wenn Sie in Ihrer Anfrage beispielsweise eine Kombination von Quellen angegeben haben, wird der Quellindex wie in der folgenden Tabelle dargestellt zugewiesen:
Fundierungsquelle Index Inline-Text 1 0 Inline-Text 2 1 Vertex AI Search-Datenspeicher 1 2 Inline-Text 3 3 Vertex AI Search-Datenspeicher 2 4 Dieser Index wird in der Antwort zitiert und ist hilfreich, um die Herkunft zu ermitteln.
Generierungsspezifikationen: Die Spezifikationen für die Modellkonfiguration, die aus den folgenden Informationen bestehen:
Modell-ID: Gibt das Vertex AI Gemini-Modell an, das für die Antwortgenerierung verwendet werden soll. Eine Liste der Modelle, mit denen Sie fundierte Antworten generieren können, finden Sie unter Unterstützte Modelle.
Modellparameter: Hier können Sie die Parameter für das ausgewählte Modell festlegen. Diese Parameter sind: Sprache, Temperatur, Top-P und Top-K. Weitere Informationen zu diesen Parametern finden Sie unter Gemini-Modellparameter.
Sprachcode: Die Sprache der generierten Antwort entspricht in der Regel der Sprache der Prompt-Textzeile. Wenn der Prompt nicht in einer bestimmten Sprache verfasst ist (z. B. wenn er sehr kurz ist und in mehreren Sprachen gültig sein kann), wird die Sprache der Antwort durch das Feld „Sprachcode“ bestimmt.
Eine Liste der Sprachcodes finden Sie unter Sprachen.
Breiten- und Längengrad: Gibt den Breiten- und Längengrad des Nutzers an. Wenn die Suchanfrage standortspezifische Fragen enthält, z. B. „Finde ein Café in meiner Nähe“, werden diese Felder verwendet. Wenn die Sprache der Suchanfrage nicht ermittelt werden kann und der Sprachcode nicht festgelegt ist, werden die Breiten- und Längengrade verwendet, um die Sprache der Antwort zu bestimmen.
Ausgabedaten
Die vom Modell generierte Antwort wird als Kandidat bezeichnet und enthält die folgenden Daten. Möglicherweise sind nicht alle Felder in der Ausgabe enthalten.
Role: Der Absender der begründeten Antwort. Die Antwort enthält immer den begründeten Antworttext. Daher ist die Rolle in einer Antwort immer ein Modell.
Text: Eine fundierte Antwort.
Befundungsbewertung: Ein Gleitkommawert im Bereich [0, 1], der angibt, wie gut eine Antwort auf den angegebenen Quellen basiert.
Erdungsmetadaten: Metadaten zur Erdungsquelle. Die Metadaten für die Erdung enthalten die folgenden Informationen:
Unterstützende Snippets: Eine Liste von Snippets, die die Antwort unterstützen. Jedem Support-Chunk wird ein Support-Chunk-Index zugewiesen, der beim Zurückverfolgen der Provenienz hilfreich ist. Jeder Support-Chunk enthält Folgendes:
- Textblock: Ein Textabschnitt, der wörtlich aus der Quelle zitiert wird, aus der die Antwort oder ein Teil der Antwort (Text des Anspruchs) extrahiert wird. Dieser Wert ist möglicherweise nicht immer in der Antwort enthalten.
- Quelle: Ein Index, der der Quelle in der Anfrage zugewiesen ist.
Quellmetadaten: Metadaten zum Chunk. Je nach Quelle können die Quellmetadaten eine der folgenden Optionen sein:
- Bei einer Inline-Quelle können die Metadaten die zusätzlichen Details sein, die in der Anfrage angegeben wurden, z. B. Titel, Autor oder URI.
- Für den Vertex AI Search-Datenspeicher können die Metadaten die Dokument-ID, der Dokumenttitel, der URI (Cloud Storage-Speicherort) oder die Seitennummer sein.
- Wenn bei der Fundierung mit der Google Suche ein fundiertes Ergebnis generiert wird, enthalten die Metadaten einen URI, der zum Verlag bzw. Webpublisher der Inhalte weiterleitet, die zum Generieren des fundierten Ergebnisses verwendet wurden. Die Metadaten enthalten auch die Domain des Publishers. Die angegebenen URIs sind bis zu 30 Tage lang nach der Generierung des gefundeten Ergebnisses zugänglich.
Belege: Informationen zur Begründung einer Behauptung in der Antwort. Der Grounding-Support enthält die folgenden Informationen:
- Behauptungstext: Die Antwort oder ein Teil der Antwort, der durch den Text des Support-Chunks belegt wird.
- Index des Unterstützungs-Chunks: Ein Index, der dem Unterstützungs-Chunk in der Reihenfolge zugewiesen wird, in der der Chunk in der Liste der Unterstützungs-Chunks erscheint.
- Websuchanfragen: Die vorgeschlagenen Suchanfragen für die Google-Suchvorschläge.
- Suchvorschläge: Wenn Sie Google-Suchvorschläge mit einer Antwort erhalten, ist diese Antwort ein „fundiertes Ergebnis“, das den Nutzungsbedingungen für die Fundierung mit der Google Suche unterliegt. Weitere Informationen finden Sie in den Nutzungsbedingungen für den Dienst
.
Das Feld
renderedContentim FeldsearchEntryPointist der bereitgestellte Code zur Implementierung von Google-Suchvorschlägen. Weitere Informationen finden Sie unter Google-Suchvorschläge verwenden.
Eine fundierte Antwort in einer einzigen Antwortrunde generieren
In diesem Abschnitt wird beschrieben, wie Antworten auf der Grundlage der folgenden Quellen generiert werden:
Antwort auf Inline-Text und Vertex AI Search-Datenspeicher fundieren
Im folgenden Beispiel wird gezeigt, wie Prompttext gesendet wird, indem ein Inlinetext und ein Vertex AI Search-Datenspeicher als Fundierungsquelle angegeben werden.
Sie können keinen Website-Suchdatenspeicher als Referenzquelle angeben.
In diesem Beispiel wird die Methode generateGroundedContent verwendet.
REST
Senden Sie den Prompt in der folgenden curl-Anfrage.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_NUMBER/locations/global:generateGroundedContent" \ -d ' { "contents": [ { "role": "user", "parts": [ { "text": "PROMPT_TEXT" } ] } ], "systemInstruction": { "parts": { "text": "SYSTEM_INSTRUCTION" } }, "groundingSpec": { "groundingSources": [ { "inlineSource": { "groundingFacts": [ { "factText": "FACT_TEXT_1", "attributes": { "title": "TITLE_1", "uri": "URI_1", "author": "AUTHOR_1" } } ] } }, { "inlineSource": { "groundingFacts": [ { "factText": "FACT_TEXT_2", "attributes": { "title": "TITLE_2", "uri": "URI_2" } }, { "factText": "FACT_TEXT_3", "attributes": { "title": "TITLE_3", "uri": "URI_3" } } ] } }, { "searchSource": { "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID_1/servingConfigs/default_search" } }, { "searchSource": { "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID_2/servingConfigs/default_search" } } ] }, "generationSpec": { "modelId": "MODEL_ID", "temperature": TEMPERATURE, "topP": TOP_P, "topK": TOP_K }, "user_context": { "languageCode: "LANGUAGE_CODE", "latLng": { "latitude": LATITUDE, "longitude": LONGITUDE }, } }'Ersetzen Sie Folgendes:
PROJECT_NUMBER: die Nummer Ihres Google Cloud-Projekts.PROMPT_TEXT: die Aufforderung des Nutzers.SYSTEM_INSTRUCTION: Ein optionales Feld, um eine Präambel oder zusätzlichen Kontext anzugeben.FACT_TEXT_N: den Inline-Text, der die Antwort untermauert. Sie können maximal 100 Sachtexte angeben.TITLE_N: Optionales Feld zum Festlegen des Titel-Metaattributs für den Inline-Text.URI_N: Optionales Feld zum Festlegen des URI-Metaattributs für den Inline-Text.AUTHOR_N: ein optionales Feld zum Festlegen des Metaattributs „Autor“ für den Inline-Text.APP_ID_N: die ID der Vertex AI Search-Anwendung.MODEL_ID: Optionales Feld zum Festlegen der Modell-ID des Gemini-Modells, das Sie zum Generieren der fundierten Antwort verwenden möchten. Eine Liste der verfügbaren Modell-IDs finden Sie unter Unterstützte Modelle.TEMPERATURE: Optionales Feld zum Festlegen der Temperatur, die für die Stichprobenerhebung verwendet wird. Google empfiehlt eine Temperatur von 0,0. Weitere Informationen finden Sie unter Parameter für das Gemini-Modell.TOP_P: Optionales Feld zum Festlegen des Top-P-Werts für das Modell. Weitere Informationen finden Sie unter Parameter für das Gemini-Modell.TOP_K: Optionales Feld zum Festlegen des Top-K-Werts für das Modell. Weitere Informationen finden Sie unter Parameter für das Gemini-Modell.LANGUAGE_CODE: Ein optionales Feld, mit dem die Sprache für die generierte Antwort und für den zurückgegebenen Textblock festgelegt werden kann. Wenn die Sprache nicht aus der Abfrage ermittelt werden kann, wird dieses Feld verwendet. Der Standardwert isten. Eine Liste der Sprachcodes finden Sie unter Sprachen.LATITUDE: Optionales Feld zum Festlegen des Breitengrads. Geben Sie den Wert in Dezimalgraden ein, z. B.-25.34.LONGITUDE: Optionales Feld zum Festlegen des Längengrads. Geben Sie den Wert in Dezimalgraden ein, z. B.131.04.
Python
Beispiel für die Generierung von Antworten mit nur einer Antwortrunde, die auf Inline-Text und Vertex AI Search basiert
Im folgenden Beispiel werden in der Anfrage die folgenden Datenquellen für die Wissensbasis angegeben: ein Inline-Textfakt und ein Vertex AI Search-Datenspeicher. In diesem Beispiel wird die Methode generateGroundedContent verwendet. In diesem Beispiel wird auch eine Systemanweisung verwendet, um die Antwort mit einem Smiley-Emoji zu beenden.
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1/projects/123456/locations/global:generateGroundedContent" \
-d '
{
"contents": [
{
"role": "user",
"parts": [
{
"text": "How did google do in 2020? Where can I find Bigquery docs?"
}
]
}
],
"systemInstruction": {
"parts": {
"text": "Add a smiley emoji after the answer."
}
},
"groundingSpec": {
"groundingSources": [
{
"inline_source": {
"grounding_facts": [
{
"fact_text": "The BigQuery documentation can be found at https://cloud.google.com/bigquery/docs/introduction",
"attributes": {
"title": "BigQuery Overview",
"uri": "https://cloud.google.com/bigquery/docs/introduction"
}
}
]
}
},
{
"searchSource": {
"servingConfig": "projects/123456/locations/global/collections/default_collection/engines/app_id_example/servingConfigs/default_search"
}
}
]
},
"generationSpec": {
"modelId": "gemini-1.5-flash"
},
"user_context": {
"languageCode: "en",
"latLng": {
"latitude": 37.422131,
"longitude": -122.084801
}
}
}'
Fundierte Antwort mit der Google Suche generieren
Sie können die generierten Antworten mit öffentlich verfügbaren Webdaten fundieren.
Dynamische Abfrage
Mit der dynamischen Abfrage in Ihrer Anfrage können Sie festlegen, wann die Funktion „Mit der Google Suche fundieren“ deaktiviert werden soll. Das ist nützlich, wenn für den Prompt keine Antwort erforderlich ist, die auf der Google Suche basiert, und die unterstützten Modelle eine Antwort auf der Grundlage ihres Wissens ohne Grundwahrheit liefern können. So lassen sich Latenz, Qualität und Kosten effizienter verwalten.
Wert und Grenzwert für die dynamische Abrufvorhersage
Wenn Sie eine Anfrage zum Generieren einer fundierten Antwort senden, weist Vertex AI Agent Builder dem Prompt einen Vorhersagewert zu. Der Vorhersagewert ist ein Gleitkommawert im Bereich [0,1]. Der Wert hängt davon ab, ob die Antwort auf den Prompt durch die aktuellsten Informationen aus der Google Suche fundiert werden kann. Daher hat eine Aufforderung, die eine Antwort erfordert, die auf den neuesten Fakten im Web basiert, eine höhere Vorhersagebewertung. Eine Aufforderung, für die eine vom Modell generierte Antwort ausreicht, hat eine niedrigere Vorhersagebewertung.
Hier sind einige Beispiele für Prompts und ihre Vorhersagewerte.
| Prompt | Vorhersagewert | Kommentar |
|---|---|---|
| „Schreib ein Gedicht über Pfingstrosen“ | 0,13 | Das Modell kann auf sein Wissen zurückgreifen und die Antwort muss nicht begründet werden. |
| „Empfehle mir ein Spielzeug für ein zweijähriges Kind“ | 0,36 | Das Modell kann auf sein Wissen zurückgreifen und die Antwort muss nicht begründet werden. |
| „Kannst du mir ein Rezept für eine asiatisch inspirierte Guacamole nennen?“ | 0,55 | Die Google Suche kann eine fundierte Antwort liefern, eine Fundierung ist aber nicht unbedingt erforderlich. Das Modellwissen reicht möglicherweise aus. |
| „Was ist Agent Builder? Wie wird die Fundierung in Agent Builder abgerechnet?“ | 0,72 | Erfordert die Google Suche, um eine fundierte Antwort zu generieren |
| „Wer hat den letzten Formel-1-Grand-Prix gewonnen?“ | 0,97 | Erfordert die Google Suche, um eine fundierte Antwort zu generieren |
In Ihrer Anfrage zur Generierung fundierter Antworten können Sie eine Konfiguration für den dynamischen Abruf mit einem Grenzwert angeben. Der Schwellenwert ist ein Gleitkommawert im Bereich [0,1] und standardmäßig auf 0,7 festgelegt. Wenn der Schwellenwert null ist, wird die Antwort immer mit der Google Suche fundiert. Für alle anderen Schwellenwerte gilt Folgendes:
- Wenn der Vorhersagewert größer oder gleich dem Schwellenwert ist, basiert die Antwort auf der Google Suche. Ein niedrigerer Schwellenwert bedeutet, dass für mehr Prompts Antworten mithilfe der Google Suche generiert werden.
- Wenn der Vorhersagewert unter dem Schwellenwert liegt, generiert das Modell möglicherweise trotzdem eine Antwort, die aber nicht auf der Google Suche basiert.
Um einen geeigneten Schwellenwert für Ihre Geschäftsanforderungen zu finden, können Sie eine repräsentative Reihe von Suchanfragen erstellen, die Sie voraussichtlich erhalten werden. Anschließend können Sie die Abfragen nach dem Vorhersagewert in der Antwort sortieren und einen geeigneten Schwellenwert für Ihren Anwendungsfall auswählen.
Antwort mit der Google Suche fundieren
Im folgenden Beispiel wird gezeigt, wie eine fundierte Antwort aus einem Prompt generiert wird, indem die Google Suche als Grundlage angegeben wird. In diesem Beispiel wird die Methode generateGroundedContent verwendet.
REST
Senden Sie den Prompt in der folgenden curl-Anfrage.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_NUMBER/locations/global:generateGroundedContent" \ -d ' { "contents": [ { "role": "user", "parts": [ { "text": "PROMPT_TEXT" } ] } ], "systemInstruction": { "parts": { "text": "SYSTEM_INSTRUCTION" } }, "groundingSpec": { "groundingSources": [ { "googleSearchSource": { "dynamicRetrievalConfig": { "predictor":{ "threshold": DYNAMIC_RETRIEVAL_THRESHOLD } } } } ] }, "generationSpec": { "modelId": "MODEL_ID", "temperature": TEMPERATURE, "topP": TOP_P, "topK": TOP_K }, "user_context": { "languageCode: "LANGUAGE_CODE", "latLng": { "latitude": LATITUDE, "longitude": LONGITUDE }, } }'Ersetzen Sie Folgendes:
PROJECT_NUMBER: die Nummer Ihres Google Cloud-Projekts.PROMPT_TEXT: die Aufforderung des Nutzers.SYSTEM_INSTRUCTION: Ein optionales Feld, um eine Präambel oder zusätzlichen Kontext anzugeben.DYNAMIC_RETRIEVAL_THRESHOLD: Optionales Feld zum Festlegen des Schwellenwerts, bei dem die Konfiguration für die dynamische Abfrage aufgerufen wird. Es ist ein Gleitkommawert im Bereich [0,1]. Wenn Sie das FelddynamicRetrievalConfighinzufügen, aber das Feldpredictoroderthresholdnicht festlegen, wird der Schwellenwert standardmäßig auf 0,7 festgelegt. Wenn Sie das FelddynamicRetrievalConfignicht festlegen, ist die Antwort immer geerdet.MODEL_ID: Optionales Feld zum Festlegen der Modell-ID des Gemini-Modells, das Sie zum Generieren der fundierten Antwort verwenden möchten. Eine Liste der verfügbaren Modell-IDs finden Sie unter Unterstützte Modelle.TEMPERATURE: Optionales Feld zum Festlegen der Temperatur, die für die Stichprobenerhebung verwendet wird. Google empfiehlt eine Temperatur von 0,0. Weitere Informationen finden Sie unter Parameter für das Gemini-Modell.TOP_P: Optionales Feld zum Festlegen des Top-P-Werts für das Modell. Weitere Informationen finden Sie unter Parameter für das Gemini-Modell.TOP_K: Optionales Feld zum Festlegen des Top-K-Werts für das Modell. Weitere Informationen finden Sie unter Parameter für das Gemini-Modell.LANGUAGE_CODE: Ein optionales Feld, mit dem die Sprache für die generierte Antwort und für den zurückgegebenen Textblock festgelegt werden kann. Wenn die Sprache nicht aus der Abfrage ermittelt werden kann, wird dieses Feld verwendet. Der Standardwert isten. Eine Liste der Sprachcodes finden Sie unter Sprachen.LATITUDE: Optionales Feld zum Festlegen des Breitengrads. Geben Sie den Wert in Dezimalgraden ein, z. B.-25.34.LONGITUDE: Optionales Feld zum Festlegen des Längengrads. Geben Sie den Wert in Dezimalgraden ein, z. B.131.04.
Python
Beispiel für die Generierung einer Antwort mit nur einer Antwortrunde, die auf der Google Suche basiert
Im folgenden Beispiel wird in der Anfrage die Google Suche als Referenzquelle angegeben. In diesem Beispiel wird die Methode generateGroundedContent verwendet. In diesem Beispiel wird auch eine Systemanweisung verwendet, um die Antwort mit einem Smiley-Emoji zu beenden.
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1/projects/123456/locations/global:generateGroundedContent" \
-d '
{
"contents": [{
"role": "user",
"parts": [{
"text": "What is vertex ai agent builder?"
}]
}],
"systemInstruction": {
"parts": {
"text": "Add a smiley emoji after the answer."
}
},
"groundingSpec": {
"groundingSources": [
{
"googleSearchSource": {
"dynamicRetrievalConfig": {
"predictor":{
"threshold": 0.6
}
}
}
}
]
},
"generationSpec": {
"modelId": "gemini-1.5-flash"
}
}
'
Fundierte Antworten in mehreren Gesprächsrunden generieren
Bei der Generierung von Antworten mit mehreren Antworten müssen Sie in jeder Anfrage den gesamten Text senden, der in allen vorherigen Runden zwischen dem Nutzer und dem Modell ausgetauscht wurde. So wird für Kontinuität gesorgt und der Kontext für die Generierung der Antwort auf den letzten Prompt beibehalten.
So erhalten Sie eine fundierte Antwort durch die Generierung mehrerer Antworten:
REST
In den folgenden Beispielen wird gezeigt, wie Sie Prompttexte für den Anschluss an mehrere Gesprächsrunden senden. In diesen Beispielen wird die generateGroundedContent-Methode verwendet und die Antworten werden mit der Google Suche fundiert.
Sie können ähnliche Schritte ausführen, um fundierte Antworten mit anderen Quellen zu generieren.
Senden Sie den ersten Prompt in der folgenden curl-Anfrage.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_NUMBER/locations/global:generateGroundedContent" \ -d ' { "contents": [ { "role": "user", "parts": [ { "text": "PROMPT_TEXT_TURN_1" } ] } ], "systemInstruction": { "parts": { "text": "SYSTEM_INSTRUCTION_TURN_1" } }, "groundingSpec": { "groundingSources": [ { "googleSearchSource": {} } ] }, "generationSpec": { "modelId": "MODEL_ID", "temperature": TEMPERATURE, "topP": TOP_P, "topK": TOP_K }, "user_context": { "languageCode: "LANGUAGE_CODE", "latLng": { "latitude": LATITUDE, "longitude": LONGITUDE }, } }'Ersetzen Sie Folgendes:
PROJECT_NUMBER: die Nummer Ihres Google Cloud-Projekts.PROMPT_TEXT_TURN_1: den Prompt-Text des Nutzers in der ersten Runde.SYSTEM_INSTRUCTION_TURN_1: Ein optionales Feld, um eine Präambel oder zusätzlichen Kontext anzugeben. Wenn Sie Antworten mit mehreren Antworten generieren möchten, müssen Sie für jede Antwort die Systemanweisungen angeben.MODEL_ID: Optionales Feld zum Festlegen der Modell-ID des Gemini-Modells, das Sie zum Generieren der fundierten Antwort verwenden möchten. Eine Liste der verfügbaren Modell-IDs finden Sie unter Unterstützte Modelle.TEMPERATURE: Optionales Feld zum Festlegen der Temperatur, die für die Stichprobenerhebung verwendet wird. Google empfiehlt eine Temperatur von 0,0. Weitere Informationen finden Sie unter Parameter für das Gemini-Modell.TOP_P: Optionales Feld zum Festlegen des Top-P-Werts für das Modell. Weitere Informationen finden Sie unter Parameter für das Gemini-Modell.TOP_K: Optionales Feld zum Festlegen des Top-K-Werts für das Modell. Weitere Informationen finden Sie unter Parameter für das Gemini-Modell.LANGUAGE_CODE: Ein optionales Feld, mit dem die Sprache für die generierte Antwort und für den zurückgegebenen Textblock festgelegt werden kann. Wenn die Sprache nicht aus der Abfrage ermittelt werden kann, wird dieses Feld verwendet. Der Standardwert isten. Eine Liste der Sprachcodes finden Sie unter Sprachen.LATITUDE: Optionales Feld zum Festlegen des Breitengrads. Geben Sie den Wert in Dezimalgraden ein, z. B.-25.34.LONGITUDE: Optionales Feld zum Festlegen des Längengrads. Geben Sie den Wert in Dezimalgraden ein, z. B.131.04.
Senden Sie den zweiten Prompt als Follow-up. Fügen Sie den ersten Prompt des Nutzers und die entsprechende Antwort des Modells als Kontext hinzu.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_NUMBER/locations/global:generateGroundedContent" \ -d ' { "contents": [ { "role": "user", "parts": [ { "text": "PROMPT_TEXT_TURN_1" } ] }, { "role": "model", "parts": [ { "text": "ANSWER_TEXT_TURN_1" } ] }, { "role": "user", "parts": [ { "text": "PROMPT_TEXT_TURN_2" } ] } ], "systemInstruction": { "parts": { "text": "SYSTEM_INSTRUCTION_TURN_2" } }, "groundingSpec": { "groundingSources": [ { "googleSearchSource": {} } ] }, "generationSpec": { "modelId": "MODEL_ID", "temperature": TEMPERATURE, "topP": TOP_P, "topK": TOP_K }, "user_context": { "languageCode: "LANGUAGE_CODE", "latLng": { "latitude": LATITUDE, "longitude": LONGITUDE }, } }'Ersetzen Sie Folgendes:
PROJECT_NUMBER: die Nummer Ihres Google Cloud-Projekts.PROMPT_TEXT_TURN_1: den Prompt-Text des Nutzers in der ersten Runde.ANSWER_TEXT_TURN_1: Der Antworttext aus dem Modell in der ersten Runde.PROMPT_TEXT_TURN_2: Der Prompt-Text des Nutzers in der zweiten Runde.SYSTEM_INSTRUCTION_TURN_2: Ein optionales Feld, um eine Präambel oder zusätzlichen Kontext anzugeben. Wenn Sie Antworten mit mehreren Antworten generieren möchten, müssen Sie für jede Antwort die Systemanweisungen angeben.MODEL_ID: Optionales Feld zum Festlegen der Modell-ID des Gemini-Modells, das Sie zum Generieren der fundierten Antwort verwenden möchten. Eine Liste der verfügbaren Modell-IDs finden Sie unter Unterstützte Modelle.TEMPERATURE: Optionales Feld zum Festlegen der Temperatur, die für die Stichprobenerhebung verwendet wird. Google empfiehlt eine Temperatur von 0,0. Weitere Informationen finden Sie unter Parameter für das Gemini-Modell.TOP_P: Optionales Feld zum Festlegen des Top-P-Werts für das Modell. Weitere Informationen finden Sie unter Parameter für das Gemini-Modell.TOP_K: Optionales Feld zum Festlegen des Top-K-Werts für das Modell. Weitere Informationen finden Sie unter Parameter für das Gemini-Modell.LANGUAGE_CODE: Ein optionales Feld, mit dem die Sprache für die generierte Antwort und für den zurückgegebenen Textblock festgelegt werden kann. Wenn die Sprache nicht aus der Abfrage ermittelt werden kann, wird dieses Feld verwendet. Der Standardwert isten. Eine Liste der Sprachcodes finden Sie unter Sprachen.LATITUDE: Optionales Feld zum Festlegen des Breitengrads. Geben Sie den Wert in Dezimalgraden ein, z. B.-25.34.LONGITUDE: Optionales Feld zum Festlegen des Längengrads. Geben Sie den Wert in Dezimalgraden ein, z. B.131.04.
Wiederholen Sie diesen Vorgang, um weitere Antworten zu erhalten. Fügen Sie in jeder Runde alle vorherigen Prompts des Nutzers hinzu, gefolgt von den entsprechenden Antworten des Modells.
Beispiel für die Generierung von Antworten in mehreren Schritten
Im folgenden Beispiel werden in der Anfrage drei Inline-Faktentexte als Grundlage für die Generierung von Antworten über zwei Gesprächsrunden angegeben. In diesem Beispiel wird die Methode generateGroundedContent verwendet. In diesem Beispiel wird auch eine Systemanweisung verwendet, um die Antwort in der ersten Runde mit einem Smiley-Emoji zu beenden.
REST
Senden Sie den ersten Prompt in der folgenden curl-Anfrage.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/123456/locations/global:generateGroundedContent" \ -d ' { "contents": [ { "role": "user", "parts": [ { "text": "Summarize what happened in 2023 in one paragraph." } ] } ], "systemInstruction": { "parts": { "text": "Add a smiley emoji after the answer." } }, "grounding_spec": { "grounding_sources": [ { "inline_source": { "grounding_facts": [ { "fact_text": "In 2023, the world population surpassed 8 billion. This milestone marked a significant moment in human history, highlighting both the rapid growth of our species and the challenges of resource management and sustainability in the years to come.", "attributes": { "title": "title_1", "uri": "some-uri-1" } } ] } }, { "inline_source": { "grounding_facts": [ { "fact_text": "In 2023, global e-commerce sales reached an estimated $5.7 trillion. The continued rise of online shopping solidified its position as a dominant force in retail, with major implications for traditional brick-and-mortar stores and the logistics networks supporting worldwide deliveries.", "attributes": { "title": "title_2", "uri": "some-uri-2" } } ] } }, { "inline_source": { "grounding_facts": [ { "fact_text": "In 2023, the global average surface temperature was approximately 0.2 degrees Celsius higher than the 20th-century average. This continued the worrying trend of global warming, underscoring the urgency of worldwide climate initiatives, carbon reduction efforts, and investment in renewable energy sources.", "attributes": { "title": "title_3", "uri": "some-uri-3" } } ] } } ] }, "generationSpec": { "modelId": "gemini-1.5-flash" } }'Senden Sie den zweiten Prompt als Follow-up. Fügen Sie den ersten Prompt des Nutzers und die entsprechende Antwort des Modells als Kontext hinzu.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/123456/locations/global:generateGroundedContent" \ -d ' { "contents": [ { "role": "user", "parts": [ { "text": "Summarize what happened in 2023 in one paragraph." } ] }, { "role": "model", "parts": [ { "text": "In 2023, the global average surface temperature increased, the world population surpassed 8 billion, and global e-commerce sales reached an estimated $5.7 trillion. 😊 \n" } ] }, { "role": "user", "parts": [ { "text": "Rephrase the answer in an abstracted list." } ] } ], "grounding_spec": { "grounding_sources": [ { "inline_source": { "grounding_facts": [ { "fact_text": "In 2023, the world population surpassed 8 billion. This milestone marked a significant moment in human history, highlighting both the rapid growth of our species and the challenges of resource management and sustainability in the years to come.", "attributes": { "title": "title_1", "uri": "some-uri-1" } } ] } }, { "inline_source": { "grounding_facts": [ { "fact_text": "In 2023, global e-commerce sales reached an estimated $5.7 trillion. The continued rise of online shopping solidified its position as a dominant force in retail, with major implications for traditional brick-and-mortar stores and the logistics networks supporting worldwide deliveries.", "attributes": { "title": "title_2", "uri": "some-uri-2" } } ] } }, { "inline_source": { "grounding_facts": [ { "fact_text": "In 2023, the global average surface temperature was approximately 0.2 degrees Celsius higher than the 20th-century average. This continued the worrying trend of global warming, underscoring the urgency of worldwide climate initiatives, carbon reduction efforts, and investment in renewable energy sources.", "attributes": { "title": "title_3", "uri": "some-uri-3" } } ] } } ] }, "generationSpec": { "modelId": "gemini-1.5-flash" } }'
Antworten mit Faktenbasis streamen
Sie können die Antworten aus dem Modell streamen. Das ist in Fällen hilfreich, in denen die Antwort besonders lang ist und das Senden der gesamten Antwort auf einmal zu einer erheblichen Verzögerung führt. Beim Streamen der Antwort wird die Antwort in ein Array mehrerer Kandidaten aufgeteilt, die aufeinanderfolgende Teile des Antworttexts enthalten.
So erhalten Sie eine gestreamte, fundierte Antwort:
REST
Im folgenden Beispiel wird gezeigt, wie eine fundierte Antwort gestreamt wird.
In diesem Beispiel wird die Methode streamGenerateGroundedContent verwendet und die Antwort wird ohne dynamische Abrufkonfiguration auf der Google Suche begründet. Sie können ähnliche Schritte ausführen, um fundierte Antworten mit anderen Quellen zu generieren.
Senden Sie den Prompt in der folgenden curl-Anfrage.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_NUMBER/locations/global:streamGenerateGroundedContent" \ -d ' [ { "contents": [ { "role": "user", "parts": [ { "text": "PROMPT_TEXT" } ] } ], "systemInstruction": { "parts": { "text": "SYSTEM_INSTRUCTION" } }, "groundingSpec": { "groundingSources": [ { "googleSearchSource": {} } ] }, "generationSpec": { "modelId": "MODEL_ID", "temperature": TEMPERATURE, "topP": TOP_P, "topK": TOP_K }, "user_context": { "languageCode: "LANGUAGE_CODE", "latLng": { "latitude": LATITUDE, "longitude": LONGITUDE }, } } ]'Ersetzen Sie Folgendes:
PROJECT_NUMBER: die Nummer Ihres Google Cloud-Projekts.PROMPT_TEXT: die Aufforderung des Nutzers.SYSTEM_INSTRUCTION: Ein optionales Feld, um eine Präambel oder zusätzlichen Kontext anzugeben.MODEL_ID: Optionales Feld zum Festlegen der Modell-ID des Gemini-Modells, das Sie zum Generieren der fundierten Antwort verwenden möchten. Eine Liste der verfügbaren Modell-IDs finden Sie unter Unterstützte Modelle.TEMPERATURE: Optionales Feld zum Festlegen der Temperatur, die für die Stichprobenerhebung verwendet wird. Google empfiehlt eine Temperatur von 0,0. Weitere Informationen finden Sie unter Parameter für das Gemini-Modell.TOP_P: Optionales Feld zum Festlegen des Top-P-Werts für das Modell. Weitere Informationen finden Sie unter Parameter für das Gemini-Modell.TOP_K: Optionales Feld zum Festlegen des Top-K-Werts für das Modell. Weitere Informationen finden Sie unter Parameter für das Gemini-Modell.LANGUAGE_CODE: Ein optionales Feld, mit dem die Sprache für die generierte Antwort und für den zurückgegebenen Textblock festgelegt werden kann. Wenn die Sprache nicht aus der Abfrage ermittelt werden kann, wird dieses Feld verwendet. Der Standardwert isten. Eine Liste der Sprachcodes finden Sie unter Sprachen.LATITUDE: Optionales Feld zum Festlegen des Breitengrads. Geben Sie den Wert in Dezimalgraden ein, z. B.-25.34.LONGITUDE: Optionales Feld zum Festlegen des Längengrads. Geben Sie den Wert in Dezimalgraden ein, z. B.131.04.
Python
Beispiel für das Streaming fundierter Antworten
Im folgenden Beispiel wird in der Anfrage die Google Suche als Referenzquelle angegeben, um eine Antwort ohne die Konfiguration für den dynamischen Abruf zu streamen. Die gestreamte Antwort wird auf mehrere Antwortkandidaten verteilt. In diesem Beispiel wird die Methode streamGenerateGroundedContent verwendet.
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1alpha/projects/123456/locations/global:streamGenerateGroundedContent" \
-d '
[
{
"contents": [
{
"role": "user",
"parts": [
{
"text": "Summarize How to delete a data store in Vertex AI Agent Builder?"
}
]
}
],
"groundingSpec": {
"groundingSources": [
{
"googleSearchSource": {}
}
]
},
"generationSpec": {
"modelId": "gemini-1.5-flash"
}
}
]'
Unterstützte Modelle
Die folgenden Modelle unterstützen Grounding:
- Gemini 1.5 Pro nur mit Texteingabe
- Gemini 1.5 Flash nur mit Texteingabe
- Gemini 1.0 Pro nur mit Texteingabe
Weitere Informationen zu diesen Gemini-Modellen finden Sie unter Gemini-Modellversionen und Lebenszyklus.
Wenn Sie die Methode generateGroundedContent aufrufen, können Sie die folgenden Modell-IDs verwenden:
| Modell-ID | Automatisch aktualisiert |
|---|---|
default |
Ja |
gemini-1.0-pro |
Ja |
gemini-1.0-pro-001 |
Nein |
gemini-1.0-pro-002 |
Nein |
gemini-1.5-flash |
Ja |
gemini-1.5-flash-001 |
Nein |
gemini-1.5-flash-002 |
Nein |
gemini-1.5-pro |
Ja |
gemini-1.5-pro-001 |
Nein |
gemini-1.5-pro-002 |
Nein |
High-Fidelity-Modelle
Bei allgemeinen Anwendungsfällen wie Reiseassistenz kann die Methode zur Generierung fundierter Antworten gute Ergebnisse erzielen, indem der bereitgestellte Kontext, z. B. Inline-Text oder Unternehmensdaten, mit dem Training des Modells zusammengeführt wird. In spezialisierten Branchen wie Finanzdienstleistungen, Gesundheitswesen und Versicherungen müssen die generierten Ergebnisse jedoch häufig ausschließlich aus dem bereitgestellten Kontext stammen. Zur Unterstützung solcher Anwendungsfälle für die Begründung ist das folgende High-Fidelity-Modell verfügbar, das mit der Methode zur Generierung fundierter Antworten verwendet werden kann:
| Modellname | Modell-ID | Basierend auf | Verlaufszeitraum | Beschreibung |
|---|---|---|---|---|
| Gemini 1.5 Flash High Fidelity | gemini-1.5-flash-002-high-fidelity |
Gemini 1.5 Flash-Modell | 32 Kbit/s | Nimmt Textprompts als Eingaben an und generiert kontextbezogene Textantworten. Der Schwerpunkt liegt auf Genauigkeit, Zuverlässigkeit und Sicherheit. |
Nächste Schritte
Hier erfahren Sie, wie Sie die Methode der fundierten Generierung mit anderen RAG-APIs verwenden, um fundierte Antworten aus unstrukturierten Daten zu generieren.