Mit Example Store können Sie Few-Shot-Beispiele speichern und dynamisch abrufen. Mit Few-Shot-Beispielen können Sie einem LLM die erwarteten Antwortmuster vorführen, um die Qualität, Genauigkeit und Konsistenz der Antworten auf ähnliche Anfragen zu verbessern.
Was sind Few-Shot-Beispiele?
Ein Few-Shot-Beispiel sind gelabelte Daten, die für Ihren LLM-Anwendungsfall spezifisch sind. Es enthält ein Eingabe-/Ausgabepaar, das die erwartete Modellantwort für eine Modellanfrage zeigt. Mit Beispielen können Sie das erwartete Verhalten oder Antwortmuster eines LLM demonstrieren.
Mit nur wenigen relevanten Beispielen können Sie eine größere Anzahl möglicher Ergebnisse, beabsichtigtes Verhalten und Nutzereingaben abdecken, ohne die Größe oder Komplexität von Prompts entsprechend zu erhöhen. Das wird erreicht, indem nur relevante Beispiele aufgenommen werden (wodurch die Anzahl der Beispiele verringert wird) und das erwartete Verhalten „gezeigt“ statt „erzählt“ wird.
Die Verwendung von Few-Shot-Beispielen ist eine Form des kontextbezogenen Lernens. Ein Beispiel zeigt ein klares Muster von Ein- und Ausgaben, ohne zu erklären, wie das Modell die Inhalte generiert. Sie können mit relativ wenigen Beispielen mehr mögliche Ergebnisse oder Nutzeranfragen abdecken, ohne die Prompt-Größe oder die Codekomplexität zu erhöhen. Bei der Verwendung von Beispielen werden die Parameter des vortrainierten Modells nicht aktualisiert und die Breite des Wissens des LLM wird nicht beeinträchtigt. Das kontextbezogene Lernen mit Beispielen ist daher ein relativ einfacher und prägnanter Ansatz, um die Argumentation und Antwort eines LLM auf bisher unbekannte Prompts anzupassen, zu korrigieren oder zu verbessern.
Wenn Sie relevante Beispiele sammeln, die repräsentativ für Ihre Nutzeranfragen sind, helfen Sie dem Modell, die Aufmerksamkeit aufrechtzuerhalten, das erwartete Muster zu demonstrieren und auch falsches oder unerwartetes Verhalten zu korrigieren. Dies hat keine Auswirkungen auf andere Anfragen, die zu den erwarteten Antworten führen.
Wie alle Prompt-Engineering-Strategien ergänzen Beispiele für Schnellerstellungen andere LLM-Optimierungstechniken wie Abstimmung oder RAG.
Example Store verwenden
Die folgenden Schritte beschreiben, wie Sie den Beispiel-Store verwenden können:
Erstellen oder verwenden Sie eine
ExampleStore-Ressource, auch „Example Store-Instanz“ genannt.- Pro Region und Projekt können Sie maximal 50 Example Store-Instanzen haben.
Beispiele auf Grundlage von LLM-Antworten schreiben und hochladen Es gibt zwei mögliche Szenarien:
Wenn das Verhalten und das Antwortmuster des LLM wie erwartet sind, schreiben Sie Beispiele basierend auf diesen Antworten und laden Sie sie in die Example Store-Instanz hoch.
Wenn das LLM unerwartetes Verhalten oder Antwortmuster zeigt, schreiben Sie ein Beispiel, um zu demonstrieren, wie die Antwort korrigiert werden kann, und laden Sie es dann in die Example Store-Instanz hoch.
Die hochgeladenen Beispiele sind sofort für den Agenten oder die LLM-Anwendung verfügbar, die mit der Example Store-Instanz verknüpft ist.
Wenn ein auf dem Vertex AI Agent Development Kit basierender Agent mit der Example Store-Instanz verknüpft ist, ruft der Agent die Beispiele automatisch ab und fügt sie in die LLM-Anfrage ein.
Bei allen anderen LLM-Anwendungen müssen Sie nach den Beispielen suchen und sie abrufen und dann in Ihre Prompts einfügen.
Sie können einer Example Store-Instanz weiterhin iterativ Beispiele hinzufügen, wenn Sie eine unerwartete Leistung des LLM beobachten oder auf feindselige oder unerwartete Nutzeranfragen stoßen. Sie müssen Ihren Code nicht aktualisieren oder eine neue Version Ihrer LLM-Anwendung neu bereitstellen. Die Beispiele sind für den Agenten oder die Anwendung verfügbar, sobald Sie sie in die Example Store-Instanz hochladen.
Außerdem haben Sie folgende Möglichkeiten:
Beispiele abrufen, indem Sie eine Suche nach Kosinus-Ähnlichkeit zwischen den Suchschlüsseln der gespeicherten Beispiele und denen in Ihrer Anfrage durchführen.
Filtern Sie die Beispiele nach Funktionsname und beschränken Sie die Liste der infrage kommenden Beispiele auf diejenigen, die die möglichen Antworten des LLM darstellen.
Verbessern Sie Ihren Agenten oder Ihre LLM-Anwendung iterativ.
Beispiele für mehrere Agents oder LLM-Anwendungen freigeben
Richtlinien zum Erstellen von Few-Shot-Beispielen
Die Auswirkungen von Beispielen auf die Modellleistung hängen davon ab, welche Arten von Beispielen in den Prompts enthalten sind und wie sie eingebunden werden.
Im Folgenden finden Sie allgemeine Empfehlungen für das Erstellen von Beispielen:
Relevanz und Ähnlichkeit: Die Beispiele müssen sich auf die jeweilige Aufgabe oder Domain beziehen. So kann sich das Modell auf die relevantesten Aspekte seines Wissens konzentrieren, die Tokennutzung wird verringert und die Leistung bleibt gleich oder wird sogar verbessert. Sie benötigen weniger Beispiele, wenn diese für die Unterhaltung relevant sind. Die verfügbaren Beispiele müssen repräsentativ für mögliche Nutzeranfragen sein. Außerdem muss ein Beispiel für eine bestimmte Nutzeranfrage relevant sein.
Komplexität: Damit das LLM bessere Ergebnisse erzielt, sollten Sie Beispiele mit geringer Komplexität verwenden, um die erwartete Argumentation zu demonstrieren.
Repräsentativ für die möglichen Modellergebnisse: Die erwarteten Antworten in einem Beispiel müssen mit dem möglichen Ergebnis übereinstimmen. So kann im Beispiel deutlich gezeigt werden, dass die Argumentation mit der erwarteten Argumentation des LLM für den Prompt übereinstimmt.
Format: Damit Sie die beste Leistung erzielen, sollten Sie die Beispiele für den Few-Shot-Ansatz in Ihrem Prompt so formatieren, dass sie mit den LLM-Trainingsdaten übereinstimmen und sich vom Unterhaltungsverlauf unterscheiden. Die Formatierung von Beispielen in einem Prompt kann die LLM-Leistung erheblich beeinflussen.
Anwendungsbeispiel: Funktionsaufrufe
Mit Few-Shot-Beispielen lässt sich die Leistung von Funktionsaufrufen verbessern.
Sie können den erwarteten Funktionsaufruf für eine Nutzeranfrage in einem einheitlichen Muster angeben. Das Beispiel kann die erwartete Antwort auf die Anfrage modellieren, indem es angibt, welche Funktion aufgerufen werden muss und welche Argumente im Funktionsaufruf enthalten sein müssen. Stellen Sie sich einen Anwendungsfall vor, in dem die Funktion get_store_location den Standort eines Geschäfts und seine Beschreibung zurückgibt. Wenn eine Anfrage diese Funktion nicht wie erwartet aufruft oder eine unerwartete Ausgabe zurückgibt, können Sie das Verhalten für nachfolgende Anfragen mit Few-Shot-Beispielen korrigieren.
Weitere Informationen zu Funktionsaufrufen finden Sie unter Funktionsaufrufe.
Weitere Informationen finden Sie unter Beispiel-Store-Kurzanleitung.