Multimodale Prompts entwerfen

Mit der Gemini API können Sie multimodale Eingabeaufforderungen an das Gemini-Modell senden. Zu den unterstützten Modalitäten gehören Text, Bild und Video.

Allgemeine Anleitungen zum Design von Prompts finden Sie unter Strategien für das Prompt-Design.

Unterstützte Modelle

Die folgenden Modelle unterstützen multimodale Prompt-Antworten.

• Gemini 1.5 Flash
• Gemini 1.5 Pro,
• Gemini 1.0 Pro Vision

Sie können Ihre multimodalen Prompts mit den folgenden Best Practices verbessern:

• Grundlagen des Prompt-Designs

  • Formulieren Sie spezifische Anweisungen: Stellen Sie klare und präzise Anweisungen bereit, die möglichst wenig Raum für Fehldeutungen lassen.
  • Ein paar Beispiele zum Prompt hinzufügen: Verwenden Sie realistische Few-Shot-Beispiele, um zu veranschaulichen, was Sie erreichen möchten.
  • Schritt für Schritt aufschlüsseln: Teilen Sie komplexe Aufgaben in überschaubare Unterziele auf und führen Sie das Modell durch den Prozess.
  • Ausgabeformat angeben: Fordern Sie in dem Prompt an, dass die Ausgabe in dem gewünschten Format vorliegt, z. B. Markdown, JSON, HTML und mehr.
  • Bild zuerst für Aufforderungen mit einem einzelnen Bild platzieren: Zwar kann Gemini Bild- und -Texteingaben in beliebiger Reihenfolge verarbeiten, für Aufforderungen mit einem einzelnen Bild kann es jedoch besser sein, wenn dieses Bild (oder Video) vor der Textaufforderung platziert wird. Verwenden Sie jedoch für Aufforderungen, die Bilder erfordern, die eng mit Texten verknüpft sein müssen, die am ehesten natürliche Reihenfolge.

• Fehlerbehebung bei multimodalem Prompt

  • Wenn das Modell aus dem relevanten Teil des Bildes keine Informationen bezieht:Geben Sie an, aus welchen Aspekte des Bildes der Prompt Informationen abrufen soll.
  • Wenn die Modellausgabe zu allgemein ist (nicht genug auf die Bild-/Videoeingabe zugeschnitten) : Versuchen Sie zu Beginn des Prompts, das Modell um eine Beschreibung des Bildes oder Videos zu bitten, bevor Sie die Aufgabe beschreiben. oder bitten Sie das Modell, sich auf den Inhalt des Bildes zu beziehen.
  • Fehlerbehebung, welcher Teil fehlgeschlagen ist:Bitten Sie das Modell, das Bild zu beschreiben, oder bitten Sie das Modell, seine Logik zu erläutern, um das ursprüngliche Verständnis des Modells zu messen.
  • Wenn die Eingabeaufforderung zu halluzinierten Inhalten führt, sollten Sie die Temperatureinstellung verringern oder das Modell um kürzere Beschreibungen bitten, damit die Wahrscheinlichkeit geringer ist, dass zusätzliche Details angezeigt werden.
  • Parameter für die Stichprobenerhebung optimieren:Experimentieren Sie mit verschiedenen Temperatureinstellungen und „Top-K“-Auswahlen, um die Kreativität des Modells anzupassen.

Grundlagen des Prompt-Designs

In diesem Abschnitt werden die im vorherigen Abschnitt aufgeführten Best Practices erweitert.

Hinweis: Die Modellergebnisse aus den folgenden Gemini-Beispielen können von Ausführung zu Ausführung variieren.

Machen Sie genaue Anweisungen

Prompts haben den größten Erfolg, wenn sie klar und detailliert sind. Wenn Sie eine bestimmte Ausgabe im Hinterkopf haben, sollten Sie diese Anforderung in den Prompt aufnehmen, damit Sie die gewünschte Ausgabe erhalten.

Manchmal wird der Zweck einer Prompt der Person, die sie geschrieben hat, offensichtlich, aber tatsächlich wird er nicht angegeben. Überlegen Sie beim Anpassen des Modellverhaltens, wie Ihre Aufforderung (falsch) interpretiert werden könnte, und achten Sie darauf, dass die von Ihnen angegebenen Anweisungen spezifisch und klar sind. Denken Sie daran, möglichst wenig Raum für Fehldeutungen zu lassen.

Wenn Sie für dieses Bild eines Flughafenboards die Anfrage an das Modell senden, nur „Dieses Bild beschreiben“ könnte es eine allgemeine Beschreibung generieren. Wenn das Modell die Zeit und die Stadt aus dem Bild parsen soll, können Sie diese Anfrage direkt in den Prompt einfügen.

Prompt	Modellantwort
Beschreiben Sie dieses Bild.	Auf dem Bild ist eine Anzeige für Ankunfts- und Abflugfinfos für den Flughafen zu sehen.

Aktualisierter Prompt	Verbesserte Antwort
Parsen Sie die Uhrzeit und die Stadt vom Flughafenanzeige in dem Bild in eine Liste.	10:50 Moskau 11:05 Edinburgh 11:05 London 11:10 Bukarest 11:30 Kiew 11:35 Dublin 11:45 East Midlands 12:15 Sofia 12:30 London 12:30 Newcastle 12:40 Sankt Petersburg 12:40 London 12:45 Manchester

Ein paar Beispiele hinzufügen

Das Gemini-Modell kann mehrere Eingaben akzeptieren, die es als Beispiele für das Verständnis der gewünschten Ausgabe verwenden kann. Wenn Sie diese Beispiele hinzufügen, kann das Modell die Muster leichter identifizieren und die Beziehung zwischen den angegebenen Bildern und Antworten auf das neue Beispiel anwenden. Dies wird auch als „Few-Shot“-Lernen bezeichnet.

Im folgenden Beispiel wird die ursprüngliche Ausgabe in Satzform geschrieben und enthält auch das Land (Brasilien). Angenommen, Sie möchten die Ausgabe in einem anderen Format oder Stil haben und nur die Stadt und nicht das Land benötigen. Wenn Sie Ihrer Prompt Few-Shot-Beispiele hinzufügen, können Sie das Modell so steuern, dass es antwortet, wie Sie es möchten.

Eingabeaufforderung	Modellantwort
Bestimmen Sie die Stadt zusammen mit der Sehenswürdigkeit.	Die Sehenswürdigkeit ist die Cristo Redentor-Statue in Rio de Janeiro, Brasilien.

Aktualisierter Prompt	Verbesserte Antwort
Bestimmen Sie die Stadt zusammen mit der Sehenswürdigkeit.	Stadt: Rom, Sehenswürdigkeit: Kolosseum.
	Stadt: Peking, Sehenswürdigkeit: Verbotene Stadt
	Stadt: Rio de Janeiro, Sehenswürdigkeit: Cristo Redentor-Statue

Schritt-für-Schritt-Anleitung

Bei komplexen Aufgaben wie Aufgaben, die sowohl visuelles Verständnis als auch Logik erfordern, kann es hilfreich sein, die Aufgabe in kleinere, einfachere Schritte aufzuteilen. Alternativ kann es auch sinnvoll sein, wenn Sie das Modell in Ihrem Prompt direkt bitten, schrittweise zu denken.

Prompt	Modellantwort
Wann habe ich kein Toilettenpapier mehr?	Bald sind nur noch 3 Rollen übrig.

Aktualisierter Prompt	Verbesserte Antwort
1. Zählen Sie zuerst, wie viele Toilettenpapierrollen auf diesem Bild zu sehen sind. 2. Ermitteln Sie dann, wie viel Toilettenpapier eine typische Person pro Tag verwendet. 3. Berechnen Sie, wie lange diese Rollen von Toilettenpapier halten.	1. Auf diesem Bild sind drei Rollen Toilettenpapier zu sehen. 2. Eine typische Person verwendet täglich etwa 20 Blätter Toilettenpapier. 3. Wenn jede Rolle 200 Tabellenblatt enthält, hält jede Roll etwa 10 Tage lang. Daher halten die 3 Rollen etwa einen Monat.

Mathematische Aufgaben oder andere Arten von Wortproblemen sind gute Kandidaten dafür, das Modell zu bitten, Schritt für Schritt zu denken.

Eingabeaufforderung	Antwort
Was ist der vierte Begriff in der Sequenz?	-135

Die Antwort des Modells ist falsch. Zum Verbessern Sie können das Modell beispielsweise bitten, das Problem zu parsen, bevor es den Prompt beantwortet.

Eingabeaufforderung

Antwort

Parsen Sie zuerst die Formel im Bild. Beantworte dann anhand der Formel: „Was ist der vierte Begriff in der Folge?“.

Klicken Sie, um das Ergebnis zu maximieren $$ b(n) = b(n-1) * (-3) $$ $$ b(1) = 15 $$ Setzen Sie in der Formel n = 4 ein: $$ b(4) = b(4-1) * (-3) $$ $$ b(4) = b(3) * (-3) $$ Wir kennen den Wert von b(3) nicht. Setzen Sie daher n = 3 in der Formel ein: $$ b(3) = b(3-1) * (-3) $$ $$ b(3) = b(2) * (-3) $$ Wir kennen den Wert von b(2) nicht. Setzen Sie daher n = 2 in der Formel ein: $$ b(2) = b(2-1) * (-3) $$ $$ b(2) = b(1) * (-3) $$ Da wir wissen, dass der Wert von b(1) 15 ist, setzen Sie ihn in der Formel ein: $$ b(2) = 15 * (-3) $$ $$ b(2) = -45 $$ Nachdem wir den Wert von b(2) kennen, setzen Sie ihn in der Formel für b(3) ein: $$ b(3) = b(2) * (-3) $$ $$ b(3) = -45 * (-3) $$ $$ b(3) = 135 $$ Nachdem wir den Wert von b(3) kennen, setzen Sie ihn in der Formel für b(4) ein: $$ b(4) = b(3) * (-3) $$ $$ b(4) = 135 * (-3) $$ $$ b(4) = -405 $$ Daher ist der vierte Begriff in der Sequenz -405.

Diese Modellantwort ist korrekt. Wenn Sie die Antwort jetzt noch optimieren möchten, können Sie das Modell bitten, schrittweise zu denken.

Aktualisierter Prompt	Verbesserte Antwort
Was ist der vierte Begriff in der Sequenz? Detaillierte Anleitung	Der erste Begriff ist 15. Der zweite Begriff ist b(1) * (-3) = 15 * (-3) = -45. Der dritte Begriff ist b(2) * (-3) = -45 * (-3) = 135. Der vierte Begriff ist b(3) * (-3) = 135 * (-3) = -405.

Versuchen Sie, das Ausgabeformat anzugeben

Ein häufiges Problem besteht darin, dass die Modellausgabe in einem bestimmten Format vorliegen muss (z. B. Markdown, JSON, HTML), insbesondere wenn die Modellausgabe von einer nachgelagerten Aufgabe aufgenommen werden muss. Sie können versuchen, eine Ausgabe in diesem Format zu erstellen, indem Sie das Modell im Prompt dazu anweisen. Hier sind zwei Beispiele:

Prompt	Modellantwort
Die Tabelle in diesem Bild in das Markdown-Format parsen	| Betreff | Status | Zeit | Startdatum | Fällig am | | ------- | ------ | ---- | --------- | ------ | | Mathematik | Fertig | 1,5 Std. | 29.11.2023 | 1.12.2023 | | Region | Fertig | 30 Min. | 2.12.2023 | 4.12.2023 | | Physik | In Bearbeitung | 2 Std. | 3.12.2023 | 5.12.2023 | | Biologie | Nicht gestartet | 6 Std. | 2.11.2016 | 6.12.2023 |

Eingabeaufforderung	Modellantwort
Geben Sie eine Liste aller folgenden Attribute an: Zutaten, Art der Küche, vegetarisch oder nicht, im JSON-Format	```json``` { "ingredients": [ "rice", "shrimp", "clams", "mussels", "peas", "tomatoes", "onions", "garlic", "olive oil", "paprika", "salt", "pepper" ], "type of cuisine": "Spanish", "vegetarian": false

Bild zuerst für Aufforderungen mit einem einzelnen Bild platzieren

Gemini kann Bilder und Text in beliebiger Reihenfolge innerhalb einer Eingabeaufforderung interpretieren. Die Platzierung eines einzelnen Bildes vor der Textaufforderung kann jedoch zu besseren Ergebnissen führen. In den folgenden Beispielen sehen Sie, dass das Bild oder Video in jedem Prompt zuerst vor dem Text steht.

Fehlerbehebung bei multimodalem Prompt

Möglicherweise müssen Sie Probleme mit Ihrer Prompt beheben, wenn Sie keine hilfreiche Antwort erhalten. Hier sind einige Strategien, die Sie ausprobieren können:

Wenn das Modell keine Informationen aus dem relevanten Bildteil abruft

Um eine spezifischere Antwort zu erhalten, können Sie angeben, aus welchen Aspekten des Bildes Informationen herausgegeben werden sollen.

Prompt	Modellantwort
Wie viele Tage halten diese Windeln für ein Baby?	Die Windel halten 198 Tage, bevor sie aufgebraucht sind.

Aktualisierter Prompt	Verbesserte Antwort
Wie lange halten diese Windeln? Verwenden Sie das auf dem Feld angezeigte Gewicht, um das Alter des Kindes zu bestimmen. Verwenden Sie dann die Gesamtzahl der Windeln im Feld. Teilen Sie die Gesamtzahl durch die Anzahl der Windeln, die das Kind pro Tag benötigt.	Die Verpackung enthält 198 Windeln. Die Verpackung besagt, dass die Windel für ein Kind mit einem Gewicht von 22-37 lbs gedacht sind. Das durchschnittliche Kind in diesem Gewichtbereich ist wahrscheinlich zwischen 1 und 2 Jahren alt. Eine Zweijährige braucht in der Regel sechs Windeln pro Tag, daher halten sie etwa 33 Tage (198/6).

Wenn die Modellausgabe zu allgemein und nicht ausreichend auf die Bild- oder Videoeingabe zugeschnitten ist

Damit das Modell seine Antwort auf das Bild bzw. die Bilder anpassen kann, bitten Sie es, das Bild zu beschreiben, bevor das Modell die Logik ausführt.

Prompt	Modellantwort
Was haben diese Bilder gemeinsam?	Alle vier Bilder sind Beispiele für Bilder im Querformat.

Aktualisierter Prompt

Verbesserte Antwort

Beschreiben Sie zuerst im Detail, was die einzelnen Bilder enthalten. Was haben diese Bilder gemeinsam?

Das erste Bild zeigt eine Person, die einen Koffer verpackt, das zweite zeigt einen leeren Flur in einem Einkaufszentrum, das dritte Bild zeigt einen Rolle von Toilettenpapier und das vierte Bild ein dunkles und stürmisches Meer. Die Gemeinsamkeiten zwischen diesen Bildern sind, dass sie alle Beispiele für Grenzbereiche sind. Grenzbereich sind Orte oder Situationen, die zwischen zwei anderen Orten oder Situationen liegen. Sie sind oft durch ein Gefühl von Unsicherheit oder Mehrdeutigkeit gekennzeichnet. Das erste Bild zeigt die Person, die zwischen der zu Hause und einer Reise steht. Die zweite Abbildung zeigt den Flur zwischen zwei Geschäften. Das dritte Bild ist Toilettenpapier, das ein Bad darstellen kann. Ein Badezimmer ist ein Übergangsraum zwischen privaten und öffentlichen Bereichen. Es ist ein Ort, an dem wir uns darauf vorbereiten, die Außenwelt zu betreten und zu verlassen. Das vierte Bild zeigt das Meer zwischen Ruhe und Sturm. Grenzbereiche können sowohl interessant als auch unübersichtlich sein. Sie können ein Ort für einen neuen Anfang oder ein Ort mit Endungen sein. Sie können ein Ort der Reflexion oder ein Handlungsort sein.

Sie können auch versuchen, das Modell explizit auffordern, auf den Inhalt des Bildes zu verweisen.

Aktualisierter Prompt

Verbesserte Antwort

Was haben diese Bilder gemeinsam? In der Antwort auf den Inhalt der Bildern verweisen

Alle Bilder beziehen sich auf Reisen. Das erste Bild zeigt eine Person, die einen Koffer verpackt, das zweite zeigt einen leeren Flur in einem Einkaufszentrum, das dritte Bild zeigt einen Stapel von Toilettenpapier und das vierte Bild ein dunkles und stürmisches Meer. Diese Bilder beziehen sich alle auf Reisen, da es alles ist, was Nutzer auf Reisen brauchen oder verwenden. Das erste Bild zeigt eine Person, die einen Koffer verpackt. Dies ist etwas, was Nutzer vor einer Reise tun. Die zweite Abbildung zeigt einen leeren Flur in einem Einkaufszentrum, in dem Nutzer häufig Dinge für Ihre Reisen kaufen. Das dritte Bild zeigt einen Stapel von Toilettenpapier, das Menschen häufig auf Reisen verwenden. Das vierte Bild zeigt ein dunkles und stürmisches Meer. Dies ist eines der Dinge, auf die Menschen häufig auf Reisen treffen.

Dieselben Tipps gelten auch für die Creativen Ausgabe von Bildern oder Videos. Im folgenden Beispiel mit dem Kaninchen kann es hilfreich sein, das Modell explizit auffordern, Aspekte aus dem Bild in das Modell aufzunehmen.

Prompt	Modellantwort
Kannst du mir ein Gedicht zu diesem Bild schreiben?	Kleines Kaninchen, so weich und braun, will am liebsten im Feld abhau'n. Die Ohren so lang, der Schwanz so klein, Es ist so süß und trefflich fein. Du knabberst am Gras, so grün und süß, und rennst davon, wenn du mich siehst. Aber ich bin immer dein Freund, denke ich mir verträumt.

Aktualisierter Prompt

Verbesserte Antwort

Können Sie mir ein beschreibendes und pathetisches Gedicht zu diesem Bild schreiben und den Standort einbeziehen?

Kleines Kaninchen im Grün, Ohren, so lang und kühn. Was siehst du in der Ferne liegen, wohin deine Blicke fliegen? Ist es der blaue Ozean, funkelnd in der Sonne Bahn? Oder die Wellen, die brechen und brüllen, ein Rhythmus, der dich will erfüllen? Kleines Wesen sage mir, was nur fasziniert dich hier? Ist es die salzige und starke Brise, oder der Möwenruf über der Wiese? Vielleicht ist es die Unermesslichkeit des Seins, Die Welt, so groß und auch so klein. Ein Ort, an dem sich Träume formen können, und Abenteuer sich enthemmen. Ich frage mich, was ist wohl dein Traum, wenn du so heiter im Grase sitzt im Raum? Möchtest du in die Tiefe vordringen, oder bleiben an Land, wo du kannst springen? Was auch immer es ist, kleines Kaninchen, behalte den Eindruck dieses Wunderlichen! In den Träumen und Wünschen Deinen, liegt eine Welt, die du sollst vereinen.

Fehlerbehebung, welcher Teil der Prompt fehlgeschlagen ist

Es ist möglicherweise schwierig zu erkennen, ob eine Eingabeaufforderung fehlgeschlagen ist, weil das Modell nicht verstanden hat, mit welchem Bild zu beginnen ist oder wenn es das Bild verstanden hat, nicht die richtigen logischen Schritte ausgeführt hat.

Um zwischen diesen Logiken zu unterscheiden, bitten Sie das Modell, den Inhalt des Bildes zu beschreiben.

Wenn das Modell in diesem Beispiel mit Snacks antwortet, der bei Kombination mit Tee (z. B. Popcorn) überraschend ist, können Sie zuerst eine Fehlerbehebung durchführen, um festzustellen, ob das Modell richtig erkannt hat, dass das Bild Tee zeigt.

Prompt	Prompt zur Fehlerbehebung
Welchen Snack kann ich in einer Minute machen, der dazu gut passe würde?	Beschreiben Sie den Inhalt des Bildes.

Eine andere Strategie besteht darin, das Modell um seine Logik zu bitten. So können Sie gegebenenfalls ermitteln, welcher Teil der Logik aufgeschlüsselt wurde.

Prompt	Prompt zur Fehlerbehebung
Welchen Snack kann ich in einer Minute machen, der dazu gut passe würde?	Welchen Snack kann ich in einer Minute machen, der dazu gut passe würde? Bitte erläutere, warum.

Parameter für die Stichprobenerhebung optimieren

In jeder Anfrage senden Sie nicht nur den multimodalen Prompt, sondern auch eine Reihe von Stichprobenparametern an das Modell. Das Modell kann für verschiedene Parameterwerte unterschiedliche Ergebnisse generieren. Experimentieren Sie mit den verschiedenen Parametern, um die besten Werte für die Aufgabe zu erhalten. Am häufigsten angepasste Parameter sind:

• Temperatur
• Top-P
• Top-K

Temperatur

Die Temperatur wird für die Probenahme während der Antwortgenerierung verwendet. Dies passiert, wenn Top-P und Top-K angewendet werden. Die Temperatur bestimmt den Grad der Zufälligkeit bei der Tokenauswahl. Niedrigere Temperaturen eignen sich für Aufforderungen, die deterministischere und weniger offene oder kreative Reaktionen erfordern, während höhere Temperaturen zu vielfältigeren oder kreativen Ergebnissen führen können. Eine Temperatur von 0 ist deterministisch, d. h., die Antwort mit der höchsten Wahrscheinlichkeit wird immer ausgewählt.

Für die meisten Anwendungsfälle empfiehlt es sich, mit einer Temperatur von 0,4 zu beginnen. Wenn Sie mehr kreative Ergebnisse benötigen, versuchen Sie, die Temperatur zu erhöhen. Wenn Sie deutliche Halluzinationen beobachten, versuchen Sie, die Temperatur zu senken.

Top-K

Der Wert „Top-K“ ändert, wie das Modell Tokens für die Ausgabe auswählt. Ein „Top-K“ von 1 bedeutet, dass das nächste ausgewählte Token unter den Tokens im Modell-Vokabular (auch als gierige Decodierung bezeichnet) am wahrscheinlichsten ist, während ein „Top-K“ von 3 bedeutet, dass das nächste Token mithilfe der Temperatur aus den drei wahrscheinlichsten Tokens ausgewählt wird.

Für jeden Tokenauswahlschritt werden die „Top-K“-Tokens mit den höchsten Wahrscheinlichkeiten abgetastet. Anschließend werden Tokens weiter auf der Grundlage von „Top-P“ gefiltert, wobei das endgültige Token mithilfe von Temperaturproben ausgewählt wird.

Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an. Der Standardwert von „Top-K“ ist 32.

Top-P

Der Wert „Top-P“ ändert, wie das Modell Tokens für die Ausgabe auswählt. Die Tokens werden von den wahrscheinlichsten (siehe „Top-K“) bis zu den unwahrscheinlichsten Werten ausgewählt, bis die Summe ihrer Wahrscheinlichkeiten dem „Top-P“-Wert entspricht. Beispiel: Wenn die Tokens A, B und C eine Wahrscheinlichkeit von 0,6, 0,3, 0,1 haben und der Wert des Top-P 0,9 ist, wählt das Modell entweder A oder B als das nächste Token aus, indem es die Temperatur verwendet und schließt C als Kandidaten aus.

Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an. Der Standardwert von „Top-P“ ist 1,0.

Nächste Schritte

• Wagen Sie sich an eine Kurzeinführung mit Generative AI Studio oder der Vertex AI API.
• Eine Einführung in die Gemini API finden Sie in der Kurzanleitung für die Gemini API.