Prompts vergleichen

Mit der Funktion „Vergleichen“ können Sie sehen, wie sich ein anderer Prompt, ein anderes Modell oder eine andere Parametereinstellung auf die Ausgabe des Modells auswirkt. Sie können sich die einzelnen Prompts und ihre Antworten nebeneinander ansehen, um sie auf folgende Weise zu vergleichen und zu analysieren:

  • Mit einem neuen Prompt.
  • Mit einem anderen gespeicherten Prompt.
  • Mit einer Ground Truth.

Hinweise

So greifen Sie auf die Funktion „Vergleichen“ zu:

  1. Rufen Sie in der Google Cloud Console die Seite Prompt erstellen auf.

    Zur Seite „Prompt erstellen“

  2. Wählen Sie Vergleichen aus. Die Seite Vergleichen wird angezeigt.

Prompt in der Funktion „Vergleichen“ erstellen

Auf der Seite Vergleichen können Sie einen Prompt erstellen, bevor Sie einen anderen Prompt auswählen, um die Ergebnisse zu vergleichen.

So erstellen Sie einen Prompt:

  1. Geben Sie im Feld Neuer Prompt Ihren Prompt ein.

  2. Klicken Sie auf Prompts senden. Die Antwort des Modells wird unter dem eingegebenen Prompt-Text angezeigt.

  3. Klicken Sie auf Als neu speichern. Das Dialogfeld Speichern wird angezeigt.

  4. Geben Sie den Namen Ihres neuen Prompts in das Feld Promptname ein.

  5. Wählen Sie im Feld Region Ihre Region aus oder behalten Sie die Standardregion bei.

  6. Wenn ein vom Kunden verwalteter Verschlüsselungsschlüssel (CMEK) angewendet wird, gehen Sie so vor:

    1. Klicken Sie das Kästchen Vom Kunden verwalteter Verschlüsselungsschlüssel (CMEK) an.
    2. Wählen Sie im Feld Cloud KMS-Schlüssel auswählen einen Schlüssel aus.
  7. Klicken Sie auf Speichern. Ihr Prompt wird dann in der Liste der Prompts gespeichert, die auf der Seite Gespeicherten Prompt vergleichen verwendet werden können.

  8. Klicken Sie auf Prompts einreichen, um die Prompts und ihre Antworten zu vergleichen.

Sie können Ihre Prompts aktualisieren und die aktualisierten Versionen als neue Prompts speichern.

Mit einem neuen Prompt vergleichen

So vergleichen Sie Ihren gespeicherten Prompt mit einem neuen Prompt:

  1. Klicken Sie auf Neuen Prompt vergleichen. Der Bereich Vergleichen wird angezeigt.
  2. Optional: Klicken Sie auf Modell wechseln, um ein anderes Modell als das Standardmodell zu verwenden.
  3. Optional: Maximieren Sie Ausgaben.
  4. Ausgaben:
    1. Optional: Wenn Sie möchten, dass das Modell die Ausgabe in einem bestimmten Format wie JSON erstellt, klicken Sie auf den Schalter Strukturierte Ausgabe. Nachdem Sie Strukturierte Ausgabe ausgewählt haben, werden die Fundierungsoptionen deaktiviert, da Fundierung bei strukturierter Ausgabe nicht unterstützt wird.
    2. Optional: Ändern Sie das Budget für die Denkphase in eine der folgenden Optionen:
      • Automatisch: Das Modell denkt nur, wenn es muss. Das Modell passt an, wie viel es denkt oder eine Situation analysiert, je nachdem, was gerade erforderlich ist.
      • Manuell: Sie können die Tokens für das Budget für Denkprozesse anpassen.
      • Aus: Es werden keine Denkprozesse oder Budgets verwendet.
  1. Optional: Maximieren Sie Tools.
  2. Tools:
    1. Wählen Sie eine der folgenden Optionen aus:
      • Fundierung: Google: Fundierung mit der Google Suche oder Google Maps.
      • Fundierung: Meine Daten: Fundierung mit Vertex AI RAG Engine, Vertex AI Search oder Elasticsearch.
        1. Wenn Sie Fundierung: Ihre Daten auswählen, wählen Sie die Datenquelle aus, die Sie verwenden möchten.
  1. Optional: Maximieren Sie Erweitert:
  2. Erweitert:
    1. Wählen Sie Region aus.
    2. Wählen Sie Einstellungen für Sicherheitsfilter aus. Ein Dialogfeld wird angezeigt. Behalten Sie die Standardeinstellung Aus bei oder geben Sie für jede der folgenden Optionen Wenige blockieren, Einige blockieren oder Meiste blockieren an:
      • Hassrede: Negative oder schädliche Kommentare, die auf Identität oder geschützte Merkmale ausgerichtet sind.
      • Gefährliche Inhalte: Inhalte, die schädliche Waren, Dienstleistungen und Aktivitäten fördern oder den Zugriff darauf ermöglichen.
      • Sexuell explizite Inhalte: Enthält Verweise auf sexuelle Handlungen oder andere vulgäre Inhalte.
      • Belästigende Inhalte: Böswillige, einschüchternde, mobbende oder missbräuchliche Kommentare, die auf andere Personen ausgerichtet sind.
    3. Klicken Sie auf Speichern, um die Einstellungen zu speichern und das Dialogfeld zu schließen.
    4. Wählen Sie die Temperatur im Feld Temperatur aus. Die Temperatur bestimmt den Grad der Zufälligkeit bei der Tokenauswahl. Eine niedrigere Temperatur ist geeignet, wenn Sie eine faktisch korrekte Antwort erwarten. Eine höhere Temperatur kann zu unterschiedlichen oder unerwarteten Ergebnissen führen.
    5. Wählen Sie im Feld Tokenausgabelimit das gewünschte Limit aus. Das Tokenausgabelimit legt die maximale Textmenge fest, die für einen Prompt ausgegeben wird. Ein Token besteht aus etwa vier Zeichen.
    6. Wählen Sie im Feld Max. Antworten die maximale Anzahl der Antworten aus. Die maximale Anzahl von Modellantworten, die pro Prompt generiert werden. Antworten können aufgrund von Sicherheitsfiltern oder anderen Richtlinien blockiert werden.
    7. Wählen Sie einen Wert aus dem Feld Top-P aus. Der Wert „Top-P“ ändert, wie das Modell Tokens für die Ausgabe auswählt.
    8. Klicken Sie auf das Ein/Aus-Schaltersymbol im Feld Modellantworten streamen. Wenn diese Option ausgewählt ist, werden die Antworten ausgedruckt, sobald sie generiert werden.
    9. Geben Sie im Feld Stoppsequenz hinzufügen eine Stoppsequenz ein. Drücken Sie nach jeder Sequenz die Eingabetaste.
  1. Klicken Sie auf Speichern, um die Änderungen an Ihren Einstellungen zu speichern.
  2. Klicken Sie auf Übernehmen.
  3. Klicken Sie auf Prompts einreichen, um die Prompts und ihre Antworten zu vergleichen.

Weitere Informationen zu den Tokenlimits für die einzelnen Modelle finden Sie unter Denkbudget steuern.

Mit einem anderen gespeicherten Prompt vergleichen

So vergleichen Sie Ihren gespeicherten Prompt mit einem anderen gespeicherten Prompt:

  1. Klicken Sie auf Gespeicherten Prompt vergleichen. Der Bereich Vorhandener Prompt wird angezeigt.
  2. Wählen Sie bis zu zwei vorhandene Prompts zum Vergleichen aus.

    1. Wählen Sie einen Aufforderungsnamen aus. Wenn Sie viele Prompts in Ihrer Liste haben, klicken Sie in das Feld Filter und wählen Sie die Eigenschaft aus, nach der Sie filtern möchten. Geben Sie einen Wert ein und drücken Sie die Eingabetaste.
    2. Klicken Sie auf Übernehmen. Auf der Seite Vergleichen wird der ausgewählte Prompt zusammen mit anderen Prompts angezeigt, die Sie erstellt oder zum Vergleich ausgewählt haben.
  3. Klicken Sie auf Prompts einreichen, um die Prompts und ihre Antworten zu vergleichen.

Mit einer Ground-Truth-Datei vergleichen

Die Grundwahrheit ist Ihre bevorzugte Antwort auf den Prompt. Alle anderen Modellantworten werden anhand der Grundwahrheit bewertet.

So vergleichen Sie Ihren gespeicherten Prompt mit einer Ground Truth:

  1. Klicken Sie auf Ground Truth. Der Bereich Wahrheit wird angezeigt.
  2. Geben Sie Ihre Grundwahrheit ein, um zusätzliche Bewertungsmesswerte zu generieren.
  3. Klicken Sie auf Speichern, um die Ground Truth zu speichern.
  4. Klicken Sie auf Prompts einreichen, um die Prompts und ihre Antworten zu vergleichen.

Die Bewertungs-Messwerte, die beim Vergleich eines Prompts mit einem Ground Truth generiert werden, sind nicht von der ausgewählten Region betroffen.

Nächste Schritte