Bewertungsbeispiele

Wir bieten mehrere Beispiele dafür, wie Sie das SDK für die schnelle Bewertung verwenden können, um Bewertungen Ihrer auf generativer KI basierenden Modelle auszuführen.

Prompt-Vorlagendesign bewerten und optimieren

Verwenden Sie das SDK für die schnelle Bewertung, um die Auswirkungen des Prompt Engineering zu bewerten. Prüfen Sie die zu den einzelnen Prompt-Vorlagen gehörenden Statistiken, um zu verstehen, wie sich Unterschiede in Prompts auf die Bewertungsergebnisse auswirken.

Ein End-to-End-Beispiel finden Sie im Notebook Prompt-Vorlagendesign für bessere Ergebnisse auswerten und optimieren.

LLM-Modelle mithilfe von Benchmark-Messwerten bewerten und auswählen

Verwenden Sie das SDK für die schnelle Bewertung, um sowohl Gemini Pro- als auch Text Bison-Modelle in einem Benchmark-Dataset und einer Aufgabe zu bewerten.

Ein End-to-End-Beispiel finden Sie im Notebook LLM-Modelle bewerten und auswählen.

Einstellungen für die Modellgenerierung bewerten und auswählen

Verwenden Sie das SDK für die schnelle Bewertung, um die Temperatur von Gemini Pro bei einer Zusammenfassungsaufgabe anzupassen und quality, fluency, safety und verbosity zu bewerten.

Ein End-to-End-Beispiel finden Sie im Notebook Einstellungen für die Modellgenerierung bewerten und auswählen.

Messwerte definieren

Verwenden Sie das SDK für die schnelle Bewertung, um mehrere Prompt-Vorlagen mit Ihren benutzerdefinierten Messwerten zu bewerten.

Ein End-to-End-Beispiel finden Sie im Notebook Eigene Messwerte definieren.

Tool-Nutzung bewerten

Verwenden Sie das SDK für die schnelle Bewertung, um eine API-Funktion und ein Tool für das Gemini-Modell zu definieren. Sie können das SDK auch verwenden, um die Tool-Nutzung und die Qualität der Funktionsaufrufe für Gemini zu bewerten.

Ein End-to-End-Beispiel finden Sie im Notebook Tool-Nutzung bei generativen Modellen und Funktionsaufrufe bewerten.

Nächste Schritte