Tutorial: Bewertung mit der Console durchführen

Vorabversion

Diese Funktion unterliegt den „Bedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Dienstbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA-Funktionen sind „wie gesehen“ verfügbar und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie in den Beschreibungen der Produkteinführungsphasen.

Hier erfahren Sie, wie Sie mit dem Gen AI Evaluation Service in der Google Google Cloud Console beginnen.

Hinweise

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   IAM aufrufen
2. Wählen Sie das Projekt aus.
3. Klicken Sie auf Zugriffsrechte erteilen.

4. Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Das ist in der Regel die E‑Mail-Adresse eines Google-Kontos.

5. Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
6. Klicken Sie auf Weitere Rolle hinzufügen, wenn Sie weitere Rollen zuweisen möchten.
7. Klicken Sie auf Speichern.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   IAM aufrufen
2. Wählen Sie das Projekt aus.
3. Klicken Sie auf Zugriffsrechte erteilen.

4. Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Das ist in der Regel die E‑Mail-Adresse eines Google-Kontos.

5. Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
6. Klicken Sie auf Weitere Rolle hinzufügen, wenn Sie weitere Rollen zuweisen möchten.
7. Klicken Sie auf Speichern.

Modell bewerten

So bewerten Sie Ihr Modell:

1. Rufen Sie in der Google Cloud Console die Seite „Gen AI Evaluation“ auf.

   Zur Seite „Bewertung“

2. Klicken Sie auf Neue Bewertung, um die Bewertungsseite zu öffnen.

3. Wählen Sie für Auswertungs-Dataset definieren eine Option aus:

   • Datei hochladen: Klicken Sie auf Hochladen, um eine CSV- oder JSONL-Datei hochzuladen. Das Dataset sollte entweder Prompts oder Datensätze enthalten, die in einer Promptvorlage verwendet werden sollen, und optional Modellantworten mit maximal 200 Zeilen.

   • Daten generieren: Geben Sie eine Prompt-Vorlage ein, um den Gen AI Evaluation Service beim Generieren eines Datasets zu unterstützen. Variablen, die Sie in Ihrer Promptvorlage definieren, werden generiert und in das Dataset eingefügt. Weitere Informationen finden Sie unter Prompt-Vorlagen verwenden.

     1. Zu generierende Variablen definieren: Geben Sie die zu generierenden Variablen und Beschreibungen der Variablen an, um die Generierung zu steuern. Klicken Sie bei Bedarf auf Weitere Variablenbeschreibung hinzufügen.

     2. Geben Sie die Anzahl der zu generierenden Beispiele ein.

     3. Klicken Sie auf Dataset generieren und in der Vorschau ansehen, um ein Dataset zu generieren, das auf Ihrer Promptvorlage und Ihren Variablen basiert. Wenn Sie das Dataset anpassen möchten, können Sie den Variablenbeschreibungen weitere Details hinzufügen und auf Neu generieren klicken.

   • Modell-Logs verwenden: Verwenden Sie den Snapshot von Prompts und Antworten aus dem protokollierten Traffic des ausgewählten Modells. Sie können diese Option nur verwenden, wenn Sie das Logging von Anfragen/Antworten für ein bereitgestelltes Modell in Vertex AI aktiviert haben. Wenn Sie das Logging gerade erst aktiviert haben, warten Sie, bis genügend Stichproben gesammelt wurden.

     1. Wählen Sie das Modell und die Region aus, aus der Sie Traffic protokollieren möchten. Sie müssen das Logging für das ausgewählte Modell und die ausgewählte Region bereits aktiviert haben.

     2. Geben Sie eine Anzahl der Stichproben ein.

     3. Optional: Aktivieren Sie Nach Prompt-Vorlage filtern, um nur Logs zu verwenden, die Ihrer Prompt-Vorlage entsprechen. Das kann nützlich sein, wenn Sie die ausgewählten Modelle für verschiedene Anwendungsfälle verwenden und einen bestimmten Anwendungsfall bewerten möchten.

4. Wählen Sie für Zu bewertende Modellantworten definieren eine Option aus:

   • Aus Dataset (nur verfügbar, wenn Sie für Bewertungs-Dataset definieren die Option Datei hochladen ausgewählt haben): Wenn Sie eines der Felder im hochgeladenen Dataset als Antwort verwenden möchten, wählen Sie eine Antwortspalte aus.

   • Aus Modell (nur verfügbar, wenn Sie für Bewertungs-Dataset definieren die Option Modelllogs verwenden ausgewählt haben): Wenn Sie Modelllogs als Bewertungs-Dataset verwenden, verwendet der Gen AI Evaluation Service die Modellantworten aus den Modelllogs.

   • Modell für Anrufe: Wählen Sie ein Modell aus. Der Gen AI Evaluation Service führt Prompts für das ausgewählte Modell aus und verwendet die Antworten für die Bewertung.

5. Optional: Für Automatisch generierte Bewertungsstatistiken können Sie benutzerdefinierte Anweisungen angeben, um die aus den einzelnen Prompts generierten Bewertungsschemata zu optimieren. Beispiel: Evaluate the dataset on cultural sensitivity to the countries {name} Weitere Informationen finden Sie unter Evaluierungsmesswerte definieren.

6. Geben Sie für Name und Ausgabeverzeichnis Folgendes ein:

   1. Name der Bewertung: Geben Sie einen Namen für die Bewertung ein.

   2. Ausgabepfad für private Daten: Geben Sie den Namen eines Cloud Storage-Bucket ein, in dem Sie die Bewertung speichern möchten, oder klicken Sie auf „Durchsuchen“, um den Bucket auszuwählen.

7. Klicken Sie auf Bewerten.

Bewertungsergebnisse ansehen

So rufen Sie ein Bewertungsergebnis auf:

1. Rufen Sie in der Google Cloud Console die Seite „Gen AI Evaluation“ auf.

   Zur Seite „Bewertung“

2. Klicken Sie auf den Namen der Bewertung.

3. Für jeden Prompt in Ihrem Bewertungs-Dataset wird die Antwort des Modells zusammen mit den Bewertungsergebnissen angezeigt.

Nächste Schritte

• Bewertungsmesswerte definieren: