Verwenden Sie die Vertex AI, um eine Textaufforderung an das PaLM 2-Großsprachmodell von Google (LLM) zu senden und eine Antwort zu erhalten. Testen Sie Prompts und passen Sie sie je nach den Anforderungen Ihrer Anwendung an.
Hinweise
Bevor Sie die Texteingabeaufforderungen testen können, müssen Sie Folgendes tun:
- Projekt- und Entwicklungsumgebung einrichten. Die Projekt-ID wird zum Ausführen des Beispielcodes benötigt.
- Machen Sie sich mit den Textparametern vertraut, die Sie ersetzen müssen, bevor Sie den Beispielcode ausführen.
- Sehen Sie sich die Textanwendungsfälle an, um zu ermitteln, welche Art von Beispiel erstellt werden soll.
Texteingabeaufforderungen testen
Wählen Sie einen Tab aus und folgen Sie der Anleitung zum Ausführen des Beispiels.
REST
Senden Sie zum Testen eines Text-Prompts mit der Vertex AI API eine POST-Anfrage an den Endpunkt des Publisher-Modells.
Ersetzen Sie diese Werte in den folgenden Anfragedaten:
- PROJECT_ID: Ihre Projekt-ID.
- PROMPT: Ein Prompt ist eine Anfrage in natürlicher Sprache, die an ein Sprachmodell gesendet wird, um eine Antwort zu erhalten. Eingabeaufforderungen können Fragen, Anleitungen, Kontextinformationen, Beispiele und Text enthalten, die das Modell fertigstellen oder fortsetzen soll. (Hier keine Anführungszeichen um die Eingabeaufforderung hinzufügen.)
- TEMPERATURE:
Die Temperatur wird für die Probenahme während der Antwortgenerierung verwendet. Dies passiert, wenn
topP
undtopK
angewendet werden. Die Temperatur bestimmt den Grad der Zufälligkeit bei der Tokenauswahl. Niedrigere Temperaturen eignen sich gut für Prompts, die eine weniger offene oder kreative Antwort erfordern, während höhere Temperaturen zu vielfältigeren oder kreativeren Ergebnissen führen können. Eine Temperatur von0
bedeutet, dass immer die Tokens mit der höchsten Wahrscheinlichkeit ausgewählt werden. In diesem Fall sind die Antworten auf einen bestimmten Prompt größtenteils deterministisch, aber eine gewisse Variation ist dennoch möglich.Wenn das Modell eine zu allgemeine oder zu kurze Antwort zurückgibt, oder wenn das Modell eine Fallback-Antwort ausgibt, versuchen Sie, die Temperatur zu erhöhen.
- MAX_OUTPUT_TOKENS: Maximale Anzahl an Tokens, die in der Antwort generiert werden können. Ein Token besteht aus etwa vier Zeichen. 100 Tokens entsprechen etwa 60–80 Wörtern.
Geben Sie kürzere Werte für kürzere Antworten und höhere Werte für längere Antworten an.
- TOP_P_
Der Wert „Top-P“ ändert, wie das Modell Tokens für die Ausgabe auswählt. Die Tokens werden von den wahrscheinlichsten (siehe „Top-K“) bis zu den unwahrscheinlichsten Werten ausgewählt, bis die Summe ihrer Wahrscheinlichkeiten dem „Top-P“-Wert entspricht. Beispiel: Wenn die Tokens A, B und C eine Wahrscheinlichkeit von 0,3, 0,2 und 0,1 haben und der „Top-P“-Wert
0.5
ist, wählt das Modell anhand der Temperatur entweder A oder B als das nächste Token und C als Kandidaten ausschließen.Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an.
- TOP_K:
Der Wert „Top-K“ ändert, wie das Modell Tokens für die Ausgabe auswählt. Ein „Top-K“ von
1
bedeutet, dass das nächste ausgewählte Token unter den Tokens im Modell-Vokabular (auch als gierige Decodierung bezeichnet) am wahrscheinlichsten ist, während ein „Top-K“ von3
bedeutet, dass das nächste Token mithilfe der Temperatur aus den drei wahrscheinlichsten Tokens ausgewählt wird.Für jeden Tokenauswahlschritt werden die „Top-K“-Tokens mit den höchsten Wahrscheinlichkeiten abgetastet. Anschließend werden Tokens weiter auf der Grundlage von „Top-P“ gefiltert, wobei das endgültige Token mithilfe von Temperaturproben ausgewählt wird.
Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an.
HTTP-Methode und URL:
POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison:predict
JSON-Text der Anfrage:
{ "instances": [ { "prompt": "PROMPT"} ], "parameters": { "temperature": TEMPERATURE, "maxOutputTokens": MAX_OUTPUT_TOKENS, "topP": TOP_P, "topK": TOP_K } }
Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:
curl
Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json
und führen Sie den folgenden Befehl aus:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison:predict"
PowerShell
Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json
und führen Sie den folgenden Befehl aus:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison:predict" | Select-Object -Expand Content
Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:
Python
Informationen zum Installieren oder Aktualisieren von Python finden Sie unter Vertex AI SDK für Python installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Python API.
C#
Bevor Sie dieses Beispiel anwenden, folgen Sie den C#-Einrichtungsschritten in der Vertex AI-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI C# API.
Richten Sie zur Authentifizierung bei Vertex AI Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Node.js
Bevor Sie dieses Beispiel anwenden, folgen Sie den Node.js-Einrichtungsschritten in der Vertex AI-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Node.js API.
Richten Sie zur Authentifizierung bei Vertex AI Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Java
Bevor Sie dieses Beispiel anwenden, folgen Sie den Java-Einrichtungsschritten in der Vertex AI-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Java API.
Richten Sie zur Authentifizierung bei Vertex AI Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Console
Führen Sie die folgenden Schritte aus, um einen Textprompt mithilfe von Vertex AI Studio in der Google Cloud Console zu testen:
- Rufen Sie im Bereich „Vertex AI“ der Google Cloud Console die Seite Vertex AI Studio auf.
- Wenn Ihr Projekt nicht ausgewählt ist, wählen Sie es aus.
- Klicken Sie auf den Tab Jetzt starten.
- Klicken Sie auf Texteingabeaufforderung.
Wählen Sie die Methode zum Eingeben der Eingabeaufforderung aus:
- Freiform wird für Zero-Shot-Eingabeaufforderungen empfohlen oder geben Sie Few-Shot-Prompts ein.
- Strukturiert wird für das Entwerfen von Few-Shot-Prompts in Vertex AI Studio empfohlen.
Freies Format
Geben Sie Ihren Prompt in das Textfeld Prompt ein.
Strukturiert
Die strukturierte Methode zur Eingabe von Eingabeaufforderungen trennt die Komponenten eines Prompts in verschiedene Felder:
- Kontext: Geben Sie eine Anleitung für die Aufgabe ein, die das Modell ausführen soll, und fügen Sie Kontextinformationen als Referenzmaterial für das Modell hinzu.
- Beispiele: Fügen Sie für kurzzeitige Aufforderungen Beispiele für Eingabeausgaben hinzu, die die Verhaltensmuster des Modells imitieren. Das Hinzufügen eines Präfixes wie input oder output ist optional. Optional: Wenn Sie Präfixe hinzufügen, müssen Sie sie in allen Beispielen konsistent machen.
- Ausführen: Geben Sie in das Feld Eingabe die Eingabe der Eingabeaufforderung ein, für die Sie eine Antwort erhalten möchten. Das Hinzufügen eines Präfixes für die Testeingabe und -ausgabe ist optional. Wenn Ihre Beispiele Präfixe haben, sollte der Test die gleichen Präfixe haben.
Konfigurieren Sie Modell und Parameter:
- Klicken Sie auf Senden.
- Optional: Klicken Sie auf Speichern, um die Eingabeaufforderung unter Meine Prompts zu speichern.
- Optional: Klicken Sie auf Code anzeigen, um den Python-Code oder einen curl-Befehl für die Eingabeaufforderung abzurufen.
Streamantwort vom Textmodell
Beispiele für die Verwendung von REST API-Beispielanfragen und -Antworten finden Sie unter Beispiele, die die REST-API verwenden.
Um Beispielcodeanfragen und -antworten mit dem Vertex AI SDK für Python anzuzeigen, lesen Sie Beispiele, die Vertex AI SDK für Python verwenden.
Nächste Schritte
- Weitere Informationen zum Entwerfen von Text-Prompts und Textchat-Prompts.
- Testen von Prompts in Vertex AI Studio
- Informationen zu Texteinbettungen
- Versuchen Sie, ein Sprach-Foundation Model zu optimieren.
- Weitere Informationen zu Best Practices für verantwortungsvolle KI und den Sicherheitsfiltern von Vertex AI