Text generieren

Am einfachsten generieren Sie Text mit der Gemini Chat Completions API, indem Sie dem Modell eine einzelne reine Texteingabe zur Verfügung stellen. Sie können den Endpunkt für Chat-Vervollständigungen in der REST API verwenden und entweder einen HTTP-Client oder die offiziellen SDKs von OpenAI für Python nutzen.

Weitere Informationen zur Textgenerierung mit Gemini und eine Schritt-für-Schritt-Anleitung zum Senden von API-Anfragen finden Sie unter Texteingabeaufforderung senden.

Weitere Informationen zu OpenAI und dem Chat Completions-Endpunkt, den Gemini in Google Distributed Cloud (GDC) Air-Gapped implementiert, finden Sie unter https://platform.openai.com/docs/api-reference/chat.

Text aus einem Prompt generieren

In den folgenden Beispielen sehen Sie eine Anfrage an die Gemini Chat Completions API mit einer einzelnen reinen Texteingabe, die mit den offiziellen SDKs von OpenAI für Python oder curl gesendet wird.

Python 

import openai

client = openai.OpenAI(
  base_url = "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT",
)

model_response = client.chat.completions.create(
  model = "MODEL_ID",
  messages = [{"role": "user", "content": "Write a story about a magic backpack." }]
)

print(model_response)

Ersetzen Sie MODEL_ID durch die Endpunkt-ID des Modells, mit dem Sie die Antwort generieren möchten.

curl 

curl \
  -X POST "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT/chat/completions" \
  -H "Content-Type: application/json; charset=utf-8" \
  -H "Authorization: Bearer $(gdcloud auth print-identity-token)" \
  -d '{
      "model_id": "MODEL_ID",
      "messages": [
          {
              "role": "user",
              "content": "Write a story about a magic backpack."
          }
      ]
  }'

Ersetzen Sie Folgendes:

  • ENDPOINT: Der API-Endpunkt, den Sie für Ihre Organisation verwenden.
  • PROJECT: Ihre Projekt-ID.
  • MODEL_ID: Die Endpunkt-ID des Modells, mit dem Sie die Antwort generieren möchten.

Mit Parametern experimentieren

Jeder Prompt, den Sie an das Modell senden, enthält Parameter, die steuern, wie das Modell Antworten generiert. Unterschiedliche Parameterwerte können zu unterschiedlichen Ergebnissen führen. Experimentieren Sie mit verschiedenen Parameterwerten, um die besten Werte für die Aufgabe zu erhalten. Die für verschiedene Modelle verfügbaren Parameter können unterschiedlich sein. Wenn Sie die Parameter nicht konfigurieren, verwendet das Modell Standardoptionen.

Die häufigsten Parameter sind:

Parameter Beschreibung Feldname
Maximale Anzahl von Tokens Maximale Anzahl an Tokens, die in der Antwort generiert werden können.

Ein Token besteht aus etwa vier Zeichen. 100 Tokens entsprechen 60–80 Wörtern.

Geben Sie einen niedrigeren Wert für kürzere Antworten und einen höheren Wert für längere Antworten an.		 max_completion_tokens
Temperatur Der Grad der Zufälligkeit bei der Tokenauswahl. Die Temperatur wird für die Stichprobenerhebung während der Antwortgenerierung verwendet. Dies geschieht, wenn top_p angewendet wird.

Verwenden Sie niedrigere Werte für Prompts, die weniger kreative oder offene Antworten erfordern. Höhere Werte können zu vielfältigeren oder kreativeren Ergebnissen führen.

Bei einer Temperatur von 0 werden immer die Tokens mit der höchsten Wahrscheinlichkeit ausgewählt. In diesem Fall sind die Antworten auf einen bestimmten Prompt größtenteils deterministisch, aber eine gewisse Variation ist dennoch möglich.

Wenn eine Antwort zu allgemein oder zu kurz ist oder das Modell eine Fallback-Antwort ausgibt, erhöhen Sie die Temperatur.

Im Folgenden finden Sie den Temperaturbereich und den Standardwert für Gemini-Modelle in GDC:
  • Temperaturbereich: 0.0 - 2.0
  • Standardwert: 1.0
 temperature
Top-P Ein Schwellenwert für die Wahrscheinlichkeit, der die Auswahl von Tokens für die Ausgabe durch das Modell beeinflusst.

Tokens werden vom wahrscheinlichsten bis zum am wenigsten wahrscheinlichen Token ausgewählt, bis die Summe ihrer Wahrscheinlichkeiten dem Top-P-Wert entspricht. Beispiel: Wenn die Tokens A, B und C eine Wahrscheinlichkeit von 0, 3, 0, 2 und 0, 1 haben und der „Top-P“-Wert 0.5 ist, wählt das Modell anhand der Temperatur entweder A oder B als das nächste Token und schließt C als Kandidaten aus.

Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an.		 top_p

Im folgenden curl-Beispiel sehen Sie, wie Sie temperature auf den Wert 1.5 und max_completion_tokens auf 800 konfigurieren:

curl \
  -X POST "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT/chat/completions" \
  -H "Content-Type: application/json; charset=utf-8" \
  -H "Authorization: Bearer $(gdcloud auth print-identity-token)" \
  -d '{
      "model_id": "MODEL_ID",
      "messages": [
          {
              "role": "user",
              "content": "Write a story about a magic backpack."
          }
      ],
      "temperature": 1.5,
      "max_completion_tokens": 800
  }'

Weitere Informationen zum Testen von Parametern mit dem Chat-Vervollständigungsendpunkt von OpenAI finden Sie unter https://platform.openai.com/docs/api-reference/chat/create.

Nächste Schritte