Générer du texte

Le moyen le plus simple de générer du texte à l'aide de l'API Gemini Chat Completions consiste à fournir au modèle une seule entrée textuelle. Vous pouvez utiliser le point de terminaison de saisie de code dans l'API REST et utiliser un client HTTP ou les SDK officiels d'OpenAI pour Python.

Pour en savoir plus sur la génération de texte avec Gemini et obtenir des instructions détaillées sur l'envoi de requêtes d'API, consultez Envoyer une requête textuelle.

Pour en savoir plus sur OpenAI et le point de terminaison Chat Completions que Gemini implémente dans Google Distributed Cloud (GDC) air-gapped, consultez https://platform.openai.com/docs/api-reference/chat.

Générer du texte à partir d'une requête

Les exemples suivants montrent une requête de l'API Gemini Chat Completions avec une seule entrée de texte à l'aide des SDK officiels d'OpenAI pour Python ou curl.

Python

import openai

client = openai.OpenAI(
  base_url = "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT",
)

model_response = client.chat.completions.create(
  model = "MODEL_ID",
  messages = [{"role": "user", "content": "Write a story about a magic backpack." }]
)

print(model_response)

Remplacez MODEL_ID par l'ID du point de terminaison du modèle avec lequel vous souhaitez générer la réponse.

curl

curl \
  -X POST "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT/chat/completions" \
  -H "Content-Type: application/json; charset=utf-8" \
  -H "Authorization: Bearer $(gdcloud auth print-identity-token)" \
  -d '{
      "model_id": "MODEL_ID",
      "messages": [
          {
              "role": "user",
              "content": "Write a story about a magic backpack."
          }
      ]
  }'

Remplacez les éléments suivants :

  • ENDPOINT : point de terminaison de l'API que vous utilisez pour votre organisation.
  • PROJECT : ID de votre projet.
  • MODEL_ID : ID du point de terminaison du modèle avec lequel vous souhaitez générer la réponse.

Tester les paramètres

Chaque requête que vous envoyez au modèle inclut des paramètres qui contrôlent la manière dont le modèle génère ses réponses. Différentes valeurs de paramètres peuvent générer des résultats différents. Testez différentes valeurs de paramètre pour obtenir les meilleures valeurs pour la tâche. Les paramètres disponibles peuvent varier selon les modèles. Si vous ne configurez pas les paramètres, le modèle utilise les options par défaut.

Les paramètres les plus courants sont les suivants :

Paramètre Description Nom du champ
Nombre maximal de jetons Nombre maximal de jetons pouvant être générés dans la réponse.

Un jeton correspond environ à quatre caractères. 100 jetons correspondent à 60 à 80 mots.

Spécifiez une valeur inférieure pour obtenir des réponses plus courtes et une valeur supérieure pour des réponses potentiellement plus longues.
max_completion_tokens
Température Le degré de hasard dans la sélection des jetons. La température est utilisée pour l'échantillonnage lors de la génération de la réponse, ce qui se produit lorsque top_p est appliqué.

Utilisez des valeurs inférieures pour les requêtes qui nécessitent des réponses moins créatives ou ouvertes. Des valeurs plus élevées peuvent entraîner des résultats plus diversifiés ou créatifs.

Une température de 0 signifie que les jetons de probabilité les plus élevés sont toujours sélectionnés. Dans ce cas, les réponses pour une requête donnée sont principalement déterministes, mais une petite quantité de variation est toujours possible.

Si une réponse est trop générique ou trop courte, ou si le modèle renvoie une réponse de remplacement, augmentez la température.

Voici la plage de température et la valeur par défaut pour les modèles Gemini dans GDC :
  • Plage de température : 0.0 - 2.0
  • Valeur par défaut : 1.0
temperature
Top-P Valeur de probabilité seuil qui modifie la façon dont le modèle sélectionne les jetons pour la sortie.

Les jetons sont sélectionnés du plus probable au moins probable jusqu'à ce que la somme de leurs probabilités soit égale à la valeur top-P. Par exemple, si les jetons A, B et C ont une probabilité de 0,3, 0,2 et 0,1 et que la valeur de top-P est 0.5, le modèle sélectionne A ou B comme jeton suivant à l'aide de la température et exclut le jeton C comme candidat.

Spécifiez une valeur inférieure pour des réponses moins aléatoires et une valeur supérieure pour des réponses plus aléatoires.
top_p

L'exemple curl suivant montre comment configurer temperature sur la valeur 1.5 et max_completion_tokens sur 800 :

curl \
  -X POST "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT/chat/completions" \
  -H "Content-Type: application/json; charset=utf-8" \
  -H "Authorization: Bearer $(gdcloud auth print-identity-token)" \
  -d '{
      "model_id": "MODEL_ID",
      "messages": [
          {
              "role": "user",
              "content": "Write a story about a magic backpack."
          }
      ],
      "temperature": 1.5,
      "max_completion_tokens": 800
  }'

Pour en savoir plus sur l'expérimentation de paramètres à l'aide du point de terminaison de complétion de chat d'OpenAI, consultez https://platform.openai.com/docs/api-reference/chat/create.

Étapes suivantes