Generar texto

La forma más sencilla de generar texto con la API Completions de Gemini Chat es proporcionar al modelo una sola entrada de texto. Puedes usar el endpoint chat completions en la API REST y usar un cliente HTTP o los SDKs oficiales de OpenAI para Python.

Para obtener más información sobre la generación de texto con Gemini e instrucciones paso a paso sobre cómo enviar solicitudes a la API, consulta Enviar una petición de texto.

Para obtener más información sobre OpenAI y el endpoint Chat Completions que Gemini implementa en la configuración con air gap de Google Distributed Cloud (GDC), consulta https://platform.openai.com/docs/api-reference/chat.

Generar texto a partir de una petición

En los siguientes ejemplos se muestra una solicitud a la API Completions de Gemini Chat con una sola entrada de texto usando los SDKs oficiales de OpenAI para Python o curl.

Python 

import openai

client = openai.OpenAI(
  base_url = "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT",
)

model_response = client.chat.completions.create(
  model = "MODEL_ID",
  messages = [{"role": "user", "content": "Write a story about a magic backpack." }]
)

print(model_response)

Sustituye MODEL_ID por el ID del endpoint del modelo con el que quieras generar la respuesta.

curl 

curl \
  -X POST "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT/chat/completions" \
  -H "Content-Type: application/json; charset=utf-8" \
  -H "Authorization: Bearer $(gdcloud auth print-identity-token)" \
  -d '{
      "model_id": "MODEL_ID",
      "messages": [
          {
              "role": "user",
              "content": "Write a story about a magic backpack."
          }
      ]
  }'

Haz los cambios siguientes:

  • ENDPOINT: el endpoint de la API que usas en tu organización.
  • PROJECT: tu ID de proyecto.
  • MODEL_ID: el ID del endpoint del modelo con el que quieres generar la respuesta.

Experimentar con los parámetros

Cada petición que envías al modelo incluye parámetros que controlan cómo genera las respuestas. Los distintos valores de los parámetros pueden generar resultados diferentes. Experimenta con diferentes valores de parámetros para obtener los mejores valores para la tarea. Los parámetros disponibles para los distintos modelos pueden variar. Si no configuras los parámetros, el modelo usará las opciones predeterminadas.

Los parámetros más habituales son los siguientes:

Parámetro Descripción Nombre del campo
Tokens máximos Número máximo de tokens que se pueden generar en la respuesta.

Un token tiene aproximadamente cuatro caracteres. 100 tokens corresponden a entre 60 y 80 palabras.

Especifica un valor más bajo para obtener respuestas más cortas y un valor más alto para obtener respuestas más largas.		 max_completion_tokens
Temperatura El grado de aleatoriedad en la selección de tokens. La temperatura se usa para el muestreo durante la generación de respuestas, que se produce cuando se aplica top_p.

Usa valores más bajos para las peticiones que requieran respuestas menos creativas o abiertas. Los valores más altos pueden dar lugar a resultados más diversos o creativos.

Una temperatura de 0 significa que siempre se seleccionan los tokens con la probabilidad más alta. En este caso, las respuestas a una petición determinada son mayormente deterministas, pero sigue siendo posible que haya una pequeña variación.

Si una respuesta es demasiado genérica o demasiado corta, o si el modelo ofrece una respuesta alternativa, aumenta la temperatura.

A continuación, se indican el intervalo de temperatura y el valor predeterminado de los modelos de Gemini en GDC:
  • Intervalo de temperatura: 0.0 - 2.0
  • Valor predeterminado: 1.0
 temperature
Top-P Valor de probabilidad de umbral que cambia la forma en que el modelo selecciona los tokens de salida.

Los tokens se seleccionan de mayor a menor probabilidad hasta que la suma de sus probabilidades sea igual al valor de top-P. Por ejemplo, si los tokens A, B y C tienen una probabilidad de 0,3, 0,2 y 0,1, y el valor de top_p es 0.5, el modelo selecciona A o B como el siguiente token mediante la temperatura y excluye C como candidato.

Especifica un valor más bajo para obtener respuestas menos aleatorias y un valor más alto para obtener respuestas más aleatorias.		 top_p

En el siguiente ejemplo de curl se muestra cómo configurar temperature con el valor 1.5 y max_completion_tokens con el valor 800:

curl \
  -X POST "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT/chat/completions" \
  -H "Content-Type: application/json; charset=utf-8" \
  -H "Authorization: Bearer $(gdcloud auth print-identity-token)" \
  -d '{
      "model_id": "MODEL_ID",
      "messages": [
          {
              "role": "user",
              "content": "Write a story about a magic backpack."
          }
      ],
      "temperature": 1.5,
      "max_completion_tokens": 800
  }'

Para obtener más información sobre cómo experimentar con parámetros mediante el endpoint de finalización de chat de OpenAI, consulta https://platform.openai.com/docs/api-reference/chat/create.

Siguientes pasos