Generar texto

La forma más sencilla de generar texto con la API de Gemini Chat Completions es proporcionar al modelo una sola entrada de solo texto. Puedes usar el extremo de finalizaciones de chat en la API de REST y usar un cliente HTTP o los SDKs oficiales de OpenAI para Python.

Para obtener más información sobre la generación de texto con Gemini y las instrucciones paso a paso para enviar solicitudes a la API, consulta Envía una instrucción de texto.

Para obtener más información sobre OpenAI y el extremo de Chat Completions que Gemini implementa en Google Distributed Cloud (GDC) aislado, consulta https://platform.openai.com/docs/api-reference/chat.

Genera texto a partir de una instrucción

En los siguientes ejemplos, se muestra una solicitud a la API de Gemini Chat Completions con una sola entrada de solo texto a través de los SDKs oficiales de OpenAI para Python o curl.

Python 

import openai

client = openai.OpenAI(
  base_url = "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT",
)

model_response = client.chat.completions.create(
  model = "MODEL_ID",
  messages = [{"role": "user", "content": "Write a story about a magic backpack." }]
)

print(model_response)

Reemplaza MODEL_ID por el ID del extremo del modelo con el que deseas generar la respuesta.

curl 

curl \
  -X POST "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT/chat/completions" \
  -H "Content-Type: application/json; charset=utf-8" \
  -H "Authorization: Bearer $(gdcloud auth print-identity-token)" \
  -d '{
      "model_id": "MODEL_ID",
      "messages": [
          {
              "role": "user",
              "content": "Write a story about a magic backpack."
          }
      ]
  }'

Reemplaza lo siguiente:

  • ENDPOINT: Es el extremo de API que usas para tu organización.
  • PROJECT: el ID de tu proyecto
  • MODEL_ID: Es el ID del extremo del modelo con el que deseas generar la respuesta.

Experimenta con los parámetros

Cada instrucción que envías al modelo incluye parámetros que controlan cómo el modelo genera respuestas. Los diferentes valores de los parámetros pueden generar resultados diferentes. Experimenta con diferentes valores de parámetros para obtener los mejores valores para la tarea. Los parámetros disponibles para los diferentes modelos pueden variar. Si no configuras los parámetros, el modelo usa las opciones predeterminadas.

Los más comunes son los siguientes:

Parámetro Descripción Nombre del campo
Cantidad máxima de tokens Cantidad máxima de tokens que se pueden generar en la respuesta.

Un token equivale a aproximadamente cuatro caracteres. 100 tokens corresponden a entre 60 y 80 palabras.

Especifica un valor más bajo para respuestas más cortas y un valor más alto para respuestas posiblemente más largas.		 max_completion_tokens
Temperatura Es el grado de aleatoriedad en la selección de tokens. La temperatura se usa para el muestreo durante la generación de la respuesta, que ocurre cuando se aplica top_p.

Usa valores más bajos para las instrucciones que requieren respuestas menos creativas o abiertas; los valores más altos pueden generar resultados más diversos o creativos.

Una temperatura de 0 significa que siempre se seleccionan los tokens de probabilidad más alta. En este caso, las respuestas para una instrucción determinada son, en su mayoría, determinísticas, pero es posible que haya una pequeña cantidad de variación.

Si una respuesta es demasiado genérica, demasiado corta o el modelo proporciona una respuesta de resguardo, aumenta la temperatura.

A continuación, se indican el rango de temperatura y el valor predeterminado para los modelos de Gemini en GDC:
  • Rango de temperatura: 0.0 - 2.0
  • Valor predeterminado: 1.0
 temperature
Top-P Es un valor de probabilidad de umbral que cambia la forma en que el modelo selecciona tokens para la salida.

Los tokens se seleccionan del más probable al menos probable hasta que la suma de sus probabilidades sea igual al valor de Top-P. Por ejemplo, si los tokens A, B y C tienen una probabilidad de 0.3, 0.2 y 0.1, y el valor Top-P es 0.5, el modelo elegirá A o B como el siguiente token usando la temperatura y excluirá a C como candidato.

Especifica un valor más bajo para obtener respuestas menos aleatorias y un valor más alto para obtener respuestas más aleatorias.		 top_p

En el siguiente ejemplo de curl, se muestra cómo configurar temperature con un valor de 1.5 y max_completion_tokens con 800:

curl \
  -X POST "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT/chat/completions" \
  -H "Content-Type: application/json; charset=utf-8" \
  -H "Authorization: Bearer $(gdcloud auth print-identity-token)" \
  -d '{
      "model_id": "MODEL_ID",
      "messages": [
          {
              "role": "user",
              "content": "Write a story about a magic backpack."
          }
      ],
      "temperature": 1.5,
      "max_completion_tokens": 800
  }'

Para obtener más información sobre cómo experimentar con parámetros usando el extremo de finalización de chat de OpenAI, consulta https://platform.openai.com/docs/api-reference/chat/create.

¿Qué sigue?