Gerar texto

A maneira mais simples de gerar texto usando a API Gemini Chat Completions é fornecer ao modelo uma única entrada somente de texto. É possível usar o endpoint chat.completions na API REST e um cliente HTTP ou os SDKs oficiais da OpenAI para Python.

Para mais informações sobre a geração de texto com o Gemini e instruções detalhadas sobre como enviar solicitações de API, consulte Enviar um comando de texto.

Para saber mais sobre a OpenAI e o endpoint Chat Completions que o Gemini implementa no Google Distributed Cloud (GDC) isolado, consulte https://platform.openai.com/docs/api-reference/chat.

Gerar texto com base em um comando

Os exemplos a seguir mostram uma solicitação da API Gemini Chat Completions com uma única entrada somente de texto usando os SDKs oficiais da OpenAI para Python ou curl.

Python 

import openai

client = openai.OpenAI(
  base_url = "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT",
)

model_response = client.chat.completions.create(
  model = "MODEL_ID",
  messages = [{"role": "user", "content": "Write a story about a magic backpack." }]
)

print(model_response)

Substitua MODEL_ID pelo ID do endpoint do modelo que você quer usar para gerar a resposta.

curl 

curl \
  -X POST "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT/chat/completions" \
  -H "Content-Type: application/json; charset=utf-8" \
  -H "Authorization: Bearer $(gdcloud auth print-identity-token)" \
  -d '{
      "model_id": "MODEL_ID",
      "messages": [
          {
              "role": "user",
              "content": "Write a story about a magic backpack."
          }
      ]
  }'

Substitua:

  • ENDPOINT: o endpoint de API que você usa na sua organização.
  • PROJECT: o ID do projeto.
  • MODEL_ID: o ID do endpoint do modelo que você quer usar para gerar a resposta.

Testar parâmetros

Cada comando enviado ao modelo inclui parâmetros que controlam como ele gera respostas. Valores de parâmetros diferentes podem gerar resultados diferentes. Teste diferentes valores de parâmetros para conseguir os melhores valores para a tarefa. Os parâmetros disponíveis para modelos diferentes podem variar. Se você não configurar os parâmetros, o modelo vai usar as opções padrão.

Os parâmetros mais comuns são:

Parâmetro Descrição Nome do campo
Máximo de tokens Número máximo de tokens que podem ser gerados na resposta.

Um token tem cerca de quatro caracteres. 100 tokens correspondem a 60 a 80 palavras.

Especifique um valor mais baixo para respostas mais curtas e um valor mais alto para respostas possivelmente mais longas.		 max_completion_tokens
Temperatura O grau de aleatoriedade na seleção do token. A temperatura é usada para amostragem durante a geração de respostas, que ocorre quando top_p é aplicado.

Use valores mais baixos para comandos que exigem respostas menos criativas ou abertas. Valores mais altos podem levar a resultados mais diversos ou criativos.

Uma temperatura de 0 significa que os tokens de maior probabilidade são sempre selecionados. Nesse caso, as respostas para um determinado comando são, na maioria, deterministas, mas uma pequena quantidade de variação ainda é possível.

Se uma resposta for muito genérica, muito curta ou se o modelo fornecer uma resposta alternativa, aumente a temperatura.

Confira a seguir o intervalo de temperatura e o valor padrão para modelos do Gemini no GDC:
  • Intervalo de temperatura: 0.0 - 2.0
  • Valor padrão: 1.0
 temperature
Top-P Um valor de probabilidade de limite que muda a forma como o modelo seleciona tokens para saída.

Os tokens são selecionados do mais ao menos provável até que a soma das probabilidades seja igual ao valor do top-P. Por exemplo, se os tokens A, B e C tiverem uma probabilidade de 0,3, 0,2 e 0,1 e o valor de Top-P for 0.5, o modelo selecionará A ou B como token seguinte usando temperatura e excluirá C como candidato.

Especifique um valor menor para respostas menos aleatórias e um valor maior para respostas mais aleatórias.		 top_p

O exemplo de curl a seguir mostra como configurar o temperature para um valor de 1.5 e max_completion_tokens para 800:

curl \
  -X POST "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT/chat/completions" \
  -H "Content-Type: application/json; charset=utf-8" \
  -H "Authorization: Bearer $(gdcloud auth print-identity-token)" \
  -d '{
      "model_id": "MODEL_ID",
      "messages": [
          {
              "role": "user",
              "content": "Write a story about a magic backpack."
          }
      ],
      "temperature": 1.5,
      "max_completion_tokens": 800
  }'

Para mais informações sobre como testar parâmetros usando o endpoint de conclusão de chat da OpenAI, consulte https://platform.openai.com/docs/api-reference/chat/create.

A seguir