Gerar texto

A forma mais simples de gerar texto com a API Gemini Chat Completions é fornecer ao modelo uma única entrada apenas de texto. Pode usar o ponto final de conclusões de chat na API REST e usar um cliente HTTP ou os SDKs oficiais da OpenAI para Python.

Para mais informações sobre a geração de texto com o Gemini e instruções passo a passo sobre o envio de pedidos de API, consulte o artigo Envie um comando de texto.

Para saber mais sobre a OpenAI e o ponto final Chat Completions que o Gemini implementa no Google Distributed Cloud (GDC) air-gapped, consulte https://platform.openai.com/docs/api-reference/chat.

Gere texto a partir de um comando

Os exemplos seguintes mostram um pedido da API Gemini Chat Completions com uma única entrada apenas de texto através dos SDKs oficiais da OpenAI para Python ou curl.

Python 

import openai

client = openai.OpenAI(
  base_url = "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT",
)

model_response = client.chat.completions.create(
  model = "MODEL_ID",
  messages = [{"role": "user", "content": "Write a story about a magic backpack." }]
)

print(model_response)

Substitua MODEL_ID pelo ID do ponto final do modelo que quer para gerar a resposta.

curl 

curl \
  -X POST "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT/chat/completions" \
  -H "Content-Type: application/json; charset=utf-8" \
  -H "Authorization: Bearer $(gdcloud auth print-identity-token)" \
  -d '{
      "model_id": "MODEL_ID",
      "messages": [
          {
              "role": "user",
              "content": "Write a story about a magic backpack."
          }
      ]
  }'

Substitua o seguinte:

  • ENDPOINT: o ponto final da API que usa para a sua organização.
  • PROJECT: o ID do seu projeto.
  • MODEL_ID: o ID do ponto final do modelo para o qual quer gerar a resposta.

Faça experiências com parâmetros

Todos os comandos que envia para o modelo incluem parâmetros que controlam a forma como o modelo gera respostas. Os diferentes valores dos parâmetros podem gerar resultados diferentes. Experimente diferentes valores de parâmetros para obter os melhores valores para a tarefa. Os parâmetros disponíveis para diferentes modelos podem variar. Se não configurar os parâmetros, o modelo usa as opções predefinidas.

Os parâmetros mais comuns são os seguintes:

Parâmetro Descrição Nome do campo
Máximo de símbolos Número máximo de tokens que podem ser gerados na resposta.

Um token tem aproximadamente quatro carateres. 100 tokens correspondem a 60 a 80 palavras.

Especifique um valor mais baixo para respostas mais curtas e um valor mais alto para respostas potencialmente mais longas.		 max_completion_tokens
Temperatura O grau de aleatoriedade na seleção de tokens. A temperatura é usada para a amostragem durante a geração de respostas, que ocorre quando top_p é aplicada.

Use valores mais baixos para comandos que exijam respostas menos criativas ou mais abertas. Os valores mais elevados podem gerar resultados mais diversificados ou criativos.

Uma temperatura de 0 significa que os tokens de maior probabilidade são sempre selecionados. Neste caso, as respostas a um determinado comando são maioritariamente determinísticas, mas ainda é possível uma pequena variação.

Se uma resposta for demasiado genérica, demasiado curta ou o modelo der uma resposta alternativa, aumente a temperatura.

Seguem-se o intervalo de temperatura e o valor predefinido para os modelos Gemini na GDC:
  • Intervalo de temperaturas: 0.0 - 2.0
  • Valor predefinido: 1.0
 temperature
Top-P Um valor de probabilidade de limite que altera a forma como o modelo seleciona tokens para saída.

Os tokens são selecionados do mais para o menos provável até que a soma das respetivas probabilidades seja igual ao valor de Top-P. Por exemplo, se os tokens A, B e C tiverem uma probabilidade de 0,3, 0,2 e 0,1 e o valor de top-P for 0.5, o modelo seleciona A ou B como o token seguinte através da temperatura e exclui C como candidato.

Especifique um valor mais baixo para respostas menos aleatórias e um valor mais elevado para respostas mais aleatórias.		 top_p

O curl exemplo seguinte mostra como configurar o temperature para um valor de 1.5 e o max_completion_tokens para 800:

curl \
  -X POST "https://ENDPOINT:443/v1/projects/PROJECT/locations/PROJECT/chat/completions" \
  -H "Content-Type: application/json; charset=utf-8" \
  -H "Authorization: Bearer $(gdcloud auth print-identity-token)" \
  -d '{
      "model_id": "MODEL_ID",
      "messages": [
          {
              "role": "user",
              "content": "Write a story about a magic backpack."
          }
      ],
      "temperature": 1.5,
      "max_completion_tokens": 800
  }'

Para mais informações sobre a experimentação com parâmetros através do ponto final de conclusão de chat da OpenAI, consulte https://platform.openai.com/docs/api-reference/chat/create.

O que se segue?