Use a Vertex AI para enviar um comando de texto ao modelo de linguagem grande (LLM, na sigla em inglês) do PaLM 2 do Google e receber uma resposta. Teste e personalize os comandos para atender às necessidades do aplicativo.
Antes de começar
Antes de testar as solicitações de texto, faça o seguinte:
- Configure um projeto e um ambiente de desenvolvimento. A ID do projeto é necessária para executar o exemplo de código.
- Familiarize-se com os parâmetros de texto que precisam ser substituídos antes de executar o código de amostra.
- Revise os casos de uso de texto para ajudar a identificar que tipo de amostra criar.
Testar solicitações de texto
Selecione uma guia e siga as instruções para executar a amostra.
REST
Para testar um prompt de texto usando a API Vertex AI, envie uma solicitação POST para o endpoint do modelo do editor.
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
- PROJECT_ID: o ID do projeto.
- PROMPT: um comando é uma solicitação de linguagem natural enviada a um modelo de linguagem para receber uma resposta. Os comandos podem conter perguntas, instruções, informações contextuais, exemplos e texto para que o modelo seja concluído ou continue. (Não adicione citações diretas ao redor deste comando.)
- TEMPERATURE:
A temperatura é usada para amostragem durante a geração da resposta, que ocorre quando
topP
etopK
são aplicados. A temperatura controla o grau de aleatoriedade na seleção do token. Temperaturas mais baixas são boas para solicitações que exigem uma resposta menos aberta ou criativa, enquanto temperaturas mais altas podem levar a resultados mais diversos ou criativos. Uma temperatura de0
significa que os tokens de maior probabilidade são sempre selecionados. Nesse caso, as respostas para uma determinada solicitação são, na maioria das vezes, deterministas, mas uma pequena variação ainda é possível.Se o modelo retornar uma resposta muito genérica, muito curta ou se o modelo fornecer uma resposta alternativa, tente aumentar a temperatura.
- MAX_OUTPUT_TOKENS: número máximo de tokens que podem ser gerados na resposta. Um token tem cerca de quatro caracteres. 100 tokens correspondem a cerca de 60 a 80 palavras.
Especifique um valor mais baixo para respostas mais curtas e um valor mais alto para respostas potencialmente mais longas.
- TOP_P:
o top-p muda a forma como o modelo seleciona tokens para saída. Os tokens são selecionados do mais provável (confira o top-K) para o menos provável até que a soma das probabilidades seja igual ao valor do top-P. Por exemplo, se os tokens A, B e C tiverem uma probabilidade de
0,3, 0,2 e 0,1 e o valor de top-P for
0.5
, o modelo selecionará A ou B como token seguinte usando temperatura e exclui C como candidato.Especifique um valor mais baixo para respostas menos aleatórias e um valor mais alto para respostas mais aleatórias.
- TOP_K:
o top-k muda a forma como o modelo seleciona tokens para saída. Um top-K de
1
significa que o próximo token selecionado é o mais provável entre todos os tokens no vocabulário do modelo (também chamado de decodificação gananciosa), enquanto um top-K de3
significa que o próximo token está selecionado entre os três tokens mais prováveis usando a temperatura.Para cada etapa da seleção de tokens, são amostrados os tokens top-K com as maiores probabilidades. Em seguida, os tokens são filtrados com base no valor de top-P com o token final selecionado por meio da amostragem de temperatura.
Especifique um valor mais baixo para respostas menos aleatórias e um valor mais alto para respostas mais aleatórias.
Método HTTP e URL:
POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison:predict
Corpo JSON da solicitação:
{ "instances": [ { "prompt": "PROMPT"} ], "parameters": { "temperature": TEMPERATURE, "maxOutputTokens": MAX_OUTPUT_TOKENS, "topP": TOP_P, "topK": TOP_K } }
Para enviar a solicitação, escolha uma destas opções:
curl
Salve o corpo da solicitação em um arquivo com o nome request.json
e execute o comando a seguir:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison:predict"
PowerShell
Salve o corpo da solicitação em um arquivo com o nome request.json
e execute o comando a seguir:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison:predict" | Select-Object -Expand Content
Você receberá uma resposta JSON semelhante a seguinte.
Python
Para saber como instalar ou atualizar o Python, consulte Instalar o SDK da Vertex AI para Python. Para mais informações, consulte a documentação de referência da API Python.
C#
Antes de testar essa amostra, siga as instruções de configuração para C# Guia de início rápido da Vertex AI: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Vertex AI para C#.
Para autenticar na Vertex AI, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Antes de testar essa amostra, siga as instruções de configuração para Node.js Guia de início rápido da Vertex AI: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Vertex AI para Node.js.
Para autenticar na Vertex AI, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Antes de testar essa amostra, siga as instruções de configuração para Java Guia de início rápido da Vertex AI: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Vertex AI para Java.
Para autenticar na Vertex AI, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Console
Para testar um comando de texto usando o Vertex AI Studio no console do Google Cloud, siga estas etapas:
- Na seção "Vertex AI" do console do Google Cloud, acesse a página do Vertex AI Studio.
- Se o projeto não tiver sido selecionado, selecione-o.
- Clique na guia Primeiros passos.
- Clique Comando de texto.
Selecione o método para inserir o comando:
- Freeform é recomendado para solicitações de imagem zero ou insira as solicitações de uma captura.
- Estruturado é recomendado para projetar comandos few-shot no Vertex AI Studio.
Formato livre
Digite o comando no campo de texto Comando.
Estruturado
O método estruturado para inserir comandos separa os componentes de um prompt em diferentes campos:
- Contexto: insira instruções para a tarefa que você quer que o modelo execute e inclua informações contextuais para o modelo para referência.
- Exemplos: para solicitações de poucas fotos, adicione exemplos de entrada e saída que exibem os padrões comportamentais para o modelo imitar. Adicionar um prefixo, como input ou output é opcional. Opcional: se você optar por adicionar prefixos, torne-os consistentes em todos os exemplos.
- Executar: no campo Entrada, insira a entrada da solicitação para a qual você quer receber uma resposta. Adicionar um prefixo à entrada e saída de teste é opcional. Se os exemplos tiverem prefixos, o teste precisará ter os mesmos prefixos.
Configure o modelo e os parâmetros.
- Clique em Enviar.
- Opcional: para salvar a solicitação em Minhas solicitações, clique em Salvar.
- Opcional: para receber o código Python ou um comando curl para seu prompt, clique em Ver código.
Resposta de stream do modelo de texto
Para conferir exemplos de solicitações de código e respostas usando a API REST, consulte Exemplos usando a API REST.
Para ver exemplos de solicitações de código e respostas usando o SDK da Vertex AI para Python, consulte Exemplos que usam o SDK da Vertex AI para Python.
A seguir
- Saiba mais sobre como criar comandos de texto e comandos de chat de texto.
- Saiba como testar comandos no Vertex AI Studio.
- Saiba mais sobre embeddings de texto.
- Tente ajustar um modelo de base da linguagem.
- Saiba mais sobre as práticas recomendadas de IA responsável e os filtros de segurança da Vertex AI.