Legendas de imagem

imagetext é o nome do modelo que aceita legendas de imagens. imagetext gera uma legenda a partir de uma imagem que você fornece com base no idioma especificado. O modelo dá suporte aos seguintes idiomas: inglês (en), alemão (de), francês (fr), espanhol (es) e italiano (it).

Para conferir esse modelo no console, consulte o card de modelo Image Captioning no Model Garden.

Acessar o Model Garden

Casos de uso

Alguns casos de uso comuns de legendagem de imagens incluem:

  • Os criadores de conteúdo podem gerar legendas para imagens e vídeos enviados (por exemplo, uma breve descrição de uma sequência de vídeos).
  • Gerar legendas para descrever os produtos
  • Integrar legendas a um app usando a API para criar novas experiências

Solicitação HTTP

POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/imagetext:predict

Corpo da solicitação

{
  "instances": [
    {
      "image": {
        // Union field can be only one of the following:
        "bytesBase64Encoded": string,
        "gcsUri": string,
        // End of list of possible types for union field.
        "mimeType": string
      }
    }
  ],
  "parameters": {
    "sampleCount": integer,
    "storageUri": string,
    "language": string,
    "seed": integer
  }
}

Use os parâmetros a seguir para o modelo do Imagen imagetext. Para mais informações, consulte Conferir descrições de imagens usando legendas visuais.

Parâmetro Descrição Valores aceitáveis
instances Uma matriz que contém o objeto com detalhes da imagem sobre as quais você quer informações. matriz (1 objeto de imagem permitido)
bytesBase64Encoded A imagem a ser legendada. String de imagem codificada em Base64 (PNG ou JPEG, 20 MB no máximo)
gcsUri O URI do Cloud Storage da imagem a ser legendada. URI de string do arquivo de imagem no Cloud Storage (PNG ou JPEG, 20 MB no máximo)
mimeType Opcional. O tipo MIME da imagem que você especifica. string (image/jpeg ou image/png)
sampleCount Número de strings de texto geradas. Int value: 1-3
seed Opcional. A semente do gerador de número aleatório (RNG). Se a semente RNG for a mesma para solicitações com entradas, os resultados da previsão serão os mesmos. integer
storageUri Opcional. O local do Cloud Storage para salvar as respostas de texto geradas. string
language Opcional. A solicitação de texto para orientar a resposta. string: en (padrão), de, fr, it, es

Exemplo de solicitação

REST

Para testar um prompt de texto usando a API Vertex AI, envie uma solicitação POST para o endpoint do modelo do editor.

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: o ID do projeto do Google Cloud.
  • LOCATION: a região do seu projeto. Por exemplo, us-central1, europe-west2 ou asia-northeast3. Para uma lista de regiões disponíveis, consulte IA generativa em locais da Vertex AI.
  • B64_IMAGE: a imagem que receberá as legendas. A imagem precisa ser especificada como uma string de bytes codificada em base64. Limite de tamanho: 10 MB.
  • RESPONSE_COUNT: o número de legendas de imagem que você quer gerar. Valores inteiros aceitos: 1 a 3.
  • LANGUAGE_CODE: um dos códigos de idioma compatíveis. Linguagens compatíveis:
    • Inglês (en)
    • Francês (fr)
    • Alemão (de)
    • Italiano (it)
    • Espanhol (es)

Método HTTP e URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagetext:predict

Corpo JSON da solicitação:

{
  "instances": [
    {
      "image": {
          "bytesBase64Encoded": "B64_IMAGE"
      }
    }
  ],
  "parameters": {
    "sampleCount": RESPONSE_COUNT,
    "language": "LANGUAGE_CODE"
  }
}

Para enviar a solicitação, escolha uma destas opções:

curl

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir: 

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagetext:predict"

PowerShell

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagetext:predict" | Select-Object -Expand Content
As respostas de amostra a seguir são de uma solicitação com "sampleCount": 2. A resposta retorna duas strings de previsão.

Inglês (en):

{
  "predictions": [
    "a yellow mug with a sheep on it sits next to a slice of cake",
    "a cup of coffee with a heart shaped latte art next to a slice of cake"
  ],
  "deployedModelId": "DEPLOYED_MODEL_ID",
  "model": "projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID",
  "modelDisplayName": "MODEL_DISPLAYNAME",
  "modelVersionId": "1"
}

Espanhol (es):

{
  "predictions": [
    "una taza de café junto a un plato de pastel de chocolate",
    "una taza de café con una forma de corazón en la espuma"
  ]
}

Corpo da resposta

{
  "predictions": [ string ]
}
Elemento de resposta Descrição
predictions Lista de strings de texto representando legendas, classificadas por confiança.

Exemplo de resposta

{
  "predictions": [
    "text1",
    "text2"
  ]
}