Usar o Imagen na legenda visual da Vertex AI e na Resposta visual a perguntas (VQA, na sigla em inglês) para receber informações de imagem (Console)

Usar o Imagen na legenda visual da Vertex AI e na Resposta visual a perguntas (VQA, na sigla em inglês) para receber informações de imagem (Console)

Observação: a API Gemini pode legendar e responder a perguntas com base em várias entradas de imagem, enquanto o Imagen processa uma só imagem em cada entrada. Para mais informações sobre os casos de uso da API Gemini, consulte a Visão geral da API Gemini.

Saiba como usar o Imagen nos recursos de legendagem visual e resposta a perguntas visuais (VQA, na sigla em inglês) da Vertex AI para receber informações de texto sobre uma imagem. Neste guia de início rápido, mostramos como usar legendas visuais e o VQA no Console do Google Cloud.

Fonte da imagem: Worachat Sodsri no Unsplash (imagem cortada, exibida no Console do Google Cloud).

Antes de começar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Vertex AI API.

   Enable the API

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Vertex AI API.

   Enable the API

Acessar a imagem de amostra

Depois de configurar o ambiente, é possível receber uma imagem de amostra e usar legendas visuais e o recurso Resposta visual a perguntas para conseguir informações sobre a imagem.

Fonte da imagem: Worachat Sodsri no Unsplash (imagem cortada).

Para conseguir a imagem de amostra, faça o download da imagem diretamente do Cloud Storage ou use o seguinte comando para salvá-la no diretório atual:

curl -O https://storage.googleapis.com/cloud-samples-data/generative-ai/image/vcap-vqa-quickstart_fish.jpg

Gerar descrições de imagens com legendas visuais

Depois de receber a imagem de amostra, você pode enviar a solicitação de legenda visual para conseguir uma descrição em texto da imagem.

Console

1. No console do Google Cloud, abra a guia Vertex AI Studio > Visão no painel da Vertex AI.

   Acessar a guia "Vertex AI Studio"

2. No menu inferior, clique em Legenda.

3. Clique em Fazer upload da imagem e selecione a imagem local para legendar.

4. No painel Parâmetros, defina o seguinte:

   1. Número de legendas: selecione 2.
   2. Idioma: se ainda não tiver selecionado, escolha English (en).

5. Clique em Gerar legendas.

Gerar respostas para perguntas com o VQA

Por fim, você pode usar a mesma imagem para fazer uma pergunta sobre ela e receber uma resposta usando o recurso VQA.

Console

1. No console do Google Cloud, abra a guia Vertex AI Studio > Visão no painel da Vertex AI.

   Acessar a guia "Vertex AI Studio"

2. No menu inferior, clique em Perguntas e respostas visuais.

3. Clique em Fazer upload da imagem e selecione a imagem local.

4. No painel Parâmetros, selecione "2" como o Número de respostas.

5. No campo (Faça uma pergunta aqui) digite o seguinte:

   What color is the left fish?
   

6. Clique em Gerar.

Parabéns! Você acabou de usar os recursos de legendagem visual e VQA do Imagen para conseguir informações sobre uma imagem.

Limpeza

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Excluir o projeto

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto existente para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos no projeto.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja passar por várias arquiteturas, tutoriais ou guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

A seguir

• Leia as diretrizes de uso do Imagen na Vertex AI.
• Confira modelos pré-treinados no Model Garden.
• Saiba mais sobre as práticas recomendadas de IA responsável e os filtros de segurança da Vertex AI.