Vertex AI の Imagen で画像キャプションと Visual Question & Answering（VQA）を使用して画像情報を取得する（コンソール）

Vertex AI の Imagen で画像キャプション機能と Visual Question & Answering（VQA）機能を使用して画像に関するテキスト情報を取得する方法を学習します。このクイックスタートでは、Google Cloud コンソールで画像キャプションと VQA を使用する方法について説明します。

魚の画像サンプル
画像の出典: Worachat Sodsri 氏、Unsplash より（トリミングされた画像を Google Cloud コンソールに表示）

始める前に

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

    プロジェクト セレクタに移動

  3. Google Cloud プロジェクトで課金が有効になっていることを確認します。

  4. Vertex AI API を有効にします。

    API を有効にする

    5.

  5. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

    プロジェクト セレクタに移動

  6. Google Cloud プロジェクトで課金が有効になっていることを確認します。

  7. Vertex AI API を有効にします。

    API を有効にする

    8.

サンプル画像を取得する

環境の設定が完了したら、サンプル画像を取得し、画像キャプションと VQA を使用して画像に関する情報を取得できます。

魚の画像サンプル
画像の出典: Worachat Sodsri 氏、Unsplash より（トリミングされた画像）

サンプル画像を取得するには、画像を Cloud Storage から直接ダウンロードするか、次のコマンドを使用して現在のディレクトリに保存します。

curl -O https://storage.googleapis.com/cloud-samples-data/generative-ai/image/vcap-vqa-quickstart_fish.jpg

画像キャプションを使用して画像の説明を生成する

サンプル画像を取得したら、画像キャプション リクエストを送信して画像のテキスト説明を取得できます。

コンソール

  1. Google Cloud コンソールの Vertex AI ダッシュボードで [Vertex AI Studio] > [ビジョン] タブを開きます。

    [Vertex AI Studio] タブに移動

  2. 下部のメニューで [Caption] をクリックします。

  3. [Upload image] をクリックして字幕を付けるローカル画像を選択します。

  4. [Parameters] パネルで次のように設定します。

    1. Number of captions: 2 を選択します。
    2. Language: まだ選択していない場合は、English (en) を選択します。

  5. [Generate captions] をクリックします。

VQA で質問に対する回答を生成する

最後に、同じ画像を使用して画像について質問し、VQA 機能を使用して回答を取得できます。

コンソール

  1. Google Cloud コンソールの Vertex AI ダッシュボードで [Vertex AI Studio] > [ビジョン] タブを開きます。

    [Vertex AI Studio] タブに移動

  2. 下部のメニューで [Visual Q&A] をクリックします。

  3. [Upload image] をクリックしてローカル画像を選択します。

  4. [Parameters] パネルで、回答の数として「2」を選択します。

  5. プロンプト（[ここに質問を入力してください。]）フィールドに次のテキストを入力します。

    What color is the left fish?

  6. [Generate] をクリックします。

これで完了です。これで、Imagen の画像キャプション機能と VQA 機能を使用して画像に関する情報を取得できました。

クリーンアップ

このページで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、次の手順を実施します。

プロジェクトを削除する

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

次のステップ