Vertex AI Jupyter ノートブックの Imagen のチュートリアルとサンプル

このドキュメントでは、Vertex AI Jupyter ノートブックの Imagen のチュートリアルと、コードサンプル付きの記事の一覧を示します。

Jupyter ノートブックをホストできる環境は数多くあります。次のことが可能です。

  • GitHub からダウンロードしてローカルマシンで実行する
  • GitHub からダウンロードして、ローカル ネットワークの Jupyter または JupyterLab サーバーで実行する

  • Colaboratory（Colab）や Vertex AI Workbench などのサービスを使用してクラウドで実行する

Colab

簡単に始めるには、Colab で Jupyter ノートブックを実行します。

Colab でノートブックのチュートリアルを開くには、ノートブックの一覧にある Colab のリンクをクリックします。Colab は、必要なすべての依存関係を含む VM インスタンスを作成し、Colab 環境を起動して、ノートブックを読み込みます。

Vertex AI Workbench

ユーザー管理のノートブックを使用してノートブックを実行することもできます。Vertex AI Workbench を使用してユーザー管理ノートブック インスタンスを作成する場合は、ホスト側の VM を完全に制御できます。ホスト側の VM の構成と環境を指定できます。

Vertex AI Workbench インスタンスでノートブックのチュートリアルを開くには:

  1. ノートブックの一覧にある Vertex AI Workbench のリンクをクリックします。リンクをクリックすると、Vertex AI Workbench コンソールが開きます。
  2. [ノートブックへのデプロイ] 画面で、新しい Vertex AI Workbench インスタンスの名前を入力して [作成] をクリックします。
  3. インスタンスの起動後に表示される [ノートブックを開く準備ができました] ダイアログで、[開く] をクリックします。
  4. [Confirm deployment to notebook server] ページで、[Confirm] を選択します。
  5. ノートブックを実行する前に、[Kernel] で [Restart Kernel] と [Clear all Outputs] を選択します。

ノートブックの一覧

機能 説明 開始
画像生成（Imagen 2）
 Vertex AI で Imagen を使用した画像生成。
このノートブックでは、Vertex AI SDK for Python を使用して Imagen の画像生成機能について確認します。Imagen の画像生成機能の詳細をご覧ください。

チュートリアルのステップ

  • テキスト プロンプトを使用して画像を生成します。
  • 次のようなさまざまなパラメータを試します。
    • 生成される画像の数を増やします。
    • 再現性のためシード番号を修正します。
    • ネガティブ プロンプトを使用して出力画像に影響を与えます。
 		Colab
GitHub
Vertex AI Workbench
画像生成（Imagen 2）

テキスト生成（Gemini 1.0 Pro）

出力テキストの書式設定（Gemini 1.0 Pro）		 Imagen と Gemini 1.0 Pro を使用して高品質のビジュアル アセットを作成する。
このノートブックでは、Imagen と Gemini 1.0 Pro を使用して、レストランのメニューの高品質なビジュアル アセットを作成します。画像生成とマルチモーダル モデルの詳細をご覧ください。

チュートリアルのステップ

  • Gemini 1.0 Pro で画像プロンプトを生成します。
  • Imagen を使用して、プロンプトから高品質の画像を作成します。
  • 短いパイプラインを実装し、非常に詳細なビジュアル アセットを生成します。
 		Colab
GitHub
Vertex AI Workbench
画像説明 / 画像キャプション（Imagen） Vertex AI の Imagen を使用した画像キャプション。
このノートブックでは、Vertex AI SDK for Python を使用して画像の画像キャプションを生成する方法を学習します。Imagen の画像キャプション機能の詳細をご覧ください。

チュートリアルのステップ

  • Imagen の画像キャプション機能を使用して画像キャプションを生成します。
  • 次のようなさまざまなパラメータを試します。
    • 生成されるキャプションの数。
    • 生成されるキャプションの言語。
    • キャプションの生成に使用されるモデルのタイプとバージョン。
 		Colab
GitHub
Vertex AI Workbench
Visual Question Answering（VQA）（Imagen） Vertex AI の Imagen を使用した Visual Question Answering（VQA）。
このノートブックでは、Vertex AI SDK for Python を使用して、画像に関する質問の回答を生成する方法を学習します。Imagen の Visual Question Answering（VQA）機能の詳細をご覧ください。

チュートリアルのステップ

  • Imagen の Visual Question Answering 機能を使用して、画像に関する質問に回答します。
  • 次のようなさまざまなパラメータを試します。
    • モデルによって提供される回答の数。
 		Colab
GitHub
Vertex AI Workbench

記事のリストとサンプル

機能 説明 リンク
画像編集（Imagen）
 Vertex AI の Imagen を使用した背景変更: 設定ガイド。
この記事では、Vertex AI SDK for Python を使用してマスクベースの編集を行う方法について説明します。背景の変更手順は次のとおりです。
  • 既存の背景を削除します。
  • マスクと反転マスク画像を作成します。
  • 画像を文字列にエンコードします。
  • リクエスト ペイロードを作成します。
Imagen の画像編集機能の詳細をご覧ください。		 記事のリンク
GitHub
画像生成（Imagen）

テキスト生成（テキスト用の PaLM 2）		 ファッション デザイン アシスタントとしての Google Imagen（Google Cloud Vertex AI Studio を使用）。

この記事では、ファッション デザイナーが、テキストや画像の生成を行う Google 生成モデルスイートを使用して新しいアイデアやデザインを考える際に、生成 AI がどのように役立つかについて説明します。この記事では、Google Cloud コンソールと Vertex AI SDK for Python でテキスト用の PaLM 2 の text-bison モデルを使用する方法について説明します。次に、生成されたプロンプトから Imagen の imagegeneration モデルを使用して画像生成の入力として機能する方法を説明します。

Imagen の画像生成機能とテキスト用の PaLM 2 のテキスト生成機能の詳細をご覧ください。

 記事のリンク
画像生成（Imagen 2）

画像編集（Imagen）		 Imagen と LangChain4j（Java）を使用した画像生成。

この記事では、LangChain4j で Imagen を使用して画像を生成、編集する方法について説明します。

Imagen の画像生成機能と画像編集機能の詳細をご覧ください。

 記事のリンク