Imagen on Vertex AI Jupyter 笔记本教程和示例

本文档包含一系列 Imagen on Vertex AI Jupyter 笔记本教程和包含代码示例的文章。

Jupyter 笔记本可以在多种环境中托管。您可以：

  • 从 GitHub 下载这些脚本并在本地机器上运行它们
  • 从 GitHub 下载这些脚本，并在本地网络的 Jupyter 或 JupyterLab 服务器上运行它们

  • 使用 Colaboratory (Colab) 或 Vertex AI Workbench 等服务在云中运行这些脚本。

Colab

在 Colab 中运行 Jupyter 笔记本是一种快速开始上手的方法。

如需在 Colab 中打开笔记本教程，请点击笔记本列表中的 Colab 链接。Colab 会创建一个具有所有所需依赖项的虚拟机实例，启动 Colab 环境并加载笔记本。

Vertex AI Workbench

您还可以使用用户管理的笔记本运行笔记本。使用 Vertex AI Workbench 创建用户管理的笔记本实例时，您可以完全控制托管虚拟机。您可以指定托管虚拟机的配置和环境。

如需在 Vertex AI Workbench 实例中打开笔记本教程，请执行以下操作：

  1. 点击笔记本列表中的 Vertex AI Workbench 链接。该链接会打开 Vertex AI Workbench 控制台。
  2. 在部署到笔记本屏幕中，输入新 Vertex AI Workbench 实例的名称，然后点击创建。
  3. 该实例启动后，系统会显示准备好打开笔记本对话框，点击打开。
  4. 在 Confirm deployment to notebook server（确认部署到笔记本服务器）页面上，选择确认。
  5. 在运行笔记本之前，请选择 Kernel > Restart Kernel and Clear all Outputs（内核 > 重启内核并清除所有输出）。

笔记本列表

功能 说明 打开方式
图片生成 (Imagen 2)
 使用 Imagen on Vertex AI 生成图片。
在此笔记本中，您将使用 Python 版 Vertex AI SDK 探索 Imagen 的图片生成功能。详细了解 Imagen 的图片生成功能。

教程步骤

  • 使用文本提示生成图片
  • 使用不同的参数进行实验，例如：
    • 增加要生成的图片数量。
    • 修复种子编号以提高可再现性。
    • 使用否定提示影响输出图片。
 		Colab
GitHub
Vertex AI Workbench
图片生成 (Imagen 2)

文本生成 (Gemini 1.0 Pro)

输出文本格式设置 (Gemini 1.0 Pro) 		使用 Imagen 和 Gemini 1.0 Pro 创建高画质视觉素材资源。
在此笔记本中，您将使用 Imagen 和 Gemini 1.0 Pro 为餐厅菜单创建高画质视觉素材资源。详细了解图片生成和多模态模型。

教程步骤

  • 使用 Gemini 1.0 Pro 生成图片提示。
  • 使用 Imagen 通过提示创建高画质图片。
  • 实现简短的流水线以生成高度细节化的视觉素材资源。
 		Colab
GitHub
Vertex AI Workbench
图片修改 (Imagen 2) 使用自动生成的蒙版区域通过 Imagen 2 修改创建高品质的视觉素材资源。
在此笔记本中，您将使用 Python 版 Vertex AI SDK 探索 Imagen 的图片修改功能。

教程步骤

  • 使用文字提示修改整个上传或生成的图片。
  • 定义图片中要修改的特定对象。
  • 修改图片背景。
  • 修改图片的前景。
  • 移除图片的背景或前景。
  • 使用不同的参数进行实验，例如：
    • 减小瘦对象的遮罩的扩张。
    • 使用否定提示影响修改后的输出图片。
 		Colab
GitHub
Vertex AI Workbench
图片说明/视觉标注 (Imagen) 使用 Imagen on Vertex AI 进行视觉标注
在此笔记本中，您将学习如何使用 Python 版 Vertex AI SDK 为图片生成视觉标注。详细了解 Imagen 的图片标注功能。

教程步骤

  • 使用 Imagen 的视觉标注功能生成图片说明。
  • 使用不同的参数进行实验，例如：
    • 要生成的图片说明数量。
    • 生成的图片说明采用的语言。
    • 用于生成图片说明的模型的类型和版本。
 		Colab
GitHub
Vertex AI Workbench
Visual Question Answering (VQA) (Imagen) 使用 Imagen on Vertex AI 的 Visual Question Answering (VQA)
在此笔记本中，您将学习如何使用 Python 版 Vertex AI SDK 为有关图片的问题生成回答。详细了解 Imagen 的 Visual Question Answering (VQA) 功能。

教程步骤

  • 使用 Imagen 的 Visual Question Answering 功能回答有关图片的问题。
  • 使用不同的参数进行实验，例如：
    • 模型要提供的回答数量。
 		Colab
GitHub
Vertex AI Workbench

包含示例的文章列表

功能 说明 链接
图片修改 (Imagen)
 使用 Imagen on Vertex AI 更改背景：分步指南。
本文介绍如何使用 Python 版 Vertex AI SDK 进行基于蒙版的修改。 如要更改背景，请执行以下步骤：
  • 移除现有背景。
  • 创建蒙版和反向蒙版图片。
  • 将图片编码为字符串。
  • 创建请求载荷。
详细了解 Imagen 的图片修改功能。 		文章链接
GitHub
图片生成 (Imagen)

文本生成 (PaLM 2 for Text) 		Google Imagen（通过 Google Cloud Vertex AI Studio）用作时尚设计助理。

在本文中，我们将探讨生成式 AI 如何帮助时尚设计师使用 Google 用于生成文本和图片的一套生成式模型来想出新的创意和设计。本文介绍如何在 Google Cloud 控制台中将 PaLM 2 for Text 的 text-bison 模型与 Python 版 Vertex AI SDK 搭配使用。然后向您展示如何使用生成的提示作为输入，通过 Imagen 的 imagegeneration 模型生成图片。

详细了解 Imagen 的图片生成功能和 PaLM 2 for Text 的文本生成功能。

文章链接
图片生成 (Imagen 2)

图片修改 (Imagen) 		使用 Imagen 和 LangChain4j 生成图片 (Java)。

在本文中，我们将探讨如何在 LangChain4j 中使用 Imagen 生成和修改图片。

详细了解 Imagen 的图片生成和图片修改功能。

文章链接