Imagen on Vertex AI | AI 图片生成器

API 参考文档概览：如需查看用于生成和修改图片的 API 选项的概览，请参阅 imagegeneration 模型 API 参考文档。

Imagen on Vertex AI 为应用开发者提供了 Google 最先进的图片生成式 AI 功能。借助 Imagen on Vertex AI，应用开发者可以构建新一代 AI 产品，以使用 AI 生成在几秒钟内将用户的想象力转化为高品质的视觉素材资源。

试用图片生成功能 (Vertex AI Studio)

请求访问权限：Imagen 3 自定义和修改

申请访问权限：人物和人脸生成

通过 Imagen，您可以执行以下操作：

• 仅使用文本提示生成新图片（文本转图片 AI 生成）。
• 使用您定义的蒙版区域修改或扩展已上传或生成的图片。
• 为产品图片生成新的背景。
• 使用概念（主题或风格）的图片自定义图片生成，以保留人物、产品、宠物或风格的外观。
• 使用文本提示修改整个图片或图片的一部分，而无需使用蒙版。
• 放大现有、生成的或编辑后的图片。
• 使用特定主题（例如，特定的手提包或鞋）来微调模型，以生成图片。

• 
• 
• 
• 
• 
• 

上方图片的提示

这些图片是使用通用的 Imagen 3 图片生成模型 (imagen-3.0-generate-002) 和以下提示生成的：

1. Claymation scene. A medium wide shot of an elderly woman. She is wearing flowing clothing. She is standing in a lush garden watering the plants with an orange watering can
2. Shot in the style of DSLR camera with the polarizing filter. A photo of two hot air balloons over the unique rock formations in Cappadocia, Turkey. The colors and patterns on these balloons contrast beautifully against the earthy tones of the landscape below. This shot captures the sense of adventure that comes with enjoying such an experience.
3. A weathered, wooden mech robot covered in flowering vines stands peacefully in a field of tall wildflowers, with a a small blue bird resting on its outstrecteched hand. Digital Cartoon, with warm colors and soft lines. A large cliff with a waterfall looms behind.
4. A view of a person's hand as they hold a little clay figurine of a bird in their hand and sculpt it with a modeling tool in their other hand. You can see the sculptor's scarf. Their hands are covered in clay dust. A macro DSLR image highlighting the texture and craftsmanship.
5. A large, colorful bouquet of flowers in an old blue glass vase on the table. In front is one beautiful peony flower surrounded by various other blossoms like roses, lilies, daisies, orchids, fruits, berries, green leaves. The background is dark gray. Oil painting in the style of the Dutch Golden Age.
6. A single comic book panel of a boy and his father on a grassy hill, staring at the sunset. A speech bubble points from the boy's mouth and says: The sun will rise again. Muted, late 1990s coloring style

产品使用

如需查看与 Imagen on Vertex AI 关联的使用标准和内容限制，请参阅使用指南。

人物和人脸生成

Imagen 3 可根据自然语言文本提示生成最逼真和最高质量的图片，包括所有年龄段的人物图片。这些人物生成功能（包括生成成人和儿童图片）可能需要对您的应用场景进行审核和批准。

根据您选择的人物或人脸生成参数和文本提示的上下文，Imagen 3 可能会显示一条错误消息，指示您的Google Cloud 项目需要获得成人内容生成或儿童内容生成的批准。

如果您需要获得批准，请填写申请表单，Google 代表会就您的申请与您联系。

受限的正式版和预览版功能

Imagen on Vertex AI 提供可信测试员计划下的访问受限的正式版功能和预览版功能。

如需申请访问以使用这些受限的 Imagen 功能，请填写 Imagen on Vertex AI 访问申请表单。如果获得了批准，我们会为您提供有关如何开始使用的说明。

如需在加入可信测试员计划后退出该计划，请参阅退出可信测试员计划。

Imagen on Vertex AI 功能和发布阶段

Imagen on Vertex AI 提供多个图片生成式 AI 功能。不同的发布阶段提供了这些功能。

以下功能已面向所有用户正式发布 (GA)：

功能	说明	链接	发布阶段
图片生成 （Imagen 3 和 Imagen 3 Fast）	使用文本提示生成新图片。	使用文本提示生成图片 Imagen API 参考文档 - 生成图片	正式版
数字水印和验证 （图片生成）	将数字（不可见）水印（称为 SynthID）添加到生成的图片，并验证图片上是否存在水印。	添加或验证图片水印 Imagen API 参考文档 - 生成图片	正式版
用户可配置的安全设置 （图片生成）	获取有关被屏蔽输入和输出的信息、控制安全过滤级别，以及启用人物和人脸生成功能（仅限已获批准的用户）。	Responsible AI 和 Imagen 使用指南 配置 Responsible AI (RAI) 安全设置 Imagen API 参考文档 - 生成图片	正式版

以下功能已正式发布 (GA)，但需要获得批准才能使用。只有已获批准的用户才能访问以下功能的文档：

请求访问权限：Imagen 3 自定义和修改

功能	说明	链接 verified_user	发布阶段
Imagen 3 修改	使用 Imagen 3 模型进行基于蒙版的图片修改。Imagen 3 基于蒙版的图片修改提供以下功能： 修复插入或移除 - 根据您定义的蒙版区域，在基础图片中插入或移除内容。 扩绘 - 将基础图片的内容真实地扩展为特定的宽高比。 产品图片修改 - 使用自动背景检测和遮盖功能修改产品图片。	使用图像修复进行修改（插入或移除对象） 使用扩绘进行修改 修改产品图片 Imagen API 参考文档 - 修改图片	正式版（已批准的用户）
Imagen 3 自定义（少量样本学习）	使用少量样本学习自定义图片生成。您可以提供参考图片来引导生成以下类别的图片： 主题自定义 - 提供特定主题类型的参考图片来引导图片生成：产品、人物和宠物。 风格自定义 - 提供风格的参考图片，以便在生成的图片中复制。 受控自定义 - 提供基础控制图片（涂鸦或 Canny 边缘）来引导图片生成。 指示自定义 - 提供参考图片，以将参考图片的风格转移到生成的图片。	主题自定义 风格自定义 受控自定义 指示自定义 Imagen API 参考文档 - 自定义图片	正式版（已批准的用户）
Imagen 修改	使用 Imagen v.002 模型修改图片，而无需指定要修改的蒙版区域。	仅使用文本提示修改图片（无蒙版） Imagen API 参考文档 - 修改图片	正式版（已批准的用户）
图片生成 （Imagen 2 和 Imagen）	通过 Imagen 2（v.006 和 v.005）和 Imagen (v.002) 模型使用文本提示生成新图片。	使用文本提示生成图片 Imagen API 参考文档 - 生成图片	正式版（已批准的用户）
主题模型微调（标准调优）	使用主题的示例图片微调现有模型，并使用经过微调的模型生成图片。	调优自定义主题模型（标准和即时调优）	正式版（已批准的用户）
风格模型微调	使用风格的示例图片微调现有模型，并使用经过微调的模型生成图片。	对自定义风格模型进行调优	正式版（已批准的用户）

以下功能处于预览版阶段，需要获得批准才能使用。只有已获批准的用户才能访问以下功能的文档：

功能	说明	链接 实验	发布阶段
使用 Imagen 2 个性化进行修改	提供人物面部图片，并以四种预定义风格（水彩、手绘、插画和 3D 角色）之一生成其风格化（非照片写实）图片。	使用 Imagen 2 个性化进行修改	预览版
使用 Imagen 2 受控自定义进行修改	使用源图片或源图片信号（Canny 边缘或涂鸦）和 Imagen 2 模型引导图片生成。	受控自定义	预览版
主题模型微调（即时调优）	使用主题的示例图片微调现有模型，并使用经过微调的模型生成图片。完成这种微调所需的时间比标准调优要少。	调优自定义主题模型（即时调优）	预览版
文字转实况图片^†	根据文字生成实况图片。实况图片的时长上限为四秒。	根据文字创建实况图片	预览版
视频说明	获取视频内容的文本说明。	获取视频说明	预览版

^† 如需了解如何获取此功能的访问权限，请与您的客户代表联系。

用户可以使用以下功能，但 Vertex AI 上提供了更新的生成式 AI 模型，这些模型提供相同的功能：

功能	说明	链接	发布阶段
视觉标注	获取图片内容的文本说明。	使用视觉标注获取图片说明 Imagen API 参考文档 - 图片标注	正式版
视觉问答 (VQA)	提问并获取图片的相关信息。	使用 Visual Question Answering (VQA) Imagen API 参考文档 - Visual Question Answering (VQA)	正式版

包含示例的文章列表

如需了解详情，请在您选择的环境中运行以下 Jupyter 笔记本：

• “使用 Imagen 和 Gemini 创建高画质视觉素材资源”：

  在 Colab 中打开 | 在 Colab Enterprise 中打开 | 在 Vertex AI Workbench 用户管理的笔记本中打开 | 在 GitHub 上查看

• “Imagen 3 图片生成”：

  在 Colab 中打开 | 在 Colab Enterprise 中打开 | 在 Vertex AI Workbench 用户管理的笔记本中打开 | 在 GitHub 上查看

• “Imagen 3 图片修改”：

  在 Colab 中打开 | 在 Colab Enterprise 中打开 | 在 Vertex AI Workbench 用户管理的笔记本中打开 | 在 GitHub 上查看

请参阅以下文章，了解 Imagen on Vertex AI 的应用场景。

如需查看使用 Imagen 的 Jupyter 笔记本教程的完整列表，请参阅 Vertex AI 上的生成式 AI cookbook。

功能	说明	链接
图片生成 (Imagen 3)	Imagen 3 on Vertex AI 开发者入门指南。 了解 Imagen 3 模型的新功能。 详细了解 Imagen 的图片生成功能。	文章链接
图片生成 (Imagen 3)	DIY Imagen 3 - 使用 Vertex AI 进行实用演示。 运行使用新的 Imagen 3 和 Imagen 3 Fast 模型功能的 Colab。 详细了解 Imagen 的图片生成功能。	文章链接
图片生成 (Imagen 2) 图片修改 (Imagen)	使用 Imagen 和 LangChain4j 生成图片 (Java)。 在本文中，我们将探讨如何在 LangChain4j 中使用 Imagen 生成和修改图片。 详细了解 Imagen 的图片生成和图片修改功能。	文章链接

后续步骤

使用以下链接查看功能文档。

提示指南

了解如何编写有效的提示以生成图片。

操作方法：生成图片

了解如何在 Imagen on Vertex AI 上生成图片。

API 参考文档：生成图片

了解发送 Imagen 图片生成请求时的可选字段和必填字段。

^{图片来源：使用 Imagen on Vertex AI 生成的所有图片。}