自 2025 年 4 月 29 日起，之前未使用过 Gemini 1.5 Pro 和 Gemini 1.5 Flash 模型的项目（包括新项目）都将无法使用这些模型。如需了解详情，请参阅模型版本和生命周期。

图片理解

您可以向 Gemini 请求添加图片，以便执行涉及理解所含图片内容的任务。本页面介绍了如何使用Google Cloud 控制台和 Vertex AI API，在 Vertex AI 中向发送给 Gemini 的请求添加图片。

支持的模型

下表列出了支持图片理解的模型：

模型	媒体详情	MIME 类型
Gemini 2.5 Flash Image 预览版	每个提示的图片数量上限：3 图片大小上限：7 MB 每个提示的输出图片数量上限：10	`image/png` `image/jpeg` `image/webp`
Gemini 2.5 Flash-Lite	每个提示的图片数量上限：3,000 图片大小上限：7 MB 每个提示的输出图片数量上限：10	`image/png` `image/jpeg` `image/webp`
Gemini 2.0 Flash（支持图片生成）	每个提示的图片数量上限：3,000 图片大小上限：7 MB 每个提示的输出图片数量上限：10 每个项目的每分钟 token 数量 (TPM) 上限：高/中/默认媒体分辨率：美国/亚洲：40 M 欧盟：10 M 低媒体分辨率：美国/亚洲：10 M 欧盟：3 M	`image/png` `image/jpeg` `image/webp`
Gemini 2.5 Pro	每个提示的图片数量上限：3,000 图片大小上限：7 MB	`image/png` `image/jpeg` `image/webp`
Gemini 2.5 Flash	每个提示的图片数量上限：3,000 图片大小上限：7 MB	`image/png` `image/jpeg` `image/webp`
Gemini 2.0 Flash	每个提示的图片数量上限：3,000 图片大小上限：7 MB 每个项目的每分钟 token 数量 (TPM) 上限：高/中/默认媒体分辨率：美国/亚洲：40 M 欧盟：10 M 低媒体分辨率：美国/亚洲：10 M 欧盟：2.6 M	`image/png` `image/jpeg` `image/webp`
Gemini 2.0 Flash-Lite	每个提示的图片数量上限：3,000 图片大小上限：7 MB 每分钟 token 数 (TPM) 上限：高/中/默认媒体分辨率：美国/亚洲：6.7 M 欧盟：2.6 M 低媒体分辨率：美国/亚洲：2.6 M 欧盟：2.6 M	`image/png` `image/jpeg` `image/webp`

配额指标为 generate_content_video_input_per_base_model_id_and_resolution。

如需查看 Gemini 模型支持的语言列表，请参阅 Google 模型的模型信息。如需详细了解如何设计多模态提示，请参阅设计多模态提示。如果您正在寻找一种直接在移动应用和 Web 应用中使用 Gemini 的方法，请参阅适用于 Swift、Android、Web、Flutter 和 Unity 应用的 Firebase AI Logic 客户端 SDK。

向请求添加图片

您可以在向 Gemini 发送的请求中添加单张图片或多张图片。

单张图片

以下各个标签页中的示例代码展示了标识图片中内容的不同方式。此示例适用于所有多模态 Gemini 模型。

控制台

如需使用 Google Cloud 控制台发送多模态提示，请执行以下操作：

在 Google Cloud 控制台的 Vertex AI 部分中，进入 Vertex AI Studio 页面。

前往 Vertex AI Studio
点击打开自由格式模式。
可选：配置模型和参数：
- 模型：选择一个模型。
- 区域：选择您要使用的区域。
- 温度：使用滑块或文本框输入温度值。
  
  温度 (temperature) 在生成回复期间用于采样，在应用 topP 和 topK 时会生成回复。温度可以控制词元选择的随机性。较低的温度有利于需要更少开放性或创造性回复的提示，而较高的温度可以带来更具多样性或创造性的结果。温度为 0 表示始终选择概率最高的词元。在这种情况下，给定提示的回复大多是确定的，但可能仍然有少量变化。
  如果模型返回的回答过于笼统、过于简短，或者模型给出后备回答，请尝试提高温度。
- 输出 token 限制：使用滑块或文本框输入输出上限值。
  
  回复中可生成的词元数量上限。词元约为 4 个字符。100 个词元对应大约 60-80 个单词。
  指定较低的值可获得较短的回答，指定较高的值可获得可能较长的回答。
- 添加停止序列：可选。输入停止序列，即包含空格的一系列字符。如果模型遇到停止序列，则回答生成会停止。停止序列不包含在回答中，您最多可以添加五个停止序列。
可选：如需配置高级参数，请点击高级，然后按如下方式进行配置：
点击即可展开高级配置
- Top-K：使用滑块或文本框输入 top-K 值。（Gemini 1.5 不支持）。
  Top-K 可更改模型选择输出词元的方式。如果 top-K 设为 1，表示所选词元是模型词汇表的所有词元中概率最高的词元（也称为贪心解码）。如果 top-K 设为 3，则表示系统将从 3 个概率最高的词元（通过温度确定）中选择下一个词元。
  在每个词元选择步骤中，系统都会对概率最高的 top-K 词元进行采样。然后，系统会根据 top-P 进一步过滤词元，并使用温度采样选择最终的词元。
  
  指定较低的值可获得随机程度较低的回答，指定较高的值可获得随机程度较高的回答。
- Top-P：使用滑块或文本框输入 top-P 值。系统会按照概率从最高到最低的顺序选择词元，直到所选词元的概率总和等于 top-P 的值。如需获得数量最小的变量结果，请将 top-P 设置为 0。
- 回答数量上限：使用滑块或文本框输入要生成的回答数量的值。
- 流式回答：启用此选项可在生成回答时输出回答。
- 安全过滤器阈值：选择您看到可能有害的回答的可能性的阈值。
- 启用接地：多模态提示不支持接地。
点击插入媒体，然后为文件选择一个来源。
上传
选择您要上传的文件，然后点击打开。

通过网址
输入要使用的文件的网址，然后点击插入。

Cloud Storage
选择存储桶，接着从存储桶选择您要导入的文件，然后点击选择。
Google 云端硬盘
1. 选择一个账号，并在您首次选择此选项时同意 Vertex AI Studio 访问您的账号。您可以上传多个文件，但总大小不得超过 10 MB。单个文件的大小不能超过 7 MB。
2. 点击要添加的文件。
3. 点击选择。
  
  文件缩略图会显示在提示窗格中。系统还会显示 token 总数。如果提示数据超过 token 限制，则 token 会被截断，并且不会用于处理数据。
在提示窗格中输入文本提示。
可选：如需查看 Token ID 到文本和 Token ID，请点击提示窗格中的 token 数量。

注意：不支持媒体 token。
点击提交。
可选：如需将提示保存到我的提示，请点击保存。
可选：如需获取提示的 Python 代码或 curl 命令，请点击 获取代码。

Python

安装

pip install --upgrade google-genai

如需了解详情，请参阅 SDK 参考文档。

设置环境变量以将 Gen AI SDK 与 Vertex AI 搭配使用：

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import HttpOptions, Part

client = genai.Client(http_options=HttpOptions(api_version="v1"))
response = client.models.generate_content(
    model="gemini-2.5-flash",
    contents=[
        "What is shown in this image?",
        Part.from_uri(
            file_uri="gs://cloud-samples-data/generative-ai/image/scones.jpg",
            mime_type="image/jpeg",
        ),
    ],
)
print(response.text)
# Example response:
# The image shows a flat lay of blueberry scones arranged on parchment paper. There are ...

Go

了解如何安装或更新 Go。

如需了解详情，请参阅 SDK 参考文档。

设置环境变量以将 Gen AI SDK 与 Vertex AI 搭配使用：

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

import (
	"context"
	"fmt"
	"io"

	genai "google.golang.org/genai"
)

// generateWithTextImage shows how to generate text using both text and image input
func generateWithTextImage(w io.Writer) error {
	ctx := context.Background()

	client, err := genai.NewClient(ctx, &genai.ClientConfig{
		HTTPOptions: genai.HTTPOptions{APIVersion: "v1"},
	})
	if err != nil {
		return fmt.Errorf("failed to create genai client: %w", err)
	}

	modelName := "gemini-2.5-flash"
	contents := []*genai.Content{
		{Parts: []*genai.Part{
			{Text: "What is shown in this image?"},
			{FileData: &genai.FileData{
				// Image source: https://storage.googleapis.com/cloud-samples-data/generative-ai/image/scones.jpg
				FileURI:  "gs://cloud-samples-data/generative-ai/image/scones.jpg",
				MIMEType: "image/jpeg",
			}},
		},
			Role: "user"},
	}

	resp, err := client.Models.GenerateContent(ctx, modelName, contents, nil)
	if err != nil {
		return fmt.Errorf("failed to generate content: %w", err)
	}

	respText := resp.Text()

	fmt.Fprintln(w, respText)

	// Example response:
	// The image shows an overhead shot of a rustic, artistic arrangement on a surface that ...

	return nil
}

Node.js

安装

npm install @google/genai

如需了解详情，请参阅 SDK 参考文档。

设置环境变量以将 Gen AI SDK 与 Vertex AI 搭配使用：

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

const {GoogleGenAI} = require('@google/genai');

const GOOGLE_CLOUD_PROJECT = process.env.GOOGLE_CLOUD_PROJECT;
const GOOGLE_CLOUD_LOCATION = process.env.GOOGLE_CLOUD_LOCATION || 'global';

async function generateContent(
  projectId = GOOGLE_CLOUD_PROJECT,
  location = GOOGLE_CLOUD_LOCATION
) {
  const ai = new GoogleGenAI({
    vertexai: true,
    project: projectId,
    location: location,
  });

  const image = {
    fileData: {
      fileUri: 'gs://cloud-samples-data/generative-ai/image/scones.jpg',
      mimeType: 'image/jpeg',
    },
  };

  const response = await ai.models.generateContent({
    model: 'gemini-2.5-flash',
    contents: [image, 'What is shown in this image?'],
  });

  console.log(response.text);

  return response.text;
}

Java

了解如何安装或更新 Java。

如需了解详情，请参阅 SDK 参考文档。

设置环境变量以将 Gen AI SDK 与 Vertex AI 搭配使用：

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True


import com.google.genai.Client;
import com.google.genai.types.Content;
import com.google.genai.types.GenerateContentResponse;
import com.google.genai.types.HttpOptions;
import com.google.genai.types.Part;

public class TextGenerationWithTextAndImage {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String modelId = "gemini-2.5-flash";
    generateContent(modelId);
  }

  // Generates text with text and image input
  public static String generateContent(String modelId) {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (Client client =
        Client.builder()
            .location("global")
            .vertexAI(true)
            .httpOptions(HttpOptions.builder().apiVersion("v1").build())
            .build()) {

      GenerateContentResponse response =
          client.models.generateContent(
              modelId,
              Content.fromParts(
                  Part.fromText("What is shown in this image?"),
                  Part.fromUri(
                      "gs://cloud-samples-data/generative-ai/image/scones.jpg", "image/jpeg")),
              null);

      System.out.print(response.text());
      // Example response:
      // The image shows a flat lay of blueberry scones arranged on parchment paper. There are ...
      return response.text();
    }
  }
}

REST

设置您的环境后，您可以使用 REST 测试文本提示。以下示例会向发布方模型端点发送请求。

您可以添加存储在 Cloud Storage 中的图片，也可以使用 base64 编码的图片数据。

Cloud Storage 中的图片

在使用任何请求数据之前，请先进行以下替换：

PROJECT_ID：您的项目 ID。
FILE_URI：要包含在提示中的文件的 URI 或网址。可接受的值包括：
- Cloud Storage 存储桶 URI：对象必须可公开读取，或者位于发送请求的同一 Google Cloud 项目中。对于 gemini-2.0-flash 和 gemini-2.0-flash-lite，大小限制为 2 GB。
- HTTP 网址：文件网址必须可公开读取。您可以为每个请求指定一个视频文件、一个音频文件和最多 10 个图片文件。音频文件、视频文件和文档的大小不得超过 15 MB。
- YouTube 视频网址：YouTube 视频必须由您用于登录 Google Cloud 控制台的账号所拥有，或者是公开的。每个请求仅支持一个 YouTube 视频网址。
指定 fileURI 时，您还必须指定文件的媒体类型 (mimeType)。如果启用了 VPC Service Controls，则不支持为 fileURI 指定媒体文件网址。

如果您在 Cloud Storage 中没有图片文件，则可以使用以下公开提供的文件：gs://cloud-samples-data/generative-ai/image/scones.jpg，MIME 类型为 image/jpeg。如需查看此图片，请打开示例图片文件。
MIME_TYPE：在 data 或 fileUri 字段中指定的文件的媒体类型。可接受的值包括：
点击即可展开 MIME 类型
- application/pdf
- audio/mpeg
- audio/mp3
- audio/wav
- image/png
- image/jpeg
- image/webp
- text/plain
- video/mov
- video/mpeg
- video/mp4
- video/mpg
- video/avi
- video/wmv
- video/mpegps
- video/flv
TEXT：要包含在提示中的文本说明。例如 What is shown in this image?

如需发送请求，请选择以下方式之一：

curl

注意：以下命令假定您已使用您的用户账号通过运行 gcloud init 或 gcloud auth login 登录 gcloud CLI，或者使用了 Cloud Shell，这会使您自动登录 gcloud CLI。您可以运行 gcloud auth list 来检查当前活跃的账号。

将请求正文保存在名为 request.json 的文件中。在终端中运行以下命令，在当前目录中创建或覆盖此文件：

cat > request.json << 'EOF'
{
  "contents": {
    "role": "USER",
    "parts": [
      {
        "fileData": {
          "fileUri": "FILE_URI",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT"
      }
    ]
  }
}
EOF

然后，执行以下命令以发送 REST 请求：

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-1.5-flash:generateContent"

PowerShell

注意：以下命令假定您已使用您的用户账号通过运行 gcloud init 或 gcloud auth login 登录 gcloud CLI。您可以运行 gcloud auth list 来检查当前活跃的账号。

将请求正文保存在名为 request.json 的文件中。在终端中运行以下命令，在当前目录中创建或覆盖此文件：

@'
{
  "contents": {
    "role": "USER",
    "parts": [
      {
        "fileData": {
          "fileUri": "FILE_URI",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT"
      }
    ]
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

然后，执行以下命令以发送 REST 请求：

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-1.5-flash:generateContent" | Select-Object -Expand Content

您应该收到类似以下内容的 JSON 响应。

响应

{
  "candidates": [
    {
      "content": {
        "role": "model",
        "parts": [
          {
            "text": " The image shows a table with a cup of coffee, a bowl of blueberries, and a plate of scones with blueberries on it. There are also pink flowers on the table."
          }
        ]
      },
      "finishReason": "STOP",
      "safetyRatings": [
        {
          "category": "HARM_CATEGORY_HATE_SPEECH",
          "probability": "NEGLIGIBLE",
          "probabilityScore": 0.027742893,
          "severity": "HARM_SEVERITY_NEGLIGIBLE",
          "severityScore": 0.07276838
        },
        {
          "category": "HARM_CATEGORY_DANGEROUS_CONTENT",
          "probability": "NEGLIGIBLE",
          "probabilityScore": 0.026155617,
          "severity": "HARM_SEVERITY_NEGLIGIBLE",
          "severityScore": 0.07172113
        },
        {
          "category": "HARM_CATEGORY_HARASSMENT",
          "probability": "NEGLIGIBLE",
          "probabilityScore": 0.04304285,
          "severity": "HARM_SEVERITY_NEGLIGIBLE",
          "severityScore": 0.037608635
        },
        {
          "category": "HARM_CATEGORY_SEXUALLY_EXPLICIT",
          "probability": "NEGLIGIBLE",
          "probabilityScore": 0.08803312,
          "severity": "HARM_SEVERITY_NEGLIGIBLE",
          "severityScore": 0.09203286
        }
      ]
    }
  ],
  "usageMetadata": {
    "promptTokenCount": 265,
    "candidatesTokenCount": 35,
    "totalTokenCount": 300
  }
}

Base64 图片数据

在使用任何请求数据之前，请先进行以下替换：

LOCATION：处理请求的区域。输入支持的区域。如需查看支持的区域的完整列表，请参阅可用位置。
点击即可展开可用区域的部分列表
- us-central1
- us-west4
- northamerica-northeast1
- us-east4
- us-west1
- asia-northeast3
- asia-southeast1
- asia-northeast1
PROJECT_ID：您的项目 ID。
```
B64_BASE_IMAGE
```
要在提示中包含内嵌的图片、PDF 或视频的 base64 编码。添加媒体内嵌时，您还必须指定数据的媒体类型 (mimeType)。
MIME_TYPE：在 data 或 fileUri 字段中指定的文件的媒体类型。可接受的值包括：
点击即可展开 MIME 类型
- application/pdf
- audio/mpeg
- audio/mp3
- audio/wav
- image/png
- image/jpeg
- image/webp
- text/plain
- video/mov
- video/mpeg
- video/mp4
- video/mpg
- video/avi
- video/wmv
- video/mpegps
- video/flv
TEXT：要包含在提示中的文本说明。例如，What is shown in this image?。

如需发送请求，请选择以下方式之一：

curl

将请求正文保存在名为 request.json 的文件中。在终端中运行以下命令，在当前目录中创建或覆盖此文件：

cat > request.json << 'EOF'
{
  "contents": {
    "role": "USER",
    "parts": [
      {
        "inlineData": {
          "data": "B64_BASE_IMAGE",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT"
      }
    ]
  }
}
EOF

然后，执行以下命令以发送 REST 请求：

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-1.5-flash:generateContent"

PowerShell

注意：以下命令假定您已使用您的用户账号通过运行 gcloud init 或 gcloud auth login 登录 gcloud CLI。您可以运行 gcloud auth list 来检查当前活跃的账号。

将请求正文保存在名为 request.json 的文件中。在终端中运行以下命令，在当前目录中创建或覆盖此文件：

@'
{
  "contents": {
    "role": "USER",
    "parts": [
      {
        "inlineData": {
          "data": "B64_BASE_IMAGE",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT"
      }
    ]
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

然后，执行以下命令以发送 REST 请求：

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-1.5-flash:generateContent" | Select-Object -Expand Content

您应该收到类似以下内容的 JSON 响应。

响应

{
  "candidates": [
    {
      "content": {
        "role": "model",
        "parts": [
          {
            "text": " The image shows a table with a cup of coffee, a bowl of blueberries, and a plate of scones with blueberries on it. There are also pink flowers on the table."
          }
        ]
      },
      "finishReason": "STOP",
      "safetyRatings": [
        {
          "category": "HARM_CATEGORY_HATE_SPEECH",
          "probability": "NEGLIGIBLE",
          "probabilityScore": 0.027742893,
          "severity": "HARM_SEVERITY_NEGLIGIBLE",
          "severityScore": 0.07276838
        },
        {
          "category": "HARM_CATEGORY_DANGEROUS_CONTENT",
          "probability": "NEGLIGIBLE",
          "probabilityScore": 0.026155617,
          "severity": "HARM_SEVERITY_NEGLIGIBLE",
          "severityScore": 0.07172113
        },
        {
          "category": "HARM_CATEGORY_HARASSMENT",
          "probability": "NEGLIGIBLE",
          "probabilityScore": 0.04304285,
          "severity": "HARM_SEVERITY_NEGLIGIBLE",
          "severityScore": 0.037608635
        },
        {
          "category": "HARM_CATEGORY_SEXUALLY_EXPLICIT",
          "probability": "NEGLIGIBLE",
          "probabilityScore": 0.08803312,
          "severity": "HARM_SEVERITY_NEGLIGIBLE",
          "severityScore": 0.09203286
        }
      ]
    }
  ],
  "usageMetadata": {
    "promptTokenCount": 265,
    "candidatesTokenCount": 35,
    "totalTokenCount": 300
  }
}

请注意此示例网址中的以下内容：

使用 generateContent 方法请求在回答完全生成后返回回答。为了降低真人观众对于延迟的感知度，请使用 streamGenerateContent 方法在生成回答时流式传输回答。
多模态模型 ID 位于网址末尾且位于方法之前（例如 gemini-2.0-flash）。此示例可能还支持其他模型。

多张图片

以下各个标签页展示了在提示请求中添加多张图片的不同方式。每个示例接受以下两组输入：

热门城市地标的图片
图片的媒体类型
图片中指示城市和地标的文本

该示例还接受第三张图片和媒体类型，但不接受文本。该示例会返回一个文本回答，指明第三张图片中的城市和地标。

这些图片示例适用于所有多模态 Gemini 模型。

控制台

如需使用 Google Cloud 控制台发送多模态提示，请执行以下操作：

在 Google Cloud 控制台的 Vertex AI 部分中，进入 Vertex AI Studio 页面。

前往 Vertex AI Studio
点击打开自由格式模式。
可选：配置模型和参数：
- 模型：选择一个模型。
- 区域：选择您要使用的区域。
- 温度：使用滑块或文本框输入温度值。
  
  温度 (temperature) 在生成回复期间用于采样，在应用 topP 和 topK 时会生成回复。温度可以控制词元选择的随机性。较低的温度有利于需要更少开放性或创造性回复的提示，而较高的温度可以带来更具多样性或创造性的结果。温度为 0 表示始终选择概率最高的词元。在这种情况下，给定提示的回复大多是确定的，但可能仍然有少量变化。
  如果模型返回的回答过于笼统、过于简短，或者模型给出后备回答，请尝试提高温度。
- 输出 token 限制：使用滑块或文本框输入输出上限值。
  
  回复中可生成的词元数量上限。词元约为 4 个字符。100 个词元对应大约 60-80 个单词。
  指定较低的值可获得较短的回答，指定较高的值可获得可能较长的回答。
- 添加停止序列：可选。输入停止序列，即包含空格的一系列字符。如果模型遇到停止序列，则回答生成会停止。停止序列不包含在回答中，您最多可以添加五个停止序列。
可选：如需配置高级参数，请点击高级，然后按如下方式进行配置：
点击即可展开高级配置
- Top-K：使用滑块或文本框输入 top-K 值。（Gemini 1.5 不支持）。
  Top-K 可更改模型选择输出词元的方式。如果 top-K 设为 1，表示所选词元是模型词汇表的所有词元中概率最高的词元（也称为贪心解码）。如果 top-K 设为 3，则表示系统将从 3 个概率最高的词元（通过温度确定）中选择下一个词元。
  在每个词元选择步骤中，系统都会对概率最高的 top-K 词元进行采样。然后，系统会根据 top-P 进一步过滤词元，并使用温度采样选择最终的词元。
  
  指定较低的值可获得随机程度较低的回答，指定较高的值可获得随机程度较高的回答。
- Top-P：使用滑块或文本框输入 top-P 值。系统会按照概率从最高到最低的顺序选择词元，直到所选词元的概率总和等于 top-P 的值。如需获得数量最小的变量结果，请将 top-P 设置为 0。
- 回答数量上限：使用滑块或文本框输入要生成的回答数量的值。
- 流式回答：启用此选项可在生成回答时输出回答。
- 安全过滤器阈值：选择您看到可能有害的回答的可能性的阈值。
- 启用接地：多模态提示不支持接地。
点击插入媒体，然后为文件选择一个来源。
上传
选择您要上传的文件，然后点击打开。

通过网址
输入要使用的文件的网址，然后点击插入。

Cloud Storage
选择存储桶，接着从存储桶选择您要导入的文件，然后点击选择。
Google 云端硬盘
1. 选择一个账号，并在您首次选择此选项时同意 Vertex AI Studio 访问您的账号。您可以上传多个文件，但总大小不得超过 10 MB。单个文件的大小不能超过 7 MB。
2. 点击要添加的文件。
3. 点击选择。
  
  文件缩略图会显示在提示窗格中。系统还会显示 token 总数。如果提示数据超过 token 限制，则 token 会被截断，并且不会用于处理数据。
在提示窗格中输入文本提示。
可选：如需查看 Token ID 到文本和 Token ID，请点击提示窗格中的 token 数量。

注意：不支持媒体 token。
点击提交。
可选：如需将提示保存到我的提示，请点击保存。
可选：如需获取提示的 Python 代码或 curl 命令，请点击 获取代码。

Python

安装

pip install --upgrade google-genai

如需了解详情，请参阅 SDK 参考文档。

设置环境变量以将 Gen AI SDK 与 Vertex AI 搭配使用：

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import HttpOptions, Part

client = genai.Client(http_options=HttpOptions(api_version="v1"))

# Read content from GCS
gcs_file_img_path = "gs://cloud-samples-data/generative-ai/image/scones.jpg"

# Read content from a local file
with open("test_data/latte.jpg", "rb") as f:
    local_file_img_bytes = f.read()

response = client.models.generate_content(
    model="gemini-2.5-flash",
    contents=[
        "Generate a list of all the objects contained in both images.",
        Part.from_uri(file_uri=gcs_file_img_path, mime_type="image/jpeg"),
        Part.from_bytes(data=local_file_img_bytes, mime_type="image/jpeg"),
    ],
)
print(response.text)
# Example response:
# Okay, here's the list of objects present in both images:
# ...

Go

了解如何安装或更新 Go。

如需了解详情，请参阅 SDK 参考文档。

设置环境变量以将 Gen AI SDK 与 Vertex AI 搭配使用：

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

import (
	"context"
	"fmt"
	"io"
	"os"

	genai "google.golang.org/genai"
)

// generateWithMultiImg shows how to generate text using multiple image inputs.
func generateWithMultiImg(w io.Writer) error {
	ctx := context.Background()

	client, err := genai.NewClient(ctx, &genai.ClientConfig{
		HTTPOptions: genai.HTTPOptions{APIVersion: "v1"},
	})
	if err != nil {
		return fmt.Errorf("failed to create genai client: %w", err)
	}

	// TODO(Developer): Update the path to file (image source:
	//   https://storage.googleapis.com/cloud-samples-data/generative-ai/image/latte.jpg )
	imageBytes, err := os.ReadFile("./latte.jpg")
	if err != nil {
		return fmt.Errorf("failed to read image: %w", err)
	}

	contents := []*genai.Content{
		{Parts: []*genai.Part{
			{Text: "Write an advertising jingle based on the items in both images."},
			{FileData: &genai.FileData{
				// Image source: https://storage.googleapis.com/cloud-samples-data/generative-ai/image/scones.jpg
				FileURI:  "gs://cloud-samples-data/generative-ai/image/scones.jpg",
				MIMEType: "image/jpeg",
			}},
			{InlineData: &genai.Blob{
				Data:     imageBytes,
				MIMEType: "image/jpeg",
			}},
		}},
	}
	modelName := "gemini-2.5-flash"

	resp, err := client.Models.GenerateContent(ctx, modelName, contents, nil)
	if err != nil {
		return fmt.Errorf("failed to generate content: %w", err)
	}

	respText := resp.Text()

	fmt.Fprintln(w, respText)

	// Example response:
	// Okay, here's an advertising jingle inspired by the blueberry scones, coffee, flowers, chocolate cake, and latte:
	//
	// (Upbeat, jazzy music)
	// ...

	return nil
}

Node.js

安装

npm install @google/genai

如需了解详情，请参阅 SDK 参考文档。

设置环境变量以将 Gen AI SDK 与 Vertex AI 搭配使用：

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

const {GoogleGenAI} = require('@google/genai');

const GOOGLE_CLOUD_PROJECT = process.env.GOOGLE_CLOUD_PROJECT;
const GOOGLE_CLOUD_LOCATION = process.env.GOOGLE_CLOUD_LOCATION || 'global';

async function generateContent(
  projectId = GOOGLE_CLOUD_PROJECT,
  location = GOOGLE_CLOUD_LOCATION
) {
  const ai = new GoogleGenAI({
    vertexai: true,
    project: projectId,
    location: location,
  });

  const image1 = {
    fileData: {
      fileUri: 'gs://cloud-samples-data/generative-ai/image/scones.jpg',
      mimeType: 'image/jpeg',
    },
  };

  const image2 = {
    fileData: {
      fileUri: 'gs://cloud-samples-data/generative-ai/image/fruit.png',
      mimeType: 'image/png',
    },
  };

  const response = await ai.models.generateContent({
    model: 'gemini-2.5-flash',
    contents: [
      image1,
      image2,
      'Generate a list of all the objects contained in both images.',
    ],
  });

  console.log(response.text);

  return response.text;
}

Java

了解如何安装或更新 Java。

如需了解详情，请参阅 SDK 参考文档。

设置环境变量以将 Gen AI SDK 与 Vertex AI 搭配使用：

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True


import com.google.genai.Client;
import com.google.genai.types.Content;
import com.google.genai.types.GenerateContentResponse;
import com.google.genai.types.HttpOptions;
import com.google.genai.types.Part;
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Paths;

public class TextGenerationWithMultiImage {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String modelId = "gemini-2.5-flash";
    // Content from Google Cloud Storage
    String gcsFileImagePath = "gs://cloud-samples-data/generative-ai/image/scones.jpg";
    String localImageFilePath = "resources/latte.jpg";
    generateContent(modelId, gcsFileImagePath, localImageFilePath);
  }

  // Generates text with multiple images
  public static String generateContent(
      String modelId, String gcsFileImagePath, String localImageFilePath) throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (Client client =
        Client.builder()
            .location("global")
            .vertexAI(true)
            .httpOptions(HttpOptions.builder().apiVersion("v1").build())
            .build()) {

      // Read content from a local file.
      byte[] localFileImgBytes = Files.readAllBytes(Paths.get(localImageFilePath));

      GenerateContentResponse response =
          client.models.generateContent(
              modelId,
              Content.fromParts(
                  Part.fromText("Generate a list of all the objects contained in both images"),
                  Part.fromBytes(localFileImgBytes, "image/jpeg"),
                  Part.fromUri(gcsFileImagePath, "image/jpeg")),
              null);

      System.out.print(response.text());
      // Example response:
      // Okay, here's the list of objects present in both images:
      //
      // **Image 1 (Scones):**
      //
      // *   Scones
      // *   Plate
      // *   Jam/Preserve
      // *   Cream/Butter
      // *   Table/Surface
      // *   Napkin/Cloth (possibly)
      //
      // **Image 2 (Latte):**
      //
      // *   Latte/Coffee cup
      // *   Saucer
      // *   Spoon
      // *   Table/Surface
      // *   Foam/Latte art
      //
      // **Objects potentially in both (depending on interpretation and specific items):**
      //
      // *   Plate/Saucer (both are serving dishes)
      // *   Table/Surface
      return response.text();
    }
  }
}

REST

设置您的环境后，您可以使用 REST 测试文本提示。以下示例会向发布方模型端点发送请求。

在使用任何请求数据之前，请先进行以下替换：

PROJECT_ID：。
FILE_URI1：要包含在提示中的文件的 URI 或网址。可接受的值包括：
- Cloud Storage 存储桶 URI：对象必须可公开读取，或者位于发送请求的同一 Google Cloud 项目中。对于 gemini-2.0-flash 和 gemini-2.0-flash-lite，大小限制为 2 GB。
- HTTP 网址：文件网址必须可公开读取。您可以为每个请求指定一个视频文件、一个音频文件和最多 10 个图片文件。音频文件、视频文件和文档的大小不得超过 15 MB。
- YouTube 视频网址：YouTube 视频必须由您用于登录 Google Cloud 控制台的账号所拥有，或者是公开的。每个请求仅支持一个 YouTube 视频网址。
指定 fileURI 时，您还必须指定文件的媒体类型 (mimeType)。如果启用了 VPC Service Controls，则不支持为 fileURI 指定媒体文件网址。

如果您在 Cloud Storage 中没有图片文件，则可以使用以下公开提供的文件：gs://cloud-samples-data/vertex-ai/llm/prompts/landmark1.png，MIME 类型为 image/png。如需查看此图片，请打开示例图片文件。
MIME_TYPE：在 data 或 fileUri 字段中指定的文件的媒体类型。可接受的值包括：
点击即可展开 MIME 类型
- application/pdf
- audio/mpeg
- audio/mp3
- audio/wav
- image/png
- image/jpeg
- image/webp
- text/plain
- video/mov
- video/mpeg
- video/mp4
- video/mpg
- video/avi
- video/wmv
- video/mpegps
- video/flv
为简单起见，此示例对所有三张输入图片都使用相同的媒体类型。
TEXT1：要包含在提示中的文本说明。例如 city: Rome, Landmark: the Colosseum
FILE_URI2：要包含在提示中的文件的 URI 或网址。可接受的值包括：
- Cloud Storage 存储桶 URI：对象必须可公开读取，或者位于发送请求的同一 Google Cloud 项目中。对于 gemini-2.0-flash 和 gemini-2.0-flash-lite，大小限制为 2 GB。
- HTTP 网址：文件网址必须可公开读取。您可以为每个请求指定一个视频文件、一个音频文件和最多 10 个图片文件。音频文件、视频文件和文档的大小不得超过 15 MB。
- YouTube 视频网址：YouTube 视频必须由您用于登录 Google Cloud 控制台的账号所拥有，或者是公开的。每个请求仅支持一个 YouTube 视频网址。
指定 fileURI 时，您还必须指定文件的媒体类型 (mimeType)。如果启用了 VPC Service Controls，则不支持为 fileURI 指定媒体文件网址。

如果您在 Cloud Storage 中没有图片文件，则可以使用以下公开提供的文件：gs://cloud-samples-data/vertex-ai/llm/prompts/landmark2.png，MIME 类型为 image/png。如需查看此图片，请打开示例图片文件。
TEXT2：要包含在提示中的文本说明。例如 city: Beijing, Landmark: Forbidden City
FILE_URI3：要包含在提示中的文件的 URI 或网址。可接受的值包括：
- Cloud Storage 存储桶 URI：对象必须可公开读取，或者位于发送请求的同一 Google Cloud 项目中。对于 gemini-2.0-flash 和 gemini-2.0-flash-lite，大小限制为 2 GB。
- HTTP 网址：文件网址必须可公开读取。您可以为每个请求指定一个视频文件、一个音频文件和最多 10 个图片文件。音频文件、视频文件和文档的大小不得超过 15 MB。
- YouTube 视频网址：YouTube 视频必须由您用于登录 Google Cloud 控制台的账号所拥有，或者是公开的。每个请求仅支持一个 YouTube 视频网址。
指定 fileURI 时，您还必须指定文件的媒体类型 (mimeType)。如果启用了 VPC Service Controls，则不支持为 fileURI 指定媒体文件网址。

如果您在 Cloud Storage 中没有图片文件，则可以使用以下公开提供的文件：gs://cloud-samples-data/vertex-ai/llm/prompts/landmark3.png，MIME 类型为 image/png。如需查看此图片，请打开示例图片文件。

如需发送请求，请选择以下方式之一：

curl

将请求正文保存在名为 request.json 的文件中。在终端中运行以下命令，在当前目录中创建或覆盖此文件：

cat > request.json << 'EOF'
{
  "contents": {
    "role": "USER",
    "parts": [
      {
        "fileData": {
          "fileUri": "FILE_URI1",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT1"
      },
      {
        "fileData": {
          "fileUri": "FILE_URI2",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT2"
      },
      {
        "fileData": {
          "fileUri": "FILE_URI3",
          "mimeType": "MIME_TYPE"
        }
      }
    ]
  }
}
EOF

然后，执行以下命令以发送 REST 请求：

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-2.5-flash:generateContent"

PowerShell

注意：以下命令假定您已使用您的用户账号通过运行 gcloud init 或 gcloud auth login 登录 gcloud CLI。您可以运行 gcloud auth list 来检查当前活跃的账号。

将请求正文保存在名为 request.json 的文件中。在终端中运行以下命令，在当前目录中创建或覆盖此文件：

@'
{
  "contents": {
    "role": "USER",
    "parts": [
      {
        "fileData": {
          "fileUri": "FILE_URI1",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT1"
      },
      {
        "fileData": {
          "fileUri": "FILE_URI2",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT2"
      },
      {
        "fileData": {
          "fileUri": "FILE_URI3",
          "mimeType": "MIME_TYPE"
        }
      }
    ]
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

然后，执行以下命令以发送 REST 请求：

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-2.5-flash:generateContent" | Select-Object -Expand Content

您应该收到类似以下内容的 JSON 响应。

响应

{
  "candidates": [
    {
      "content": {
        "role": "model",
        "parts": [
          {
            "text": "city: Rio de Janeiro, Landmark: Christ the Redeemer statue \n"
          }
        ]
      },
      "finishReason": "STOP",
      "safetyRatings": [
        {
          "category": "HARM_CATEGORY_HATE_SPEECH",
          "probability": "NEGLIGIBLE",
          "probabilityScore": 0.05340333,
          "severity": "HARM_SEVERITY_NEGLIGIBLE",
          "severityScore": 0.08740791
        },
        {
          "category": "HARM_CATEGORY_DANGEROUS_CONTENT",
          "probability": "NEGLIGIBLE",
          "probabilityScore": 0.13050689,
          "severity": "HARM_SEVERITY_NEGLIGIBLE",
          "severityScore": 0.10338596
        },
        {
          "category": "HARM_CATEGORY_HARASSMENT",
          "probability": "NEGLIGIBLE",
          "probabilityScore": 0.05399884,
          "severity": "HARM_SEVERITY_NEGLIGIBLE",
          "severityScore": 0.09947021
        },
        {
          "category": "HARM_CATEGORY_SEXUALLY_EXPLICIT",
          "probability": "NEGLIGIBLE",
          "probabilityScore": 0.10576342,
          "severity": "HARM_SEVERITY_NEGLIGIBLE",
          "severityScore": 0.066934206
        }
      ]
    }
  ],
  "usageMetadata": {
    "promptTokenCount": 791,
    "candidatesTokenCount": 14,
    "totalTokenCount": 805
  }
}

请注意此示例网址中的以下内容：

使用 generateContent 方法请求在回答完全生成后返回回答。为了降低真人观众对于延迟的感知度，请使用 streamGenerateContent 方法在生成回答时流式传输回答。
多模态模型 ID 位于网址末尾且位于方法之前（例如 gemini-2.0-flash）。此示例可能还支持其他模型。

设置可选模型参数

每个模型都有一组可设置的可选参数。如需了解详情，请参阅内容生成参数。

图片词元化

以下是图片的 token 计算方式：

如果图片的两个尺寸均小于或等于 384 像素，则使用 258 个 token。
如果图片的某个尺寸大于 384 像素，则图片会被剪裁成图块。每个图块大小默认为最小尺寸（宽度或高度）除以 1.5。如有必要，系统会调整每个图块，使其不小于 256 像素且不大于 768 像素。随后系统会将每个图块的大小调整为 768x768，并使用 258 个 token。

最佳做法

使用图片时，请遵循以下最佳实践和信息以获得最佳结果。

如果您想要检测图片中的文本，则使用包含单张图片的提示可生成比包含多张图片的提示更好的结果。
如果提示包含单张图片，请将该图片放在请求中的文本提示前面。
如果您的提示包含多张图片，并且您希望稍后在提示中引用这些图片，或者希望模型在模型回答中引用这些图片，则在图片之前为每张图片提供索引会有所帮助。对于索引，请使用 a b c 或 image 1 image 2 image 3。以下是在提示中使用已编入索引的图片的示例：
```
image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
```
使用分辨率更高的图片；这样可生成更好的结果。
在提示中添加一些示例。
请先将图片旋转到适当方向，然后再将其添加到提示中。
避免使用模糊的图片。

限制

虽然多模态 Gemini 模型在许多多模态应用场景中表现出强大功能，但了解模型的限制非常重要：

内容审核：模型拒绝对违反我们安全政策的图片提供回答。
空间推理：模型在定位图片中的文本或对象时并不精确。它们可能只返回对象数的近似值。
医疗用途：模型不适合解读医学图片（例如 X 光片和 CT 扫描），也不适合提供医学建议。
人物识别：模型不应用于识别图片中并非名人的人。
准确率：模型在解读低画质、旋转或分辨率极低的图片时可能会产生幻觉或出错。在解读图片文档中的手写文本时，模型也可能会产生幻觉。

后续步骤

开始使用多模态 Gemini 模型进行构建 - 新客户可获享 $300 免费 Google Cloud 赠金，探索他们可以使用 Gemini 执行的操作。
了解如何发送聊天提示请求。
了解 Responsible AI 最佳实践和 Vertex AI 的安全过滤条件。

图片理解 使用集合让一切井井有条 根据您的偏好保存内容并对其进行分类。

支持的模型

向请求添加图片

单张图片

控制台

点击即可展开高级配置

上传

通过网址

Cloud Storage

Google 云端硬盘

Python

安装

Go

Node.js

安装

Java

REST

Cloud Storage 中的图片

curl

PowerShell

响应

Base64 图片数据

curl

PowerShell

响应

多张图片

控制台

点击即可展开高级配置

上传

通过网址

Cloud Storage

Google 云端硬盘

Python

安装

Go

Node.js

安装

Java

REST

curl

PowerShell

响应

设置可选模型参数

图片词元化

最佳做法

限制

后续步骤

图片理解