Vertex AI 模型优化器

Vertex AI 模型优化器是一个动态端点，旨在通过自动应用最符合您需求的 Gemini 模型来简化模型选择。这样一来，您就可以将提示指向单个元端点，而该服务会根据您的费用和质量偏好，智能地为您的查询选择最合适的 Gemini 模型（Pro、Flash 等）。

如需详细了解模型优化器价格，请参阅价格。

优势

借助模型优化器，您可以：

  • 简化模型选择，无需为每个应用选择模型
  • 可针对费用、质量或两者兼顾进行优化，让您在性能和预算之间取得平衡
  • 与现有的 Gemini API 和 SDK 无缝集成
  • 跟踪用量并发现潜在的费用节省空间
  • 高效处理基于文本的任务，无需手动选择端点

支持的模型

语言支持

模型优化器支持 Gemini 模型所支持的所有语言。（请参阅“Gemini 语言支持”）

模态

模型优化器支持文本应用场景，包括：

  • 编码，包括函数调用和代码执行
  • 摘要
  • 单轮聊天和多轮聊天
  • 问答

有关限制及其处理方法，请参阅处理不支持的功能。

使用入门

如需开始使用模型优化器，请参阅快速入门 Colab 笔记本。

使用 Vertex AI 模型优化器

Python

安装

pip install --upgrade google-genai

如需了解详情，请参阅 SDK 参考文档。

设置环境变量以将 Gen AI SDK 与 Vertex AI 搭配使用： 

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
 

#     from google import genai
#     from google.genai.types import (
#         FeatureSelectionPreference,
#         GenerateContentConfig,
#         HttpOptions,
#         ModelSelectionConfig
#     )
#
#     client = genai.Client(http_options=HttpOptions(api_version="v1beta1"))
#     response = client.models.generate_content(
#         model="model-optimizer-exp-04-09",
#         contents="How does AI work?",
#         config=GenerateContentConfig(
#             model_selection_config=ModelSelectionConfig(
#                 feature_selection_preference=FeatureSelectionPreference.BALANCED  # Options: PRIORITIZE_QUALITY, BALANCED, PRIORITIZE_COST
#             ),
#         ),
#     )
#     print(response.text)
#     # Example response:
#     # Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
#     #
#     # Here's a simplified overview:
#     # ...

Go

了解如何安装或更新 Go。

如需了解详情，请参阅 SDK 参考文档。

设置环境变量以将 Gen AI SDK 与 Vertex AI 搭配使用： 

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
 

import (
	"context"
	"fmt"
	"io"

	"google.golang.org/genai"
)

// generateModelOptimizerWithTxt shows how to generate text using a text prompt and model optimizer.
func generateModelOptimizerWithTxt(w io.Writer) error {
	ctx := context.Background()

	clientConfig := &genai.ClientConfig{
		HTTPOptions: genai.HTTPOptions{APIVersion: "v1beta1"},
	}

	client, err := genai.NewClient(ctx, clientConfig)

	if err != nil {
		return fmt.Errorf("failed to create genai client: %w", err)
	}

	modelSelectionConfig := &genai.ModelSelectionConfig{
		FeatureSelectionPreference: genai.FeatureSelectionPreferenceBalanced,
	}

	generateContentConfig := &genai.GenerateContentConfig{
		ModelSelectionConfig: modelSelectionConfig,
	}

	modelName := "gemini-2.5-flash"
	contents := genai.Text("How does AI work?")

	resp, err := client.Models.GenerateContent(ctx,
		modelName,
		contents,
		generateContentConfig,
	)
	if err != nil {
		return fmt.Errorf("failed to generate content: %w", err)
	}

	respText := resp.Text()

	fmt.Fprintln(w, respText)
	// Example response:
	// That's a great question! Understanding how AI works can feel like ...
	// ...
	// **1. The Foundation: Data and Algorithms**
	// ...

	return nil
}

处理不支持的功能

模型优化器仅支持文本输入和输出。不过，请求中有可能会包含不受支持的其他模态或工具。以下部分将介绍模型优化器如何处理这些不受支持的功能。

多模态请求

如果请求中包含带有视频、图片或音频等多模态数据的提示，系统会抛出 INVALID_ARGUMENT 错误。

不支持的工具

模型优化器仅支持在请求中包含函数声明。如果请求中包含其他工具类型（包括 google_maps、google_search、enterprise_web_search、retrieval 或 browse），系统会抛出 INVALID_ARGUMENT 错误。

发送反馈

如需发送有关模型优化器使用体验的反馈，请填写我们的反馈问卷。

如果您对模型优化器有任何疑问、技术问题或反馈，请发送邮件至 model-optimizer-support@google.com。

客户交流群组

如需直接与开发团队联系，您可以加入 Vertex AI 模型优化器聆听群组，在此，您可以了解该产品并帮助我们了解如何使其各项功能更好地为您服务。该群组的活动包括：

  • 旨在深入了解各项功能的线上研讨会
  • 旨在分享您的需求和优先事项的反馈调查问卷
  • 在我们探索新功能时，与 Google Cloud 员工进行 1 对 1 交流

活动大约每 6-8 周开展一次。您可以根据意愿选择性地参加，也可以随时完全退出。如需加入该群组，请填写 Vertex AI 模型优化器交流群组注册表单。