Vertex AI Model Optimizer

Vertex AI Model Optimizer 是一個動態端點，可自動套用最符合您需求的 Gemini 模型，簡化模型選取程序。這樣一來，您就能將提示指向單一中繼端點，而服務會根據您的成本和品質偏好設定，智慧選取最適合查詢的 Gemini 模型 (Pro、Flash 等)。

如要進一步瞭解 Model Optimizer 的定價，請參閱「定價」。

優點

模型最佳化工具可讓您：

  • 簡化模型選取程序，不必為每個應用程式選擇模型
  • 您可以選擇著重於成本、品質或兩者兼顧，在成效和預算之間取得平衡
  • 與現有的 Gemini API 和 SDK 完美整合
  • 追蹤用量，找出節省費用的機會
  • 有效處理文字相關工作，不必手動選取端點

支援的模型

  • Gemini 2.0 Flash (正式版)
  • Gemini 2.5 Pro (預先發布版，3 月 25 日)

語言支援

模型最佳化工具支援 Gemini 模型支援的所有語言。(請參閱「Gemini 支援的語言」)

模態

模型最佳化工具支援文字用途，包括：

  • 程式碼，包括函式呼叫和程式碼執行
  • 摘要
  • 單輪和多輪對話
  • 問答

如要瞭解限制和處理方式，請參閱「處理不支援的功能」。

開始使用

如要開始使用 Model Optimizer，請參閱快速入門 Colab 筆記本。

使用 Vertex AI Model Optimizer

Python

安裝

pip install --upgrade google-genai

詳情請參閱 SDK 參考說明文件。

設定環境變數，透過 Vertex AI 使用 Gen AI SDK： 

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
 

#     from google import genai
#     from google.genai.types import (
#         FeatureSelectionPreference,
#         GenerateContentConfig,
#         HttpOptions,
#         ModelSelectionConfig
#     )
#
#     client = genai.Client(http_options=HttpOptions(api_version="v1beta1"))
#     response = client.models.generate_content(
#         model="model-optimizer-exp-04-09",
#         contents="How does AI work?",
#         config=GenerateContentConfig(
#             model_selection_config=ModelSelectionConfig(
#                 feature_selection_preference=FeatureSelectionPreference.BALANCED  # Options: PRIORITIZE_QUALITY, BALANCED, PRIORITIZE_COST
#             ),
#         ),
#     )
#     print(response.text)
#     # Example response:
#     # Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
#     #
#     # Here's a simplified overview:
#     # ...

處理不支援的功能

Model Optimizer 僅支援文字輸入和輸出。不過，要求可能包含不支援的不同模態或工具。下列各節將說明 Model Optimizer 如何處理這些不支援的功能。

多模態要求

如果要求包含附有多模態資料 (例如影片、圖片或音訊) 的提示，系統會擲回 INVALID_ARGUMENT 錯誤。

不支援的工具

Model Optimizer 只支援要求函式宣告。如果要求包含其他工具類型，包括 google_maps、google_search、enterprise_web_search、retrieval 或 browse，系統會擲回 INVALID_ARGUMENT 錯誤。

提供意見

如要傳送 Model Optimizer 使用體驗的相關意見，請填寫意見回饋問卷調查。

如有關於 Model Optimizer 的問題、技術問題或意見回饋，請與 model-optimizer-support@google.com 聯絡。

顧客討論群組

如要直接與開發團隊聯絡，可以加入 Vertex AI 模型最佳化工具意見交流群組，瞭解產品並協助我們改善功能，讓功能更符合您的需求。該群組的活動包括：

  • 虛擬研討會，進一步瞭解各項功能
  • 意見回饋問卷調查，分享您的需求和優先事項
  • 與 Google Cloud 員工進行 1 對 1 會議，探索新功能

我們大約每 6 到 8 週會提供一次活動。您可以自由選擇參與多少活動，或隨時完全退出。 如要加入這個群組，請填寫 Vertex AI Model Optimizer 討論群組申請表單。