Vertex AI 모델 최적화 도구

Vertex AI Model Optimizer는 요구사항을 가장 잘 충족하는 Gemini 모델을 자동으로 적용하여 모델 선택을 간소화하도록 설계된 동적 엔드포인트입니다. 이렇게 하면 단일 메타 엔드포인트에서 프롬프트를 지정할 수 있으며, 서비스는 비용 및 품질 환경설정을 기반으로 쿼리에 가장 적합한 Gemini 모델(Pro, Flash 등)을 지능적으로 선택합니다.

모델 최적화 도구 가격 책정에 대한 자세한 내용은 가격 책정을 참고하세요.

이점

모델 최적화 도구를 사용하면 다음 작업을 할 수 있습니다.

  • 각 애플리케이션에 모델을 선택하는 대신 모델 선택을 간소화합니다.
  • 비용, 품질 또는 둘 다에 맞게 최적화하여 성능과 예산의 균형을 맞출 수 있습니다.
  • 기존 Gemini API 및 SDK와 원활하게 통합
  • 사용량을 추적하고 비용 절감 가능성 파악
  • 수동 엔드포인트 선택 없이 텍스트 기반 작업을 효율적으로 처리

지원되는 모델

  • Gemini 2.0 Flash (정식 버전)
  • Gemini 2.5 Pro (미리보기, 3월 25일)

언어 지원

Model Optimizer는 Gemini 모델에서 지원하는 모든 언어를 지원합니다. (Gemini 언어 지원 참고)

형식

Model Optimizer는 다음을 비롯한 텍스트 사용 사례를 지원합니다.

  • 코딩(함수 호출 및 코드 실행 포함)
  • 요약
  • 싱글턴 및 멀티턴 채팅
  • 질문과 답변

제한사항 및 처리 방법은 지원되지 않는 기능 처리를 참고하세요.

시작하기

Model Optimizer를 시작하려면 빠른 시작 Colab 노트북을 참고하세요.

Vertex AI Model Optimizer 사용

Python

설치

pip install --upgrade google-genai

자세한 내용은 SDK 참고 문서를 참조하세요.

Vertex AI에서 Gen AI SDK를 사용하도록 환경 변수를 설정합니다. 

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
 

#     from google import genai
#     from google.genai.types import (
#         FeatureSelectionPreference,
#         GenerateContentConfig,
#         HttpOptions,
#         ModelSelectionConfig
#     )
#
#     client = genai.Client(http_options=HttpOptions(api_version="v1beta1"))
#     response = client.models.generate_content(
#         model="model-optimizer-exp-04-09",
#         contents="How does AI work?",
#         config=GenerateContentConfig(
#             model_selection_config=ModelSelectionConfig(
#                 feature_selection_preference=FeatureSelectionPreference.BALANCED  # Options: PRIORITIZE_QUALITY, BALANCED, PRIORITIZE_COST
#             ),
#         ),
#     )
#     print(response.text)
#     # Example response:
#     # Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
#     #
#     # Here's a simplified overview:
#     # ...

지원되지 않는 기능 처리

Model Optimizer는 텍스트 입력 및 출력만 지원합니다. 하지만 요청에 지원되지 않는 다양한 모달리티나 도구가 포함될 수 있습니다. 다음 섹션에서는 Model Optimizer가 지원되지 않는 이러한 기능을 처리하는 방법을 설명합니다.

멀티모달 요청

동영상, 이미지, 오디오와 같은 멀티모달 데이터가 포함된 프롬프트가 포함된 요청은 INVALID_ARGUMENT 오류를 발생시킵니다.

지원되지 않는 도구

Model Optimizer는 요청에 대한 함수 선언만 지원합니다. 요청에 google_maps, google_search, enterprise_web_search, retrieval 또는 browse를 비롯한 다른 도구 유형이 포함된 경우 INVALID_ARGUMENT 오류가 발생합니다.

의견 보내기

Model Optimizer 사용 경험에 대한 의견을 보내려면 의견 설문조사를 작성하세요.

모델 최적화 도구에 관한 질문, 기술 문제 또는 의견이 있으면 model-optimizer-support@google.com으로 문의하세요.

고객 토론 그룹

개발팀에 직접 연결하려면 Vertex AI Model Optimizer 청취 그룹에 참여할 수 있습니다. 여기에서 제품에 대해 자세히 알아보고 기능이 보다 효과적으로 작동하도록 만드는 방법을 이해할 수 있습니다. 이 그룹의 활동에는 다음이 포함됩니다.

  • 기능에 대해 자세히 알아볼 수 있는 가상 워크숍
  • 요구사항과 우선순위를 공유하기 위한 의견 설문조사
  • 새로운 기능을 살펴보는 Google Cloud 직원과의 1:1 세션

활동은 6~8주에 한 번 정도 제공됩니다. 원하는 만큼 참여할 수 있으며 언제든지 수신을 거부할 수 있습니다. 그룹에 참여하려면 Vertex AI Model Optimizer 토론 그룹 가입 양식을 작성하세요.