Vertex AI Model Optimizer

Vertex AI Model Optimizer는 니즈를 가장 잘 충족하는 Gemini 모델을 자동으로 적용하여 모델 선택을 간소화하도록 설계된 동적 엔드포인트입니다. 이를 사용하면 단일 메타 엔드포인트에서 프롬프트를 지정할 수 있으며 서비스는 비용 및 품질 환경설정을 기반으로 쿼리에 가장 적합한 Gemini 모델(Pro, Flash 등)을 지능적으로 선택합니다.

Model Optimizer 가격 책정에 대한 자세한 내용은 가격 책정을 참조하세요.

이점

Model Optimizer를 사용하면 다음 작업을 수행할 수 있습니다.

  • 애플리케이션마다 모델을 선택하는 대신 모델 선택 간소화
  • 비용, 품질 또는 둘 다에 맞게 최적화하여 성능과 예산 간의 균형 맞춤
  • 기존 Gemini API 및 SDK와 원활하게 통합
  • 사용량 추적 및 비용 절감 가능성 파악
  • 수동 엔드포인트를 선택하지 않고도 효율적으로 텍스트 기반 태스크 처리

지원되는 모델

언어 지원

Model Optimizer는 Gemini 모델에서 지원하는 모든 언어를 지원합니다. Gemini 언어 지원을 참조하세요.

형식

Model Optimizer는 다음을 포함한 텍스트 사용 사례를 지원합니다.

  • 코딩(함수 호출 및 코드 실행 포함)
  • 요약
  • 싱글턴 및 멀티턴 채팅
  • 질문 및 답변

제한사항과 처리 방법은 지원되지 않는 기능 처리를 참조하세요.

시작하기

Model Optimizer를 시작하려면 Colab 노트북 빠른 시작을 참조하세요.

Vertex AI Model Optimizer 사용

Python

설치

pip install --upgrade google-genai

자세한 내용은 SDK 참고 문서를 참조하세요.

Vertex AI에서 Gen AI SDK를 사용하도록 환경 변수를 설정합니다. 

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
 

#     from google import genai
#     from google.genai.types import (
#         FeatureSelectionPreference,
#         GenerateContentConfig,
#         HttpOptions,
#         ModelSelectionConfig
#     )
#
#     client = genai.Client(http_options=HttpOptions(api_version="v1beta1"))
#     response = client.models.generate_content(
#         model="model-optimizer-exp-04-09",
#         contents="How does AI work?",
#         config=GenerateContentConfig(
#             model_selection_config=ModelSelectionConfig(
#                 feature_selection_preference=FeatureSelectionPreference.BALANCED  # Options: PRIORITIZE_QUALITY, BALANCED, PRIORITIZE_COST
#             ),
#         ),
#     )
#     print(response.text)
#     # Example response:
#     # Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
#     #
#     # Here's a simplified overview:
#     # ...

Go

Go를 설치하거나 업데이트하는 방법을 알아보세요.

자세한 내용은 SDK 참고 문서를 참조하세요.

Vertex AI에서 Gen AI SDK를 사용하도록 환경 변수를 설정합니다. 

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
 

import (
	"context"
	"fmt"
	"io"

	"google.golang.org/genai"
)

// generateModelOptimizerWithTxt shows how to generate text using a text prompt and model optimizer.
func generateModelOptimizerWithTxt(w io.Writer) error {
	ctx := context.Background()

	clientConfig := &genai.ClientConfig{
		HTTPOptions: genai.HTTPOptions{APIVersion: "v1beta1"},
	}

	client, err := genai.NewClient(ctx, clientConfig)

	if err != nil {
		return fmt.Errorf("failed to create genai client: %w", err)
	}

	modelSelectionConfig := &genai.ModelSelectionConfig{
		FeatureSelectionPreference: genai.FeatureSelectionPreferenceBalanced,
	}

	generateContentConfig := &genai.GenerateContentConfig{
		ModelSelectionConfig: modelSelectionConfig,
	}

	modelName := "gemini-2.5-flash"
	contents := genai.Text("How does AI work?")

	resp, err := client.Models.GenerateContent(ctx,
		modelName,
		contents,
		generateContentConfig,
	)
	if err != nil {
		return fmt.Errorf("failed to generate content: %w", err)
	}

	respText := resp.Text()

	fmt.Fprintln(w, respText)
	// Example response:
	// That's a great question! Understanding how AI works can feel like ...
	// ...
	// **1. The Foundation: Data and Algorithms**
	// ...

	return nil
}

지원되지 않는 기능 처리

Model Optimizer는 텍스트 입력과 출력만 지원합니다. 하지만 요청에 지원되지 않는 다양한 모달리티나 도구가 포함될 수 있습니다. 다음 섹션에서는 Model Optimizer에서 이러한 지원되지 않는 기능을 처리하는 방법을 설명합니다.

멀티모달 요청

동영상, 이미지 또는 오디오와 같은 멀티모달 데이터가 있는 프롬프트가 포함된 요청으로 인해 INVALID_ARGUMENT 오류가 발생합니다.

지원되지 않는 도구

Model Optimizer는 요청에 대한 함수 선언만 지원합니다. 요청에 google_maps, google_search, enterprise_web_search, retrieval 또는 browse를 포함한한 다른 도구 유형이 포함된 경우 INVALID_ARGUMENT 오류가 발생합니다.

의견 보내기

Model Optimizer 사용 경험에 대한 의견을 보내려면 의견 설문조사를 작성하세요.

Model Optimizer에 대한 질문, 기술 문제 또는 의견이 있으면 model-optimizer-support@google.com으로 문의하세요.

고객 토론방

개발팀에 직접 연결하려면 Vertex AI Model Optimizer 청취 그룹에 참여하면 됩니다. 여기서 제품을 자세히 알아보고 기능이 더욱 효과적으로 작동하게 하는 방법을 이해할 수 있습니다. 이 그룹 활동에는 다음이 포함됩니다.

  • 기능을 자세히 알아볼 수 있는 가상 워크숍
  • 요구사항과 우선순위를 공유하기 위한 의견 설문조사
  • 새로운 기능을 살펴보는 Google Cloud 직원과의 1:1 세션

활동은 6~8주에 한 번 정도 제공됩니다. 원하는 만큼 참여할 수 있으며 언제든지 수신 해제할 수 있습니다. 그룹에 참여하려면 Vertex AI Model Optimizer 토론방 가입 양식을 작성합니다.