Gemini와 같은 일부 생성형 AI 모델은 관리형 API를 가지며 배포 없이 프롬프트를 수락할 수 있습니다. 관리형 API를 사용하는 모델 목록은 기반 모델 API를 참조하세요.
다른 생성형 AI 모델은 프롬프트를 수락할 준비가 되기 전에 엔드포인트에 배포되어야 합니다. 배포해야 하는 생성 모델에는 두 가지 유형이 있습니다.
조정된 모델은 지원되는 기반 모델을 자체 데이터로 조정하여 만듭니다.
관리형 API가 없는 생성 모델 Model Garden에서 이들은 API 사용 가능 또는 Vertex AI Studio로 라벨이 지정되지 않은 모델입니다(예: Llama 2).
엔드포인트에 모델을 배포하면 Vertex AI는 프롬프트 요청을 처리할 수 있도록 컴퓨팅 리소스 및 URI를 모델과 연결합니다.
조정된 모델 배포
조정된 모델은 Vertex AI Model Registry에 자동으로 업로드되고 Vertex AI endpoint에 배포됩니다. 조정된 모델은 데이터에 맞게 조정되어 있으므로 Model Garden에 표시되지 않습니다.
자세한 내용은 모델 조정 개요를 참조하세요.
엔드포인트가 활성 상태가 되면 URI에서 프롬프트 요청을 수락할 수 있습니다. 조정된 모델의 API 호출 형식은 조정된 기반 모델과 동일합니다. 예를 들어 모델이 Gemini에서 미세 조정된 경우 프롬프트 요청은 Gemini API를 따라야 합니다.
관리형 API 대신 조정된 모델의 엔드포인트로 프롬프트 요청을 보내야 합니다. 조정된 모델의 엔드포인트 형식은 다음과 같습니다.
https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID
엔드포인트 ID를 가져오려면 엔드포인트 보기 또는 관리를 참조하세요.
프롬프트 요청 형식 지정에 대한 자세한 내용은 모델 API 참조를 확인하세요.
관리형 API가 없는 생성 모델 배포
관리형 API가 없는 Model Garden의 모델을 사용하려면 모델을 Model Registry에 업로드하고 엔드포인트에 배포해야 프롬프트 요청을 보낼 수 있습니다. 이는 Vertex AI에 온라인 예측을 위해 커스텀 학습 모델을 업로드하고 배포하는 것과 비슷합니다.
이러한 모델 중 하나를 배포하려면 Model Garden으로 이동하고 배포할 모델을 선택합니다.
각 모델 카드에는 다음 배포 옵션 중 하나 이상이 표시됩니다.
배포 버튼: Model Garden에서 대부분의 생성 모델에는 Vertex AI에 배포하는 방법을 안내하는 배포 버튼이 있습니다. 배포 버튼이 표시되지 않으면 다음 글머리 기호로 이동합니다.
Vertex AI에 배포하는 경우 권장 설정이 있는 원클릭 배포 또는 고급을 선택하여 모델을 Model Registry에 저장하고 Vertex AI 엔드포인트에 배포하는 방법을 세부적으로 제어할 수도 있습니다.
노트북 열기 버튼: 이 옵션은 Jupyter 노트북을 엽니다. 모든 모델 카드에 이 옵션이 표시됩니다. Jupyter 노트북에는 모델을 Model Registry에 업로드하고 모델을 엔드포인트에 배포하고 프롬프트 요청을 전송하기 위한 안내와 샘플 코드가 포함되어 있습니다.
배포가 완료되고 엔드포인트가 활성 상태가 되면 URI에서 프롬프트 요청을 수락할 수 있습니다. API 형식은 predict이며 요청 본문에서 각 instance의 형식은 모델에 따라 다릅니다. 자세한 내용은 다음 리소스를 참조하세요.
모델을 배포하기에 충분한 머신 할당량이 있는지 확인합니다. 현재 할당량을 보거나 추가 할당량을 요청하려면 Google Cloud 콘솔에서 할당량 페이지로 이동합니다.
그런 다음 할당량 이름 Custom Model Serving으로 필터링하여 온라인 예측의 할당량을 확인합니다. 자세한 내용은 할당량 보기 및 관리를 참조하세요.
모델 보기 또는 관리
조정된 모델의 경우 Google Cloud 콘솔의 조정 및 정제 페이지에서 모델과 조정 작업을 볼 수 있습니다.
Model Registry에서 업로드된 모든 모델을 보고 관리할 수도 있습니다.
Model Registry에서 조정된 모델은 대형 모델로 분류되며 기반 모델 및 조정에 사용된 파이프라인 또는 조정 작업을 지정하는 라벨이 있습니다.
배포 버튼으로 배포된 모델은 모델 가든을 Source로 표시합니다.
Model Garden에서 모델이 업데이트되면 Model Registry에 업로드된 모델은 업데이트되지 않습니다.
자세한 내용은 Vertex AI Model Registry 소개를 참조하세요.
엔드포인트 보기 또는 관리
엔드포인트를 보고 관리하려면 Vertex AI 온라인 예측 페이지로 이동합니다. 기본적으로 엔드포인트 이름은 모델 이름과 동일합니다.
자세한 내용은 모델을 엔드포인트에 배포를 참조하세요.
가격 책정
조정된 모델의 경우 모델이 조정된 기반 모델과 동일한 요율로 토큰당 요금이 청구됩니다. 조정이 기반 모델 위에 작은 어댑터로 구현되기 때문에 엔드포인트에 대한 비용이 발생하지 않습니다. 자세한 내용은 Vertex AI의 생성형 AI 가격 책정을 참조하세요.
관리형 API가 없는 모델의 경우 Vertex AI 온라인 예측과 동일한 요율로 엔드포인트에서 사용되는 머신 시간에 대한 요금이 청구됩니다. 토큰별로 요금이 청구되지 않습니다. 자세한 내용은 Vertex AI의 예측 가격 책정을 참조하세요.