기반 모델을 조정하여 성능을 향상시킬 수 있습니다. 기반 모델은 범용으로 학습되지만 경우에 따라 특정 태스크를 원하는 대로 수행하지 않습니다. 이는 모델이 수행하려는 태스크가 프롬프트 설계만으로 모델을 학습시키기 어려운 전문 태스크이기 때문일 수 있습니다. 이러한 경우에는 모델 조정을 통해 특정 태스크에 대해 모델 성능을 향상시킬 수 있습니다. 모델 조정은 안내가 충분하지 않은 경우 특정 출력 요구 사항을 준수하는 데에도 도움이 될 수 있습니다. 이 페이지에서는 모델 조정에 대한 개요를 제공하고, Vertex AI에서 사용할 수 있는 조정 옵션을 설명하며, 각 조정 옵션을 사용해야 하는 시기를 결정하는 데 도움이 됩니다.
모델 조정 개요
모델 조정은 모델에 많은 고유 태스크 예시가 포함된 학습 데이터 세트를 제공하는 방식으로 작동합니다. 고유한 틈새 태스크의 경우 적당한 예시 개수로 모델을 조정하여 모델 성능을 크게 향상시킬 수 있습니다. 모델을 조정하면 프롬프트에 필요한 예시가 줄어듭니다.
Vertex AI는 기반 모델 조정을 위해 다음 방법을 지원합니다.
지도 조정 - 텍스트 모델의 지도 조정은 모델 출력이 복잡하지 않고 비교적 정의하기 쉬운 경우 적합한 옵션입니다. 지도 조정은 분류, 감정 분석, 항목 추출, 복잡하지 않은 콘텐츠 요약, 도메인별 쿼리 작성에 권장됩니다. 코드 모델에서는 지도 조정만 사용할 수 있습니다.
인간 피드백 기반 강화 학습(RLHF) 조정 - RLHF 조정은 모델 출력이 복잡하고 지도 조정으로는 쉽게 달성할 수 없는 경우에 적합한 옵션입니다. RLHF 조정은 질의 응답, 복잡한 콘텐츠 요약, 재작성과 같은 콘텐츠 생성에 권장됩니다. RLHF 조정은 코드 모델에서 지원되지 않습니다.
모델 정제 - 정제는 원하는 기능을 수행하는 능력을 저해하지 않으면서 큰 모델을 작게 축소하려는 경우에 적합한 방법입니다. 모델을 정제하면 사용 비용이 적고 원래 모델보다 지연 시간이 짧도록 새롭게 축소되어 학습된 모델이 생성됩니다.
할당량
각 Google Cloud 프로젝트에는 조정 작업 하나를 실행하기에 충분한 할당량이 필요하며 조정 작업 하나는 GPU 8개를 사용합니다. 프로젝트에 조정 작업 하나를 위한 할당량이 부족하거나 프로젝트에서 동시 조정 작업 여러 개를 실행하려는 경우에는 추가 할당량을 요청해야 합니다.
다음 표는 조정을 수행하도록 지정한 리전에 따라 요청할 할당량 유형과 양을 보여줍니다.
| 리전 | 리소스 할당량 | 동시 작업당 양 |
|---|---|---|
|
|
8 |
|
96 | |
|
|
64 |
가격 책정
기반 모델을 조정하거나 정제하면 조정 또는 정제 파이프라인 실행 비용을 지불해야 합니다. 조정 또는 정제된 기반 모델을 Vertex AI 엔드포인트에 배포할 때는 호스팅 비용이 부과되지 않습니다. 예측 서빙을 위해서는 조정되지 않은 기반 모델(조정용) 또는 스튜던트 모델(정제용)을 사용하여 예측을 서빙할 때 지불하는 것과 동일한 비용을 지불합니다. 조정 및 정제할 수 있는 기반 모델에 대해 자세히 알아보려면 기반 모델을 참조하세요. 자세한 내용은 Vertex AI의 생성형 AI 가격 책정을 참조하세요.