프로비저닝된 처리량 개요

이 페이지에서는 프로비저닝된 처리량의 정의와 프로비저닝된 처리량을 사용해야 하는 경우를 설명합니다.

프로비저닝된 처리량 소개

프로비저닝된 처리량은 Vertex AI에서 지원되는 생성형 AI 모델의 처리량을 예약하는 고정 요금 월간 구독 또는 주간 서비스입니다. 처리량을 예약하려면 모델과 모델이 실행되는 사용 가능한 위치를 지정해야 합니다.

프로비저닝된 처리량을 사용하는 경우

다음 고려사항 중 하나라도 사용 사례에 적용되는 경우 프로비저닝된 처리량을 사용하는 것이 좋습니다.

  • 챗봇 및 에이전트와 같은 실시간 생성형 AI 프로덕션 애플리케이션을 빌드하고 있습니다.
  • 중요한 워크로드에 지속적으로 높은 처리량이 필요합니다. 처리량 측정은 모델에 따라 다릅니다.
  • 애플리케이션 사용자에게 일관되고 예측 가능한 환경을 제공하려고 합니다.
  • 고정된 월별 또는 주별 요금을 지불하고 초과 사용을 관리하면서 확정적인 생성형 AI 비용을 지출하고 싶습니다.

프로비저닝된 처리량은 생성형 AI 모델을 사용하는 두 가지 방법 중 하나입니다. 두 번째 방법은 주문형이라고도 하는 사용한 만큼만 지불입니다.

다음 단계