모델 모니터링 측정항목

Vertex AI의 생성형 AI는 사전 빌드된 모델 관측 가능성 대시보드를 제공하여 완전 관리형 모델의 동작, 상태, 성능을 확인할 수 있도록 지원합니다. 완전 관리형 모델 (MaaS)은 Google에서 제공하며 Google의 Gemini 모델과 관리형 엔드포인트가 있는 파트너 모델을 포함합니다. 자체 호스팅 모델의 측정항목은 대시보드에 포함되지 않습니다.

Vertex AI의 생성형 AI는 MaaS 모델의 활동을 자동으로 수집하고 보고하여 지연 시간 문제를 빠르게 해결하고 용량을 모니터링할 수 있도록 지원합니다.

Cloud Console의 샘플 모델 관측 가능성 대시보드
모델 관측 가능성 대시보드 예시

사용 가능한 모니터링 측정항목

모델 관측 가능성 대시보드에는 Cloud Monitoring에서 수집한 측정항목의 하위 집합(예: 초당 모델 요청 수(QPS), 토큰 처리량, 첫 번째 토큰 지연 시간)이 표시됩니다. 대시보드를 확인하여 사용 가능한 모든 측정항목을 확인하세요.

사용 사례

애플리케이션 개발자는 노출한 모델과 사용자가 상호작용하는 방식을 볼 수 있습니다. 예를 들어 모델 사용량 (초당 모델 요청 수)과 사용자 프롬프트의 컴퓨팅 강도 (모델 호출 지연 시간)가 시간 경과에 따라 어떻게 추세가 변화하는지 확인할 수 있습니다. 따라서 이러한 측정항목은 모델 사용량과 관련이 있으므로 각 모델을 실행하는 데 드는 비용도 추정할 수 있습니다.

문제가 발생하면 대시보드에서 빠르게 문제를 해결할 수 있습니다. API 오류율, 첫 번째 토큰 지연 시간, 토큰 처리량을 확인하여 모델이 안정적이고 적시에 응답하는지 확인할 수 있습니다.

제한사항

Vertex AI는 모델의 엔드포인트에 대한 API 호출에 대해서만 대시보드 측정항목을 캡처합니다. Vertex AI Studio의 측정항목과 같은 Google Cloud 콘솔 사용량은 대시보드에 추가되지 않습니다.

대시보드 보기

  1. Google Cloud 콘솔의 Vertex AI 섹션에서 대시보드 페이지로 이동합니다.

    Vertex AI로 이동

  2. 모델 관측 가능성 섹션에서 모든 측정항목 표시를 클릭하여 Google Cloud Observability 콘솔에서 모델 관측 가능성 대시보드를 봅니다.

  3. 특정 모델 또는 특정 위치의 측정항목을 보려면 대시보드 페이지 상단에 하나 이상의 필터를 설정하세요.

    각 측정항목에 대한 설명은 Google Cloud 측정항목 페이지의 'aiplatform' 섹션을 참고하세요.

추가 리소스

  • 대시보드에 알림을 만들려면 Monitoring 문서의 알림 개요 페이지를 참고하세요.
  • 측정항목 데이터 보관에 대한 자세한 내용은 Monitoring 할당량 및 한도를 참고하세요.
  • 저장 데이터에 대한 자세한 내용은 저장 데이터 보호를 참고하세요.
  • Cloud Monitoring에서 수집하는 모든 측정항목 목록을 보려면 Google Cloud 측정항목 페이지의 'aiplatform' 섹션을 참고하세요.