Vertex AI Model Monitoring 소개

이 페이지에서는 테이블 형식 AutoML 및 테이블 형식 커스텀 학습 모델의 Vertex AI 모델 모니터링을 간략하게 설명합니다. Vertex AI 모델 모니터링을 사용 설정하려면 모델 모니터링 사용을 참조하세요.

개요

프로덕션에 배포된 모델은 학습 데이터와 유사한 예측 입력 데이터에서 최상으로 작동합니다. 입력 데이터가 모델을 학습시키는 데 사용된 데이터와 다르면 모델 자체가 변경되지 않았더라도 모델 성능이 저하될 수 있습니다.

모델 성능을 유지할 수 있도록 모델 모니터링은 편향드리프트 특성에 대한 모델의 예측 입력 데이터를 모니터링합니다.

  • 학습 제공 편향은 프로덕션의 특성 데이터 분포가 모델을 학습시키는 데 사용된 특성 데이터 분포와 다를 때 발생합니다. 원래 학습 데이터를 사용할 수 있는 경우 편향 감지를 사용 설정하여 학습 제공 편향 모델을 모니터링할 수 있습니다.

  • 예측 드리프트는 시간 경과에 따라 프로덕션의 특성 데이터 분포가 크게 변경되면 발생합니다. 원본 학습 데이터를 사용할 수 없는 경우 드리프트 감지를 사용 설정하여 시간 경과에 따른 프로덕션 입력을 모니터링할 수 있습니다.

편향 및 드리프트 감지 모두 사용 설정할 수 있습니다.

모델 모니터링에서는 범주형 특성과 숫자 특성에 대한 특성 편향과 드리프트 감지를 지원합니다.

  • 범주형 특성은 일반적으로 정성적 속성에 따라 그룹화된 가능한 값 수로 제한된 데이터입니다. 예를 들면 제품 유형, 국가 또는 고객 유형과 같은 범주입니다.

  • 숫자 특성은 숫자 값이 될 수 있는 데이터입니다. 예를 들면 중량과 신장입니다.

모델 특성의 편향 또는 드리프트가 설정한 알림 기준을 초과하면 Model Monitoring에서 이메일 알림을 보냅니다. 또한 시간 경과에 따라 각 특성의 분포를 확인하여 모델을 다시 학습시켜야 하는지 평가할 수 있습니다.

학습-서빙 편향 및 예측 드리프트 계산

학습-서빙 편향과 예측 드리프트를 감지하기 위해 모델 모니터링은 TensorFlow 데이터 검사(TFDV)를 사용하여 다음 절차에 따라 분포 및 거리 점수를 계산합니다.

  1. 기준 통계 분포를 계산합니다.

    • 편향 감지에서 기준은 학습 데이터에서 특성 값의 통계 분포입니다.

    • 드리프트 감지에서 기준은 최근 프로덕션에 표시된 특성 값의 통계 분포입니다.

    범주형 특성과 숫자형 특성의 분포는 다음과 같이 계산됩니다.

    • 범주형 특성에서 계산된 분포는 가능한 각 특성 값의 인스턴스 수나 백분율입니다.

    • 숫자 특성에서 모델 모니터링은 가능한 특성 값 범위를 동일한 간격으로 나누고 각 간격에 속하는 특성 값의 수나 백분율을 계산합니다.

    기준은 모델 모니터링 작업을 만들 때 계산되며, 작업의 학습 데이터 세트를 업데이트하는 경우에만 다시 계산됩니다.

  2. 프로덕션에 표시되는 최신 특성 값의 통계 분포를 계산합니다.

  3. 거리 점수를 계산하여 프로덕션의 최신 특성 값의 분포를 기준 분포와 비교합니다.

    • 범주형 특성의 경우 L-무한대 거리를 사용하여 거리 점수를 계산합니다.

    • 숫자 특성의 경우 젠슨-섀넌 발산을 사용하여 거리 점수를 계산합니다.

  4. 두 통계 분포 간의 거리 점수가 지정한 임곗값을 초과하면 모델 모니터링에서 이상을 편향이나 드리프트로 식별합니다.

다음 예시에서는 범주형 특성의 기준 분포와 최신 분포 간의 편향이나 드리프트를 보여줍니다.

기준 분포

기준 데이터 세트의 특성 분포 예시

최신 배포판

현재 데이터 세트의 특성 분포 예시

다음 예시에서는 숫자 특성의 기준 분포와 최신 분포 간의 편향이나 드리프트를 보여줍니다.

기준 분포

기준 데이터 세트의 특성 분포 예시

최신 배포판

현재 데이터 세트의 특성 분포 예시

모델 모니터링 사용 시 고려사항

  • 비용 효율성을 위해 예측 요청 샘플링 레이트를 설정하여 모델에 대한 프로덕션 입력의 하위 집합을 모니터링할 수 있습니다.

  • 배포된 모델의 최근 로깅된 입력이 편향 또는 드리프트로 모니터링되는 빈도를 설정할 수 있습니다. 모니터링 빈도는 각 모니터링 실행에서 분석되는 로깅된 데이터의 기간 또는 모니터링 기간 크기를 결정합니다.

  • 모니터링할 각 특성에 대한 알림 기준을 지정할 수 있습니다. 입력 특성 분포와 해당 기준 간의 통계 거리가 지정된 임곗값을 초과하면 알림이 로깅됩니다. 기본적으로 모든 범주형 특성 및 숫자형 특성이 모니터링되며 임곗값은 0.3입니다.

  • 온라인 예측 엔드포인트는 여러 모델을 호스팅할 수 있습니다. 엔드포인트에서 편향 또는 드리프트 감지를 사용 설정하면 해당 엔드포인트에서 호스팅되는 모든 모델에 다음과 같은 구성 매개변수가 공유됩니다.

    • 감지 유형
    • 모니터링 실행 빈도
    • 모니터링되는 입력 요청 비율

    다른 구성 매개변수의 경우 모델마다 다른 값을 설정할 수 있습니다.

다음 단계