모델 및 리스크 거버넌스는 모든 이해관계자 그룹에 의해 모델이 충분하다고 판단되는 프로세스입니다. 이 프로세스에는 새로운 모델 검증, 모델 모니터링, 보안 및 규정 준수 표준, 지원 프로세스, 위험 보장 범위, 작업 매뉴얼, 사용자 가이드 등이 포함될 수 있습니다.
위험 프레임워크의 소유자는 다음 아티팩트를 통해 AML AI를 전반적인 위험 관리 환경에 통합하는 데 유용한 리소스를 얻을 수 있습니다. AML AI는 모델 및 위험 거버넌스와 관련된 문서뿐만 아니라 AML AI 모델의 조정, 학습, 평가에 따른 다양한 결과를 제공합니다.
모델 및 위험 거버넌스 문서
AML AI 고객의 요청에 따라 제공되는 다음 개념 문서 모음은 전반적인 위험 관리 및 AI/ML 모델 및 위험 거버넌스 프레임워크의 거버넌스 아티팩트 역할을 합니다.
- 모델 아키텍처: AML AI에 사용되는 특정 모델 아키텍처를 설명하여 위험 점수를 계산합니다.
- 라벨링 방법론: AML AI 모델의 조정, 학습, 백테스트를 위해 라벨이 지정된 학습 예시를 정의하는 데 사용되는 접근 방식을 설명합니다.
- 모델 학습 방법: AML AI 모델의 학습 및 검증 접근 방법을 설명합니다.
- 모델 조정 방법: AML AI가 데이터를 기반으로 모델 초매개변수를 최적화하는 프로세스를 설명합니다.
- 모델 평가 방법론: 모델 평가 및 백테스트에 사용되는 측정항목을 설명합니다.
- 특성 계열 개요: 지원되는 특성 계열 및 AML AI의 설명 가능성 (및 다른 장소)에 사용되는 방법을 설명합니다.
- 위험 유형 스키마: AML AI가 위험 유형을 지원하는 방법과 보장 범위를 보여주는 데 사용하는 방법을 설명합니다.
- 엔진 버전 안정성 및 지원 정책: AML AI 엔진 버전 간에 변경되는 사항과 변경되지 않는 사항을 설명하고 각 엔진 버전이 서로 다른 작업에 대해 지원되는 기간을 설명합니다.
거버넌스 아티팩트로 모델 출력
다음 아티팩트는 일반 AML AI 작업의 출력으로 생성됩니다.
- 모델 품질
- 엔진 구성 출력에는 엔진 구성 메타데이터에 캡처된 예상 재현율(조정 전후)이 포함됩니다.
- 백테스트 결과를 사용하면 학습에 포함되지 않은 일련의 예시에서 학습된 모델 성능을 측정할 수 있습니다.
- 데이터 품질
- 누락 출력은 조정, 학습, 백테스트, 예측에 사용되는 데이터 세트에서 특성 계열별 누락 값의 비율을 나타냅니다. 큰 변화는 모델 성능에 영향을 줄 수 있는 기본 데이터의 불일치를 나타낼 수 있습니다.
- 데이터 검증 오류로 인해 AML AI 작업이 완료되지 않으므로 모델과 예측을 성공적으로 생성하려면 이러한 오류를 해결해야 합니다.
- 예측 결과
- 위험 점수는 0부터 1까지이며 이 범위 내에서 점수가 높을수록 예측된 달의 당사자에게 위험이 더 높음을 나타냅니다. 위험 점수를 자금세탁 활동 또는 가능한 조사 성공의 가능성으로 직접 해석해서는 안 됩니다.
- Explainable AI 결과는 각 특성 계열의 위험 점수에 대한 기여를 나타내는 기여 분석 점수를 통해 위험 점수를 높입니다.
- 장기 실행 작업(LRO)을 사용하면 모델 준비 및 예측에 사용되는 모든 AML AI 프로세스를 추적할 수 있습니다. 자세한 내용은 장기 실행 작업 관리를 참고하세요.