收集模型和风险治理工件

模型和风险治理是一个过程,在该过程中,模型被所有利益相关方群体认定为充分。您的流程可能包括新的模型验证、模型监控、安全和合规性标准、支持流程、风险覆盖范围、运营手册和用户指南等。

作为风险框架的所有者,以下工件可为您提供有用的资源,帮助您将 AML AI 集成到您的整体风险管理环境中。AML AI 提供与模型和风险治理相关的文档,以及调优、训练和评估 AML AI 模型的各种输出。

模型和风险治理文档

以下一组概念文档可应要求提供给 AML AI 客户,它们将用作整体风险管理以及 AI/机器学习模型和风险治理框架的治理工件:

  • 模型架构: 描述用于 AML AI 计算风险评分的特定模型架构。
  • 标签方法:介绍了用于定义有标签训练样本的方法,以便对 AML AI 模型进行调优、训练和回测。
  • 模型训练方法: 介绍了 AML AI 模型的训练和验证方法。
  • 模型调整方法:描述 AML AI 根据数据优化模型超参数的过程。
  • 模型评估方法: 描述用于模型评估和回测的指标。
  • 功能系列概览: 描述支持的功能系列,以及如何将其用于 AML AI 中的可解释性(以及在其他地方)。
  • 风险类型架构: 描述 AML AI 如何支持风险类型及其用于证明覆盖率的方法。
  • 引擎版本稳定性和支持政策: 介绍 AML AI 引擎版本之间有哪些变化和不会发生变化,以及不同操作支持每个引擎版本的时长。

将模型输出作为治理工件

常规 AML AI 操作会生成以下工件作为输出:

  • 模型质量
    • 引擎配置输出包括引擎配置元数据中捕获的预期召回率(调整前后)。
    • 回测结果可让您根据训练中未包含的一组样本来衡量经过训练的模型性能。
  • 数据质量
    • 缺失输出表示数据集中用于调整、训练、回测和预测的每个特征系列的缺失值所占的份额。重大更改可能表明基础数据存在不一致,这可能会影响模型性能。
    • 数据验证错误阻止 AML AI 操作完成,因此,为了成功生成模型和预测,您必须解决这些错误。
  • 预测结果
    • 风险得分介于 0 到 1 之间,在此范围内,分数越高,表示该方在预测月份的风险就越高。风险得分不应直接解释为洗钱活动的概率或可能的调查成功。
    • Explainable AI 输出通过归因分数来增强高风险分数,以表明每个特征系列对风险分数的贡献。
  • 通过长时间运行的操作 (LRO),您可以跟踪模型准备和预测中使用的所有 AML AI 流程。如需了解详情,请参阅管理长时间运行的操作