本页面介绍可用于检测模型偏差的模型评估指标，这些指标可能会在训练模型后显示在模型预测输出中。对于本页面中的示例和表示法，我们使用了一个假设的大学应用数据集，该数据集在公平性模型评估简介中进行了详细介绍。
如需了解根据预训练数据生成的指标，请参阅数据偏差指标。
概览
在我们的示例大学应用数据集中，切片 1 中有 200 位来自加利福尼亚州的申请者，切片 2 中有 100 位佛罗里达州申请者。训练模型后，我们可以得到以下混淆矩阵：
| 加利福尼亚州申请者 | 接受人数（预测） | 拒绝人数（预测） |
|---|---|---|
| 接受人数（标准答案） | 50（真正例） | 10（假负例） |
| 拒绝人数（标准答案） | 20（假正例） | 120（真负例） |
| 佛罗里达州申请者 | 接受人数（预测） | 拒绝人数（预测） |
|---|---|---|
| 接受人数（标准答案） | 20（真正例） | 0（假负例） |
| 拒绝人数（标准答案） | 30（假正例） | 50（真负例） |
通常，您可以解释大多数指标的符号，如下所示：
正值：表示切片 2 优先于切片 1 存在潜在偏差。
零值：表示切片 1 和切片 2 之间没有偏差。
负值：表示切片 2 优先于切片 1 存在潜在偏差。
我们会记下不适用于指标的位置。
准确率差异
准确率差异衡量切片 1 和切片 2 之间的准确率差异：
（（切片 1 的真正例 + 切片 1 的真负例）/（切片 1 的实例总数）-（（切片 2 的真正例 + 切片 2 的真负例）/切片 2的实例总数）
在我们的示例数据集中：
（（50 位正确预测的加利福尼亚州接受者 + 120 位正确预测的加利福尼亚州拒绝者）/200 位加利福尼亚州申请者）-（（20 位正确预测的佛罗里达州接受者 + 50 位正确预测的佛罗里达州拒绝者）/100 位佛罗里达州申请者）= 170/200 - 70/100 = 0.15
准确率差异的正值表示模型对于加利福尼亚州申请者的准确度高于佛罗里达州申请者。这可能表明，优选加利福尼亚州申请者存在潜在偏差。
预测标签的正例比例差异 (DPPPL)
预测标签的正例比例差异 (DPPPL) 衡量模型是否倾向于对一个切片进行的正例预测偏多于另一个切片。DPPPL 会计算预测标签的正例比例差异，其中切片的预测标签的正例比例为预测的正结果数/实例总数：
（（切片 1 的真正例 + 切片 1 的假正例）/（切片 1 的实例总数）-（（切片 2 的真正例 + 切片 2 的假正例）/切片 2的实例总数）
对于我们的示例数据集：
（（50 位正确预测的加利福尼亚州接受者 + 20 位错误预测的加利福尼亚州接受者）/200 位加利福尼亚州申请者）-（（20 位正确预测的佛罗里达州接受者 + 30 位错误预测的佛罗里达州接受者）/100 位佛罗里达州申请者）= 70/200 - 50/100 = -0.15
DPPPL 的负值表示，与加利福尼亚州申请者相比，模型接受的佛罗里达州申请者偏多。
召回率差异
召回率差异衡量切片 1 和切片 2 之间的召回率差异，并且仅考虑加标签的正结果。召回率差异也可以称为机会均等。
（切片 1 的真正例/（切片 1 的真正例 + 切片 1 的假负例））-（切片 2 的真正例/（切片 2 的真正例 + 切片 2 的假负例））
在我们的示例数据集中：
（50 位正确预测的加利福尼亚州接受者/（50 位正确预测的加利福尼亚州接受者 + 10 位错误预测的加利福尼亚州拒绝者））-（20 位正确预测的佛罗里达州接受者/（20 位正确预测的佛罗里达州接受者 + 0 位错误预测的佛罗里达州拒绝者））= 50/60 - 20/20 = -0.17
负值表示模型对佛罗里达州申请者的召回优于对加利福尼亚州申请者的召回。换句话说，模型对于佛罗里达州申请者的接受决策的准确度往往高于加利福尼亚州申请者。
特异性差异
特异性差异衡量切片 1 和切片 2 之间的特异性差异，也称为真负例率。我们可以将其视为加标签的负结果之外的召回率差异：
（切片 1 的真负例/（切片 1 的真负例 + 切片 1 的假正例））-（切片 2 的真负例/（切片 2 的真负例 + 切片 2 的假正例））
在我们的示例数据集中：
（120 位正确预测的加利福尼亚州拒绝者/(120 位正确预测的加利福尼亚州拒绝者 + 20 位错误预测的加利福尼亚州接受者））-（50 位正确预测的佛罗里达州拒绝者/（50 位正确预测的佛罗里达州拒绝者 + 30 位错误预测的佛罗里达州接受者））= 120/140- 50/80 = 0.23
正值表示对于申请拒绝，模型对加利福尼亚州申请者的召回优于对佛罗里达州申请者的召回。换句话说，模型对于加利福尼亚州申请者的拒绝决策的准确度往往高于佛罗里达州申请者。
错误类型比率的差异
错误类型比率的差异衡量错误（假负例和假正例）在切片 1 和 2 之间分布方式的差异。错误类型比率按以下公式计算：（假负例（类型 I 错误）/假正例（类型 II 错误））。错误类型比率的差异也可以称为处理平等。
（切片 1 的假负例/切片 1 的假正例）-（切片 2 的假负例/切片 2 的假正例）
在我们的示例数据集中：
（10 位错误预测的加利福尼亚州拒绝者/20 位错误预测的加利福尼亚州接受者）-（0 位错误预测的佛罗里达州拒绝者/30 位错误预测的佛罗里达州接受者）= (10/20 - 0/30) = 0.5
虽然模型对加利福尼亚州和佛罗里达州申请者都产生 30 个错误，但错误类型比率差异的正值表明，与佛罗里达州申请者相比，模型往往会过度预测加利福尼亚州申请者的正结果（假正例较高），因此对负结果预测不足（假负例较低错误）。
错误类型比率的差异符号通常可以如下解释：
正值：表示模型对切片 1 产生的假正例错误数比假负例错误数偏多。
零值：表示模型对两个切片产生相同数量的假正例错误。
负值：表示模型对切片 2 产生的假正例错误数比假负例错误数偏多。
此指标的符号不一定表示模型存在偏差，因为假负例或假正例的危害性取决于模型的应用。
后续步骤
如需详细了解公平性指标，请参阅有关机器学习的偏差和公平性的调查问卷。