REST 资源:projects.locations.models.modelEvaluations

资源:ModelEvaluation

模型的评估结果。

JSON 表示法

{
  "name": string,
  "annotationSpecId": string,
  "displayName": string,
  "createTime": string,
  "evaluatedExampleCount": number,
  "classificationEvaluationMetrics": {
    object(ClassificationEvaluationMetrics)
  }
}
字段
name

string

仅限输出。模型评估的资源名称。格式:

projects/{project_id}/locations/{locationId}/models/{modelId}/modelEvaluations/{model_evaluation_id}

annotationSpecId

string

仅限输出。模型评估适用的注释规范的 ID。整体模型评估的 ID 为空。注意:目前无法从注释规范的 ID 获取其 displayName。要查看 display_name,请查看界面中的模型评估。

displayName

string

仅限输出。训练模型时 AnnotationSpec.display_name 的值。此字段在模型训练时会返回一个值,对于使用相同数据集训练的不同模型,返回值可能不同,因为模型所有者可以更新任何两个模型训练之间的 displayName。整体模型评估的 displayName 为空。

createTime

string (Timestamp format)

仅限输出。创建此模型评估时的时间戳。

此时间戳采用 RFC3339 世界协调时间 (UTC)(即“祖鲁时”)格式,且精确到纳秒。例如:"2014-10-02T15:01:23.045123456Z"

evaluatedExampleCount

number

仅限输出。用于模型评估的样本数,评估时将模型创建时的评估依据与模型创建的预测注释进行比较。对于整体 ModelEvaluation(即未设置 annotationSpecId),这是用于评估的所有样本的总数。否则,这是根据评估依据由以下项注释的样本数:

annotationSpecId.

classificationEvaluationMetrics

object(ClassificationEvaluationMetrics)

分类模型的评估指标。

ClassificationEvaluationMetrics

分类问题的模型评估指标。这些指标仅描述类型设为 segment_classification 的预测的质量。要了解预测类型,请参阅 BatchPredictRequest.params

JSON 表示法

{
  "auPrc": number,
  "baseAuPrc": number,
  "confidenceMetricsEntry": [
    {
      object(ConfidenceMetricsEntry)
    }
  ],
  "confusionMatrix": {
    object(ConfusionMatrix)
  },
  "annotationSpecId": [
    string
  ]
}
字段
auPrc

number

仅限输出。精确率/召回率曲线下的面积指标。

baseAuPrc

number

仅限输出。基于先验的精确率/召回率曲线下的面积指标。

confidenceMetricsEntry[]

object(ConfidenceMetricsEntry)

仅限输出。每个 confidenceThreshold 的指标,范围为 0.05、0.10、...、0.95、0.96、0.97、0.98、0.99。由这些指标可以得到精确率/召回率曲线。

confusionMatrix

object(ConfusionMatrix)

仅限输出。评估的混淆矩阵。仅针对标签数不超过 10 的 MULTICLASS 分类问题进行设置。仅针对模型级评估(而非标签级评估)进行设置。

annotationSpecId[]

string

仅限输出。用于此评估的注释规范 ID。

ConfidenceMetricsEntry

单个置信度阈值的指标。

JSON 表示法

{
  "confidenceThreshold": number,
  "recall": number,
  "precision": number,
  "f1Score": number,
  "recallAt1": number,
  "precisionAt1": number,
  "f1ScoreAt1": number
}
字段
confidenceThreshold

number

仅限输出。用于计算指标的置信度阈值。

recall

number

仅限输出。指定置信度阈值下的召回率。

precision

number

仅限输出。指定置信度阈值下的精确率。

f1Score

number

仅限输出。召回率和精确率的调和平均数。

recallAt1

number

仅限输出。召回率(仅考虑具有最高预测分数且不低于每个样本的置信度阈值的标签)。

precisionAt1

number

仅限输出。精确率(仅考虑具有最高预测分数且不低于每个样本的置信度阈值的标签)。

f1ScoreAt1

number

仅限输出。recallAt1precisionAt1 的调和平均数。

ConfusionMatrix

运行分类的模型的混淆矩阵。

JSON 表示法

{
  "annotationSpecId": [
    string
  ],
  "row": [
    {
      object(Row)
    }
  ]
}
字段
annotationSpecId[]

string

仅限输出。混淆矩阵中使用的注释规范的 ID。

row[]

object(Row)

仅限输出。混淆矩阵中的行。行数值等于 annotationSpecId 的大小。row[i].value[j] 是符合 annotationSpecId[i] 的基本事实的示例数量,并且被正在评估的模型预测为 annotationSpecId[j]

Row

仅限输出。混淆矩阵中的行。

JSON 表示法

{
  "exampleCount": [
    number
  ]
}
字段
exampleCount[]

number

仅限输出。混淆矩阵中特定单元的值。每行具有的值数(即行的长度)等于 annotationSpecId 字段的长度。

方法

get

获取模型评估。

list

列出模型评估。