Recurso REST: projects.locations.models.modelEvaluations

Recurso: ModelEvaluation

Resultados da avaliação de um modelo.

Representação JSON 

{
  "name": string,
  "annotationSpecId": string,
  "displayName": string,
  "createTime": string,
  "evaluatedExampleCount": number,
  "classificationEvaluationMetrics": {
    object(ClassificationEvaluationMetrics)
  }
}
Campos
name

string

Apenas saída. Nome do recurso da avaliação do modelo. Formato:

projects/{project_id}/locations/{locationId}/models/{modelId}/modelEvaluations/{model_evaluation_id}
annotationSpecId

string

Apenas saída. O código da especificação de anotação a que a avaliação de modelo se aplica. O código está vazio para a avaliação geral do modelo. OBSERVAÇÃO: atualmente, não há como receber displayName da especificação de anotação do código. Para ver display_names, revise as avaliações do modelo na IU.

displayName

string

Apenas saída. O valor de AnnotationSpec.display_name quando o modelo foi treinado. Como esse campo retorna um valor no tempo de treinamento de modelo, para modelos diferentes treinados usando o mesmo conjunto de dados, o valor retornado pode ser diferente, porque o proprietário do modelo pode atualizar o displayName entre dois treinamentos de modelo quaisquer. O displayName está vazio para a avaliação geral do modelo.

createTime

string (formato Timestamp)

Apenas saída. Carimbo de data/hora quando essa avaliação de modelo foi criada.

Um carimbo de data/hora no formato UTC "Zulu" RFC3339 é medido com precisão em nanossegundos. Exemplo: "2014-10-02T15:01:23.045123456Z".
evaluatedExampleCount

number

Apenas saída. O número de exemplos usados para avaliação do modelo. As informações do horário da criação do modelo são comparadas com as anotações previstas criadas pelo modelo. Para ModelEvaluation geral (ou seja, com annotationSpecId não definido), esse é o número total de todos os exemplos usados para avaliação. Caso contrário, essa é a contagem de exemplos que, de acordo com as informações, foram anotados pelo

annotationSpecId.
classificationEvaluationMetrics

object(ClassificationEvaluationMetrics)

Métricas de avaliação para modelos de classificação.

ClassificationEvaluationMetrics

Métricas de avaliação de modelo para problemas de classificação. Elas descrevem apenas a qualidade das predições em que o tipo é definido como segment_classification. Para informações sobre o tipo de predição, consulte BatchPredictRequest.params.

Representação JSON 

{
  "auPrc": number,
  "baseAuPrc": number,
  "confidenceMetricsEntry": [
    {
      object(ConfidenceMetricsEntry)
    }
  ],
  "confusionMatrix": {
    object(ConfusionMatrix)
  },
  "annotationSpecId": [
    string
  ]
}
Campos
auPrc

number

Apenas saída. A área sob a métrica de curva de recall de precisão.

baseAuPrc

number

Apenas saída. A área sob a métrica de curva de recall de precisão com base em anteriores.

confidenceMetricsEntry[]

object(ConfidenceMetricsEntry)

Apenas saída. Métricas para cada limite de confiança de 0,05, 0,10, ..., 0,95, 0,96, 0,97, 0,98, 0,99. A curva de recuperação de precisão é derivada deles.

confusionMatrix

object(ConfusionMatrix)

Apenas saída. Matriz de confusão da avaliação. Definida apenas para problemas de classificação MULTICLASS em que o número de rótulos não seja maior que dez. Definida apenas para avaliação no nível do modelo, e não para avaliação por rótulo.

annotationSpecId[]

string

Apenas saída. Os códigos de especificação da anotação usados nessa avaliação.

ConfidenceMetricsEntry

Métricas para um único limite de confiança.

Representação JSON 

{
  "confidenceThreshold": number,
  "recall": number,
  "precision": number,
  "f1Score": number,
  "recallAt1": number,
  "precisionAt1": number,
  "f1ScoreAt1": number
}
Campos
confidenceThreshold

number

Apenas saída. O valor do limite de confiança usado para calcular as métricas.

recall

number

Apenas saída. Recall dado o limite de confiança indicado.

precision

number

Apenas saída. Precisão sob o limite de confiança indicado.

f1Score

number

Apenas saída. A média harmônica de recall e precisão.

recallAt1

number

Apenas saída. O recall quando se considera apenas o rótulo que tem a maior pontuação de previsão e não abaixo do limite de confiança de cada exemplo.

precisionAt1

number

Apenas saída. A precisão quando se considera apenas o rótulo que tem o maior valor de predição e não abaixo do limite de confiança de cada exemplo.

f1ScoreAt1

number

Apenas saída. A média harmônica de recallAt1 e precisionAt1.

ConfusionMatrix

Matriz de confusão do modelo que executa a classificação.

Representação JSON 

{
  "annotationSpecId": [
    string
  ],
  "row": [
    {
      object(Row)
    }
  ]
}
Campos
annotationSpecId[]

string

Apenas saída. Códigos das especificações de anotação usadas na matriz de confusão.

row[]

object(Row)

Apenas saída. Linhas na matriz de confusão. O número de linhas é igual ao tamanho de annotationSpecId. row[i].value[j] é o número de exemplos com a verdade de annotationSpecId[i] e previstos por annotationSpecId[j] pelo modelo avaliado.

Linha

Apenas saída. Uma linha na matriz de confusão.

Representação JSON 

{
  "exampleCount": [
    number
  ]
}
Campos
exampleCount[]

number

Apenas saída. Valor da célula específica na matriz de confusão. O número de valores de cada linha (isto é, o tamanho da linha) é igual ao comprimento do campo annotationSpecId.

Métodos

get

 Recebe uma avaliação de modelo.

list

 Lista avaliações de modelo.