Recurso REST: projects.locations.models.modelEvaluations

Recurso: ModelEvaluation

Resultados da avaliação de um modelo.

Representação JSON 

{
  "name": string,
  "annotationSpecId": string,
  "displayName": string,
  "createTime": string,
  "evaluatedExampleCount": number,

  // Union field metrics can be only one of the following:
  "classificationEvaluationMetrics": {
    object(ClassificationEvaluationMetrics)
  },
  "videoObjectTrackingEvaluationMetrics": {
    object(VideoObjectTrackingEvaluationMetrics)
  }
  // End of list of possible types for union field metrics.
}
Campos
name

string

Apenas saída. Nome do recurso da avaliação do modelo. Formato:

projects/{project_id}/locations/{locationId}/models/{modelId}/modelEvaluations/{model_evaluation_id}
annotationSpecId

string

Apenas saída. O código da especificação de anotação a que a avaliação de modelo se aplica. O código está vazio na avaliação geral do modelo.

displayName

string

Apenas saída. O valor de displayName no momento em que o modelo foi treinado. Como esse campo retorna um valor no tempo de treinamento de modelos diferentes treinados usando o mesmo conjunto de dados, os valores podem ser diferentes. Isso acontece porque os nomes de exibição podem ter sido alterados entre dois treinamentos.

O displayName está vazio na avaliação geral do modelo.
createTime

string (Timestamp format)

Apenas saída. Carimbo de data/hora quando essa avaliação de modelo foi criada.

Um carimbo de data/hora no formato UTC "Zulu" RFC3339 é medido com precisão em nanossegundos. Exemplo: "2014-10-02T15:01:23.045123456Z".
evaluatedExampleCount

number

Apenas saída. O número de exemplos usados para avaliação do modelo. As informações do horário da criação do modelo são comparadas com as anotações previstas criadas pelo modelo. Para ModelEvaluation geral (ou seja, com annotationSpecId não definido), esse é o número total de todos os exemplos usados para avaliação. Caso contrário, essa é a contagem de exemplos que, de acordo com as informações, foram anotados pelo

annotationSpecId.
Campo de união metrics. Somente saída. Métricas de avaliação específicas do tipo de problema. metrics só pode ser uma destas:
classificationEvaluationMetrics

object(ClassificationEvaluationMetrics)

Métricas de avaliação do modelo.

videoObjectTrackingEvaluationMetrics

object(VideoObjectTrackingEvaluationMetrics)

Métricas de avaliação de modelos de rastreamento de objetos.

ClassificationEvaluationMetrics

Métricas de avaliação de modelo para problemas de classificação. Observação: para Classificação de vídeo, essas métricas descrevem apenas a qualidade das predições de classificação de vídeo do tipo "segment_classification".

Representação JSON 

{
  "auPrc": number,
  "baseAuPrc": number,
  "auRoc": number,
  "logLoss": number,
  "confidenceMetricsEntry": [
    {
      object(ConfidenceMetricsEntry)
    }
  ],
  "confusionMatrix": {
    object(ConfusionMatrix)
  },
  "annotationSpecId": [
    string
  ]
}
Campos
auPrc

number

Apenas saída. A métrica "área sob a curva de recall e precisão". É feita a média micro na avaliação geral.

baseAuPrc
(deprecated)

number

Apenas saída. A métrica "área sob a curva de recall e precisão" com base nas anteriores. É feita a média micro na avaliação geral. Obsoleto.
auRoc

number

Apenas saída. A métrica da curva "área sob a característica de operação do receptor". É feita a média micro na avaliação geral.

logLoss

number

Apenas saída. A métrica "Log Perda".

confidenceMetricsEntry[]

object(ConfidenceMetricsEntry)

Apenas saída. Métricas para cada confidenceThreshold em 0, 0,05, 0,10, ..., 0,95, 0,96, 0,97, 0,98, 0,99 e positionThreshold como INT32_MAX_VALUE. As curvas de ROC e de precisão/recall, além de outras métricas agregadas, são derivadas delas. Também é possível fornecer as entradas de métricas de confiança para valores complementares de positionThreshold. No entanto, a partir delas, nenhuma métrica agregada é calculada.

confusionMatrix

object(ConfusionMatrix)

Apenas saída. Matriz de confusão da avaliação. Definida apenas para problemas de classificação MULTICLASS em que o número de rótulos não seja maior que dez. Definida apenas para avaliação no nível do modelo, e não para avaliação por rótulo.

annotationSpecId[]

string

Apenas saída. Os códigos de especificação da anotação usados nessa avaliação.

ConfidenceMetricsEntry

Métricas para um único limite de confiança.

Representação JSON 

{
  "confidenceThreshold": number,
  "positionThreshold": number,
  "recall": number,
  "precision": number,
  "falsePositiveRate": number,
  "f1Score": number,
  "recallAt1": number,
  "precisionAt1": number,
  "falsePositiveRateAt1": number,
  "f1ScoreAt1": number,
  "truePositiveCount": string,
  "falsePositiveCount": string,
  "falseNegativeCount": string,
  "trueNegativeCount": string
}
Campos
confidenceThreshold

number

Apenas saída. As métricas são calculadas com base no pressuposto de que o modelo nunca retorna predições com pontuação menor que esse valor.

positionThreshold

number

Apenas saída. As métricas são calculadas com base no pressuposto de que o modelo sempre retorna no máximo essa quantidade de predições, classificadas pela pontuação em ordem decrescente. No entanto, todas elas ainda precisam atender ao limite de confiança.

recall

number

Apenas saída. O recall ou taxa de verdadeiro positivo para o limite de confiança fornecido.

precision

number

Apenas saída. A precisão para o limite de confiança fornecido.

falsePositiveRate

number

Apenas saída. A taxa de falso positivo para o limite de confiança fornecido.

f1Score

number

Apenas saída. A média harmônica de recall e precisão.

recallAt1

number

Apenas saída. O recall, ou taxa de verdadeiro positivo, quando se considera apenas o rótulo que tem a maior pontuação de predição e não abaixo do limite de confiança de cada exemplo.

precisionAt1

number

Apenas saída. A precisão quando se considera apenas o rótulo que tem o maior valor de predição e não abaixo do limite de confiança de cada exemplo.

falsePositiveRateAt1

number

Apenas saída. A taxa de falso positivo quando se considera apenas o rótulo que tem a maior pontuação de predição e não abaixo do limite de confiança de cada exemplo.

f1ScoreAt1

number

Apenas saída. A média harmônica de recallAt1 e precisionAt1.

truePositiveCount

string (int64 format)

Apenas saída. O número de rótulos criados por modelos que corresponde a um rótulo de informações.

falsePositiveCount

string (int64 format)

Apenas saída. O número de rótulos criados por modelos que não corresponde a um rótulo de informações.

falseNegativeCount

string (int64 format)

Apenas saída. O número de rótulos de informações que não corresponde a um rótulo criado pelo modelo.

trueNegativeCount

string (int64 format)

Apenas saída. O número de rótulos que não foram criados por modelos. Se tivessem sido criados, eles não corresponderiam a um rótulo de informações.

ConfusionMatrix

Matriz de confusão do modelo que executa a classificação.

Representação JSON 

{
  "annotationSpecId": [
    string
  ],
  "row": [
    {
      object(Row)
    }
  ]
}
Campos
annotationSpecId[]

string

Apenas saída. Códigos das especificações de anotação usadas na matriz de confusão.

row[]

object(Row)

Apenas saída. Linhas na matriz de confusão. O número de linhas é igual ao tamanho de annotationSpecId. row[i].value[j] é o número de exemplos com a verdade de annotationSpecId[i] e previstos por annotationSpecId[j] pelo modelo avaliado.

Linha

Apenas saída. Uma linha na matriz de confusão.

Representação JSON 

{
  "exampleCount": [
    number
  ]
}
Campos
exampleCount[]

number

Apenas saída. Valor da célula específica na matriz de confusão. O número de valores de cada linha (ou seja, o tamanho da linha) é igual ao comprimento do campo annotationSpecId. Se ele não for preenchido, será igual ao comprimento de displayName.

VideoObjectTrackingEvaluationMetrics

Métricas de avaliação de modelo para problemas de rastreamento de objetos de vídeo. Avalia a qualidade de predição de caixas delimitadoras rotuladas e faixas rotuladas, ou seja, séries de caixas delimitadoras que compartilham o mesmo rótulo e código da instância.

Representação JSON 

{
  "evaluatedFrameCount": number,
  "evaluatedBoundingBoxCount": number,
  "evaluatedTrackCount": number,
  "boundingBoxMetricsEntries": [
    {
      object(BoundingBoxMetricsEntry)
    }
  ],
  "boundingBoxMeanAveragePrecision": number
}
Campos
evaluatedFrameCount

number

Apenas saída. O número de frames de vídeo usados para criar essa avaliação.

evaluatedBoundingBoxCount

number

Apenas saída. O número total de caixas delimitadoras (isto é, somadas em todos os frames) que as informações usaram para criar essa avaliação.

evaluatedTrackCount

number

Apenas saída. O número total de faixas (ou seja, como vistas em todos os frames) que as informações usaram para criar essa avaliação.

boundingBoxMetricsEntries[]

object(BoundingBoxMetricsEntry)

Apenas saída. As caixas delimitadoras correspondem às métricas para cada limite de interseção sobre união 0,05,0,10,...,0,95,0,96,0,97,0,98,0,99 e cada par de limite de confiança do rótulo 0,05,0,10,...,0,95,0,96,0,97,0,98,0,99.

boundingBoxMeanAveragePrecision

number

Apenas saída. A única métrica para avaliação de caixas delimitadoras: a média de meanAveragePrecision calculada em todas as boundingBoxMetricsEntries.

BoundingBoxMetricsEntry

Métricas de modelo de correspondência de caixa delimitadora de um único limite de interseção sobre união e vários limites de confiança de correspondência de rótulo.

Representação JSON 

{
  "iouThreshold": number,
  "meanAveragePrecision": number,
  "confidenceMetricsEntries": [
    {
      object(ConfidenceMetricsEntry)
    }
  ]
}
Campos
iouThreshold

number

Apenas saída. O valor do limite de interseção sobre união usado para calcular a entrada dessa métrica.

meanAveragePrecision

number

Apenas saída. A precisão média, na maioria das vezes perto de auPrc.

confidenceMetricsEntries[]

object(ConfidenceMetricsEntry)

Apenas saída. Métricas para cada confidenceThreshold de correspondência de rótulo de 0,05,0,10, ...,0,95,0,96,0,97,0,98,0,99. A curva de recuperação de precisão é derivada deles.

ConfidenceMetricsEntry

Métricas para um único limite de confiança.

Representação JSON 

{
  "confidenceThreshold": number,
  "recall": number,
  "precision": number,
  "f1Score": number
}
Campos
confidenceThreshold

number

Apenas saída. O valor do limite de confiança usado para calcular as métricas.

recall

number

Apenas saída. Recall dado o limite de confiança indicado.

precision

number

Apenas saída. Precisão sob o limite de confiança indicado.

f1Score

number

Apenas saída. A média harmônica de recall e precisão.

Métodos

get

 Recebe uma avaliação de modelo.

list

 Lista avaliações de modelo.