- Recurso: ModelEvaluation
- ClassificationEvaluationMetrics
- ConfidenceMetricsEntry
- ConfusionMatrix
- Linha
- VideoObjectTrackingEvaluationMetrics
- BoundingBoxMetricsEntry
- ConfidenceMetricsEntry
- Métodos
Recurso: ModelEvaluation
Resultados da avaliação de um modelo.
Representação JSON | |
---|---|
{ "name": string, "annotationSpecId": string, "displayName": string, "createTime": string, "evaluatedExampleCount": number, // Union field |
Campos | ||
---|---|---|
name |
Apenas saída. Nome do recurso da avaliação do modelo. Formato:
|
|
annotationSpecId |
Apenas saída. O código da especificação de anotação a que a avaliação de modelo se aplica. O código está vazio na avaliação geral do modelo. |
|
displayName |
Apenas saída. O valor de O displayName está vazio na avaliação geral do modelo. |
|
createTime |
Apenas saída. Carimbo de data/hora quando essa avaliação de modelo foi criada. Um carimbo de data/hora no formato UTC "Zulu" RFC3339 é medido com precisão em nanossegundos. Exemplo: |
|
evaluatedExampleCount |
Apenas saída. O número de exemplos usados para avaliação do modelo. As informações do horário da criação do modelo são comparadas com as anotações previstas criadas pelo modelo. Para ModelEvaluation geral (ou seja, com annotationSpecId não definido), esse é o número total de todos os exemplos usados para avaliação. Caso contrário, essa é a contagem de exemplos que, de acordo com as informações, foram anotados pelo |
|
Campo de união metrics . Somente saída. Métricas de avaliação específicas do tipo de problema. metrics só pode ser uma destas: |
||
classificationEvaluationMetrics |
Métricas de avaliação do modelo. |
|
videoObjectTrackingEvaluationMetrics |
Métricas de avaliação de modelos de rastreamento de objetos. |
ClassificationEvaluationMetrics
Métricas de avaliação de modelo para problemas de classificação. Observação: para Classificação de vídeo, essas métricas descrevem apenas a qualidade das predições de classificação de vídeo do tipo "segment_classification".
Representação JSON | |
---|---|
{ "auPrc": number, "baseAuPrc": number, "auRoc": number, "logLoss": number, "confidenceMetricsEntry": [ { object( |
Campos | |
---|---|
auPrc |
Apenas saída. A métrica "área sob a curva de recall e precisão". É feita a média micro na avaliação geral. |
baseAuPrc |
Apenas saída. A métrica "área sob a curva de recall e precisão" com base nas anteriores. É feita a média micro na avaliação geral. Obsoleto. |
auRoc |
Apenas saída. A métrica da curva "área sob a característica de operação do receptor". É feita a média micro na avaliação geral. |
logLoss |
Apenas saída. A métrica "Log Perda". |
confidenceMetricsEntry[] |
Apenas saída. Métricas para cada confidenceThreshold em 0, 0,05, 0,10, ..., 0,95, 0,96, 0,97, 0,98, 0,99 e positionThreshold como INT32_MAX_VALUE. As curvas de ROC e de precisão/recall, além de outras métricas agregadas, são derivadas delas. Também é possível fornecer as entradas de métricas de confiança para valores complementares de positionThreshold. No entanto, a partir delas, nenhuma métrica agregada é calculada. |
confusionMatrix |
Apenas saída. Matriz de confusão da avaliação. Definida apenas para problemas de classificação MULTICLASS em que o número de rótulos não seja maior que dez. Definida apenas para avaliação no nível do modelo, e não para avaliação por rótulo. |
annotationSpecId[] |
Apenas saída. Os códigos de especificação da anotação usados nessa avaliação. |
ConfidenceMetricsEntry
Métricas para um único limite de confiança.
Representação JSON | |
---|---|
{ "confidenceThreshold": number, "positionThreshold": number, "recall": number, "precision": number, "falsePositiveRate": number, "f1Score": number, "recallAt1": number, "precisionAt1": number, "falsePositiveRateAt1": number, "f1ScoreAt1": number, "truePositiveCount": string, "falsePositiveCount": string, "falseNegativeCount": string, "trueNegativeCount": string } |
Campos | |
---|---|
confidenceThreshold |
Apenas saída. As métricas são calculadas com base no pressuposto de que o modelo nunca retorna predições com pontuação menor que esse valor. |
positionThreshold |
Apenas saída. As métricas são calculadas com base no pressuposto de que o modelo sempre retorna no máximo essa quantidade de predições, classificadas pela pontuação em ordem decrescente. No entanto, todas elas ainda precisam atender ao limite de confiança. |
recall |
Apenas saída. O recall ou taxa de verdadeiro positivo para o limite de confiança fornecido. |
precision |
Apenas saída. A precisão para o limite de confiança fornecido. |
falsePositiveRate |
Apenas saída. A taxa de falso positivo para o limite de confiança fornecido. |
f1Score |
Apenas saída. A média harmônica de recall e precisão. |
recallAt1 |
Apenas saída. O recall, ou taxa de verdadeiro positivo, quando se considera apenas o rótulo que tem a maior pontuação de predição e não abaixo do limite de confiança de cada exemplo. |
precisionAt1 |
Apenas saída. A precisão quando se considera apenas o rótulo que tem o maior valor de predição e não abaixo do limite de confiança de cada exemplo. |
falsePositiveRateAt1 |
Apenas saída. A taxa de falso positivo quando se considera apenas o rótulo que tem a maior pontuação de predição e não abaixo do limite de confiança de cada exemplo. |
f1ScoreAt1 |
Apenas saída. A média harmônica de |
truePositiveCount |
Apenas saída. O número de rótulos criados por modelos que corresponde a um rótulo de informações. |
falsePositiveCount |
Apenas saída. O número de rótulos criados por modelos que não corresponde a um rótulo de informações. |
falseNegativeCount |
Apenas saída. O número de rótulos de informações que não corresponde a um rótulo criado pelo modelo. |
trueNegativeCount |
Apenas saída. O número de rótulos que não foram criados por modelos. Se tivessem sido criados, eles não corresponderiam a um rótulo de informações. |
ConfusionMatrix
Matriz de confusão do modelo que executa a classificação.
Representação JSON | |
---|---|
{
"annotationSpecId": [
string
],
"row": [
{
object( |
Campos | |
---|---|
annotationSpecId[] |
Apenas saída. Códigos das especificações de anotação usadas na matriz de confusão. |
row[] |
Apenas saída. Linhas na matriz de confusão. O número de linhas é igual ao tamanho de |
Linha
Apenas saída. Uma linha na matriz de confusão.
Representação JSON | |
---|---|
{ "exampleCount": [ number ] } |
Campos | |
---|---|
exampleCount[] |
Apenas saída. Valor da célula específica na matriz de confusão. O número de valores de cada linha (ou seja, o tamanho da linha) é igual ao comprimento do campo |
VideoObjectTrackingEvaluationMetrics
Métricas de avaliação de modelo para problemas de rastreamento de objetos de vídeo. Avalia a qualidade de predição de caixas delimitadoras rotuladas e faixas rotuladas, ou seja, séries de caixas delimitadoras que compartilham o mesmo rótulo e código da instância.
Representação JSON | |
---|---|
{
"evaluatedFrameCount": number,
"evaluatedBoundingBoxCount": number,
"evaluatedTrackCount": number,
"boundingBoxMetricsEntries": [
{
object( |
Campos | |
---|---|
evaluatedFrameCount |
Apenas saída. O número de frames de vídeo usados para criar essa avaliação. |
evaluatedBoundingBoxCount |
Apenas saída. O número total de caixas delimitadoras (isto é, somadas em todos os frames) que as informações usaram para criar essa avaliação. |
evaluatedTrackCount |
Apenas saída. O número total de faixas (ou seja, como vistas em todos os frames) que as informações usaram para criar essa avaliação. |
boundingBoxMetricsEntries[] |
Apenas saída. As caixas delimitadoras correspondem às métricas para cada limite de interseção sobre união 0,05,0,10,...,0,95,0,96,0,97,0,98,0,99 e cada par de limite de confiança do rótulo 0,05,0,10,...,0,95,0,96,0,97,0,98,0,99. |
boundingBoxMeanAveragePrecision |
Apenas saída. A única métrica para avaliação de caixas delimitadoras: a média de meanAveragePrecision calculada em todas as boundingBoxMetricsEntries. |
BoundingBoxMetricsEntry
Métricas de modelo de correspondência de caixa delimitadora de um único limite de interseção sobre união e vários limites de confiança de correspondência de rótulo.
Representação JSON | |
---|---|
{
"iouThreshold": number,
"meanAveragePrecision": number,
"confidenceMetricsEntries": [
{
object( |
Campos | |
---|---|
iouThreshold |
Apenas saída. O valor do limite de interseção sobre união usado para calcular a entrada dessa métrica. |
meanAveragePrecision |
Apenas saída. A precisão média, na maioria das vezes perto de auPrc. |
confidenceMetricsEntries[] |
Apenas saída. Métricas para cada confidenceThreshold de correspondência de rótulo de 0,05,0,10, ...,0,95,0,96,0,97,0,98,0,99. A curva de recuperação de precisão é derivada deles. |
ConfidenceMetricsEntry
Métricas para um único limite de confiança.
Representação JSON | |
---|---|
{ "confidenceThreshold": number, "recall": number, "precision": number, "f1Score": number } |
Campos | |
---|---|
confidenceThreshold |
Apenas saída. O valor do limite de confiança usado para calcular as métricas. |
recall |
Apenas saída. Recall dado o limite de confiança indicado. |
precision |
Apenas saída. Precisão sob o limite de confiança indicado. |
f1Score |
Apenas saída. A média harmônica de recall e precisão. |
Métodos |
|
---|---|
|
Recebe uma avaliação de modelo. |
|
Lista avaliações de modelo. |