Nesta página, mostramos como interpretar os resultados da previsão de modelos de classificação e regressão.
Classificação
Previsão
A pontuação de confiança informa o quanto o modelo associa cada classe ou rótulo a um item de teste. Quanto maior o número, maior a confiança do modelo de que o rótulo precisa ser aplicado a esse item. Você decide o nível de confiança necessário para aceitar os resultados do modelo.
Importância do recurso local
A importância do recurso local, às vezes chamada de atribuições de recursos, permite determinar quanto uma determinada previsão é impactada por cada recurso. A importância do recurso local faz parte da Vertex Explainable AI.
Para calcular a importância do recurso local, primeiramente, é calculada a pontuação de previsão do valor de referência. Os valores de referência são calculados com base nos dados de treinamento e a utilização do valor mediano para recursos numéricos e do modo para recursos categóricos. A previsão gerada a partir dos valores de referência é o valor de referência da pontuação de previsão. Os valores de referência são calculados uma vez para um modelo e não são alterados.
Para uma previsão específica, a importância do recurso local de cada recurso informa quanto esse recurso foi adicionado ou subtraído do resultado, em comparação com a pontuação de previsão do valor de referência. A soma de todos os valores de importância de recurso é igual à diferença entre a pontuação de previsão do valor de referência e o resultado da previsão.
É possível usar a importância do recurso para garantir que o modelo esteja usando os
dados de previsão de um jeito que faça sentido para seus dados e problema de
negócios. Se você solicitou uma previsão sem a importância do recurso e
o resultado não fez sentido, use o campo
deployedModelId da previsão e solicite
explicações para os mesmos dados e o mesmo modelo.
Saiba mais
Para modelos de classificação, a pontuação está sempre entre 0,0 e 1,0 (inclusos). Portanto, os valores de importância de recursos locais para modelos de classificação estão sempre entre -1,0 e 1,0 (inclusos).
Regressão
Previsão
Os modelos de regressão retornam um valor de previsão e, para os destinos do BigQuery, um intervalo de previsão. O intervalo de previsão fornece um intervalo de valores em que o modelo que tem confiança de 95% contém o resultado real.
Importância do recurso local
A importância do recurso local, às vezes chamada de atribuições de recursos, permite determinar quanto uma determinada previsão é impactada por cada recurso. A importância do recurso local faz parte da Vertex Explainable AI.
Para calcular a importância do recurso local, primeiramente, é calculada a pontuação de previsão do valor de referência. Os valores de referência são calculados com base nos dados de treinamento e a utilização do valor mediano para recursos numéricos e do modo para recursos categóricos. A previsão gerada a partir dos valores de referência é o valor de referência da pontuação de previsão. Os valores de referência são calculados uma vez para um modelo e não são alterados.
Para uma previsão específica, a importância do recurso local de cada recurso informa quanto esse recurso foi adicionado ou subtraído do resultado, em comparação com a pontuação de previsão do valor de referência. A soma de todos os valores de importância de recurso é igual à diferença entre a pontuação de previsão do valor de referência e o resultado da previsão.
É possível usar a importância do recurso para garantir que o modelo esteja usando os
dados de previsão de um jeito que faça sentido para seus dados e problema de
negócios. Se você solicitou uma previsão sem a importância do recurso e
o resultado não fez sentido, use o campo
deployedModelId da previsão e solicite
explicações para os mesmos dados e o mesmo modelo.
Saiba mais
Exemplo de saída para previsões e explicações on-line
Classificação
O payload de retorno de uma previsão on-line de um modelo de classificação tabular com a importância do recurso é semelhante ao exemplo a seguir.
O instanceOutputValue de 0.928652400970459 é a
pontuação de confiança da classe de maior pontuação, neste caso
class_a. O campo baselineOutputValue contém
a pontuação de previsão do valor de referência, 0.808652400970459. O recurso que
mais contribuiu para esse resultado foi feature_3.
{
"predictions": [
{
"scores": [
0.928652400970459,
0.071347599029541
],
"classes": [
"class_a",
"class_b"
]
}
]
"explanations": [
{
"attributions": [
{
"baselineOutputValue": 0.808652400970459,
"instanceOutputValue": 0.928652400970459,
"approximationError": 0.0058915703929231,
"featureAttributions": {
"feature_1": 0.012394922231235,
"feature_2": 0.050212341234556,
"feature_3": 0.057392736534209,
},
"outputIndex": [
0
],
"outputName": "scores"
}
],
}
]
"deployedModelId": "234567"
}
Regressão
O payload de retorno de uma previsão on-line com importância do recurso de um modelo de regressão tabular é semelhante ao exemplo JSON a seguir.
O instanceOutputValue de 1795.1246466281819 é o
valor previsto, com os campos lower_bound e upper_bound que fornecem o intervalo de confiança de 95%.
O campo baselineOutputValue contém
a pontuação de previsão do valor de referência, 1788.7423095703125. O recurso que
mais contribuiu para esse resultado foi feature_3.
{
"predictions": [
{
"value": 1795.1246466281819,
"lower_bound": 246.32196807861328,
"upper_bound": 8677.51904296875
}
]
"explanations": [
{
"attributions": [
{
"baselineOutputValue": 1788.7423095703125,
"instanceOutputValue": 1795.1246466281819,
"approximationError": 0.0038215703911553,
"featureAttributions": {
"feature_1": 0.123949222312359,
"feature_2": 0.802123412345569,
"feature_3": 5.456264423211472,
},
"outputIndex": [
-1
]
}
]
}
],
"deployedModelId": "345678"
}