Nesta página, mostramos como avaliar os modelos de previsão do AutoML usando métricas de avaliação de modelos. Essas métricas fornecem medições quantitativas do desempenho do modelo no conjunto de testes. A forma como você interpreta e usa essas métricas depende das necessidades do seu negócio e do problema que seu modelo é treinado para solucionar. Por exemplo, você pode ter uma tolerância menor a falsos positivos do que para falsos negativos ou vice-versa. Esses tipos de perguntas afetam as métricas que podem ser relevantes para você.
Antes de começar
Antes de avaliar um modelo, é preciso treiná-lo e aguardar a conclusão do treinamento.
Use o console ou a API para verificar o status do job de treinamento.
Console do Google Cloud
No Console do Google Cloud, na seção "Vertex AI", acesse a página Treinamento.
Se o status do job de treinamento for "Treinamento", aguarde a conclusão do job de treinamento. Se o status do job de treinamento for "Concluído", você estará pronto para iniciar a avaliação do modelo.
API
Selecione uma guia que corresponda ao seu idioma ou ambiente:
REST
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
- LOCATION: região onde seu modelo é armazenado.
- PROJECT: o ID do projeto.
- TRAINING_PIPELINE_ID: ID do pipeline de treinamento.
Método HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID
Para enviar a solicitação, escolha uma destas opções:
curl
execute o seguinte comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID"
PowerShell
execute o seguinte comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID" | Select-Object -Expand Content
Você receberá uma resposta JSON semelhante a esta:
Como receber métricas de avaliação
Você pode conseguir um conjunto agregado de métricas de avaliação para seu modelo. O conteúdo a seguir descreve como acessar essas métricas usando o Console do Google Cloud ou a API.
Console do Google Cloud
No Console do Google Cloud, na seção "Vertex AI", acesse a página Modelos.
Na lista suspensa Região, selecione a região em que seu modelo está localizado.
Na lista de modelos, selecione o modelo.
Selecione o número da versão do seu modelo.
Na guia Avaliar, você pode ver as métricas de avaliação agregadas do modelo.
API
Para visualizar as métricas agregadas de avaliação do modelo, use o
método
projects.locations.models.evaluations.get
.
Selecione uma guia que corresponda ao seu idioma ou ambiente:
REST
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
- LOCATION: região onde seu modelo é armazenado.
- PROJECT: o ID do projeto.
- MODEL_ID: o ID do recurso do modelo. O MODEL_ID aparecerá no pipeline de treinamento depois que o treinamento do modelo for concluído. Consulte a seção Antes de começar para acessar o MODEL_ID.
Método HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations
Para enviar a solicitação, escolha uma destas opções:
curl
execute o seguinte comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"
PowerShell
execute o seguinte comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content
Você receberá uma resposta JSON semelhante a esta:
Métricas de avaliação de modelo
Um arquivo de esquema determina quais métricas de avaliação a Vertex AI fornece para cada objetivo.
É possível visualizar e fazer o download de arquivos de esquema no seguinte local do
Cloud Storage:
gs://google-cloud-aiplatform/schema/modelevaluation/
As métricas de avaliação dos modelos de previsão são as seguintes:
- MAE: erro médio absoluto (MAE, na sigla em inglês) é a diferença média absoluta entre valores desejados e valores previstos. Essa métrica varia de zero a infinito. Um valor menor indica um modelo de qualidade superior.
-
MAPE: o erro absoluto médio percentual (MAPE, na sigla em inglês) é a diferença percentual absoluta média entre os rótulos e os valores previstos. Esta métrica
varia de zero a infinito. Um valor menor indica um modelo de melhor
qualidade.
O MAPE não é exibido se na coluna de destino houver algum valor zero. Nesse caso, o MAPE será indefinido. - REMQ: a raiz do erro médio quadrado é a raiz quadrada da diferença média quadrática entre os valores de destino e previstos. A REMQ é mais sensível a outliers do que o MAE. Portanto, se você estiver preocupado com erros grandes, talvez seja mais útil avaliar a REMQ. Assim como no caso do MAE, um valor menor indica um modelo de maior qualidade (0 representa um preditor perfeito).
- RMSLE: a métrica de raiz do erro médio quadrado e logarítmico é semelhante à RMSE. A diferença é que é usado o logaritmo natural de valores previstos e valores reais mais 1. A RMSLE penaliza com mais intensidade a subestimação do que a superestimação. Esta também pode ser uma boa métrica quando você não quer penalizar as diferenças de grandes valores de previsão com mais intensidade do que para pequenos valores de previsão. Essa métrica varia de zero a infinito. Um valor menor indica um modelo de qualidade superior. A métrica de avaliação RMSLE é retornada somente se todos os rótulos e valores previstos forem não negativos.
- r^2: r ao quadrado (r^2) é o quadrado do coeficiente de correlação de Pearson entre os rótulos e os valores previstos. A métrica varia de zero a um. Um valor maior indica um ajuste mais próximo da linha de regressão.
-
Quantile: o percentual de quantile, que indica a probabilidade de um valor observado estar abaixo do valor previsto. Por exemplo, no quantificador de 0,2, os valores observados devem ser menores do que os valores previstos 20% das vezes. A Vertex AI fornece essa métrica se você especificar
minimize-quantile-loss
como objetivo de otimização. -
Quantil observado: mostra a porcentagem de valores verdadeiros menores que o valor previsto para um determinado quantil. O Vertex AI fornece essa métrica se você especifica
minimize-quantile-loss
para o objetivo de otimização. -
Perda de pinball em escala: a perda de pinball em um quantil específico.
Um valor menor indica um modelo de qualidade superior no quantil fornecido.
A Vertex AI fornece essa métrica se você especificar
minimize-quantile-loss
como objetivo de otimização. - Atribuições de recursos de modelo: Vertex AI mostra o quanto cada recurso afeta um modelo. Os valores são fornecidos como uma porcentagem para cada atributo: quanto maior a porcentagem, mais impacto o recurso teve no treinamento do modelo. Analise essas informações para garantir que todos os atributos mais importantes estejam coerentes com os dados e o problema da empresa. Para saber mais, consulte Atribuições de recursos para previsão.