Avalie os modelos de previsão do AutoML

Nesta página, mostramos como avaliar os modelos de previsão do AutoML usando métricas de avaliação de modelos. Essas métricas fornecem medições quantitativas do desempenho do modelo no conjunto de testes. A forma como você interpreta e usa essas métricas depende das necessidades do seu negócio e do problema que seu modelo é treinado para solucionar. Por exemplo, você pode ter uma tolerância menor a falsos positivos do que para falsos negativos ou vice-versa. Esses tipos de perguntas afetam as métricas que podem ser relevantes para você.

Antes de começar

Antes de avaliar um modelo, é preciso treiná-lo e aguardar a conclusão do treinamento.

Use o console ou a API para verificar o status do job de treinamento.

Console do Google Cloud

  1. No Console do Google Cloud, na seção "Vertex AI", acesse a página Treinamento.

    Acesse a página de treinamento

  2. Se o status do job de treinamento for "Treinamento", aguarde a conclusão do job de treinamento. Se o status do job de treinamento for "Concluído", você estará pronto para iniciar a avaliação do modelo.

API

Selecione uma guia que corresponda ao seu idioma ou ambiente:

REST

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • LOCATION: região onde seu modelo é armazenado.
  • PROJECT: o ID do projeto.
  • TRAINING_PIPELINE_ID: ID do pipeline de treinamento.

Método HTTP e URL: 

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID

Para enviar a solicitação, escolha uma destas opções:

curl

execute o seguinte comando: 

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID"

PowerShell

execute o seguinte comando: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a esta:

Como receber métricas de avaliação

Você pode conseguir um conjunto agregado de métricas de avaliação para seu modelo. O conteúdo a seguir descreve como acessar essas métricas usando o Console do Google Cloud ou a API.

Console do Google Cloud

  1. No Console do Google Cloud, na seção "Vertex AI", acesse a página Modelos.

    Acessar a página de modelos

  2. Na lista suspensa Região, selecione a região em que seu modelo está localizado.

  3. Na lista de modelos, selecione o modelo.

  4. Selecione o número da versão do seu modelo.

  5. Na guia Avaliar, você pode ver as métricas de avaliação agregadas do modelo.

API

Para visualizar as métricas agregadas de avaliação do modelo, use o método projects.locations.models.evaluations.get.

Selecione uma guia que corresponda ao seu idioma ou ambiente:

REST

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • LOCATION: região onde seu modelo é armazenado.
  • PROJECT: o ID do projeto.
  • MODEL_ID: o ID do recurso do modelo. O MODEL_ID aparecerá no pipeline de treinamento depois que o treinamento do modelo for concluído. Consulte a seção Antes de começar para acessar o MODEL_ID.

Método HTTP e URL: 

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations

Para enviar a solicitação, escolha uma destas opções:

curl

execute o seguinte comando: 

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"

PowerShell

execute o seguinte comando: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a esta:

Métricas de avaliação de modelo

Um arquivo de esquema determina quais métricas de avaliação a Vertex AI fornece para cada objetivo.

É possível visualizar e fazer o download de arquivos de esquema no seguinte local do Cloud Storage:
gs://google-cloud-aiplatform/schema/modelevaluation/

As métricas de avaliação dos modelos de previsão são as seguintes:

  • MAE: erro médio absoluto (MAE, na sigla em inglês) é a diferença média absoluta entre valores desejados e valores previstos. Essa métrica varia de zero a infinito. Um valor menor indica um modelo de qualidade superior.
  • MAPE: o erro absoluto médio percentual (MAPE, na sigla em inglês) é a diferença percentual absoluta média entre os rótulos e os valores previstos. Esta métrica varia de zero a infinito. Um valor menor indica um modelo de melhor qualidade.
    O MAPE não é exibido se na coluna de destino houver algum valor zero. Nesse caso, o MAPE será indefinido.
  • REMQ: a raiz do erro médio quadrado é a raiz quadrada da diferença média quadrática entre os valores de destino e previstos. A REMQ é mais sensível a outliers do que o MAE. Portanto, se você estiver preocupado com erros grandes, talvez seja mais útil avaliar a REMQ. Assim como no caso do MAE, um valor menor indica um modelo de maior qualidade (0 representa um preditor perfeito).
  • RMSLE: a métrica de raiz do erro médio quadrado e logarítmico é semelhante à RMSE. A diferença é que é usado o logaritmo natural de valores previstos e valores reais mais 1. A RMSLE penaliza com mais intensidade a subestimação do que a superestimação. Esta também pode ser uma boa métrica quando você não quer penalizar as diferenças de grandes valores de previsão com mais intensidade do que para pequenos valores de previsão. Essa métrica varia de zero a infinito. Um valor menor indica um modelo de qualidade superior. A métrica de avaliação RMSLE é retornada somente se todos os rótulos e valores previstos forem não negativos.
  • r^2: r ao quadrado (r^2) é o quadrado do coeficiente de correlação de Pearson entre os rótulos e os valores previstos. A métrica varia de zero a um. Um valor maior indica um ajuste mais próximo da linha de regressão.
  • Quantile: o percentual de quantile, que indica a probabilidade de um valor observado estar abaixo do valor previsto. Por exemplo, no quantificador de 0,2, os valores observados devem ser menores do que os valores previstos 20% das vezes. A Vertex AI fornece essa métrica se você especificar minimize-quantile-loss como objetivo de otimização.
  • Quantil observado: mostra a porcentagem de valores verdadeiros menores que o valor previsto para um determinado quantil. O Vertex AI fornece essa métrica se você especifica minimize-quantile-loss para o objetivo de otimização.
  • Perda de pinball em escala: a perda de pinball em um quantil específico. Um valor menor indica um modelo de qualidade superior no quantil fornecido. A Vertex AI fornece essa métrica se você especificar minimize-quantile-loss como objetivo de otimização.
  • Atribuições de recursos de modelo: a Vertex AI mostra o quanto cada recurso afeta um modelo. Os valores são fornecidos como uma porcentagem para cada atributo: quanto maior a porcentagem, mais impacto o recurso teve no treinamento do modelo. Analise essas informações para garantir que todos os atributos mais importantes estejam coerentes com os dados e o problema da empresa. Para saber mais, consulte Atribuições de recursos para previsão.

A seguir