Avalie modelos de previsão da Plataforma AutoML

Esta página mostra como avaliar os seus modelos de previsão do AutoML usando métricas de avaliação de modelos. Estas métricas fornecem medições quantitativas do desempenho do modelo no conjunto de testes. A forma como interpreta e usa estas métricas depende das necessidades da sua empresa e do problema para o qual o seu modelo foi preparado. Por exemplo, pode ter uma tolerância mais baixa para falsos positivos do que para falsos negativos ou vice-versa. Este tipo de perguntas afeta as métricas nas quais se foca.

Antes de começar

Antes de poder avaliar um modelo, tem de o preparar e aguardar a conclusão da preparação.

Use a consola ou a API para verificar o estado da sua tarefa de preparação.

Google Cloud consola

  1. Na Google Cloud consola, na secção Vertex AI, aceda à página Preparação.

    Aceda à página Formação

  2. Se o estado da tarefa de preparação for "Preparação", continue a aguardar que a tarefa de preparação termine. Se o estado da tarefa de preparação for "Concluído", pode começar a avaliação do modelo.

API

Selecione um separador que corresponda ao seu idioma ou ambiente:

REST

Antes de usar qualquer um dos dados do pedido, faça as seguintes substituições:

  • LOCATION: região onde o seu modelo está armazenado.
  • PROJECT: o seu ID do projeto.
  • TRAINING_PIPELINE_ID: ID do pipeline de preparação.

Método HTTP e URL: 

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID

Para enviar o seu pedido, escolha uma destas opções:

curl

Execute o seguinte comando: 

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID"

PowerShell

Execute o seguinte comando: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID" | Select-Object -Expand Content

Deve receber uma resposta JSON semelhante à seguinte:

Obtenha métricas de avaliação

Pode obter um conjunto agregado de métricas de avaliação para o seu modelo. O conteúdo seguinte descreve como obter estas métricas através da consola ou da API Google Cloud .

Google Cloud consola

  1. Na Google Cloud consola, na secção Vertex AI, aceda à página Modelos.

    Aceda à página Modelos

  2. No menu pendente Região, selecione a região onde o seu modelo está localizado.

  3. Na lista de modelos, selecione o seu modelo.

  4. Selecione o número da versão do modelo.

  5. No separador Avaliar, pode ver as métricas de avaliação agregadas do seu modelo.

API

Para ver métricas de avaliação do modelo agregadas, use o método projects.locations.models.evaluations.get.

Selecione um separador que corresponda ao seu idioma ou ambiente:

REST

Antes de usar qualquer um dos dados do pedido, faça as seguintes substituições:

  • LOCATION: região onde o seu modelo está armazenado.
  • PROJECT: o seu ID do projeto.
  • MODEL_ID: o ID do recurso do modelo. O ícone MODEL_ID aparece no pipeline de preparação depois de a preparação do modelo ser concluída com êxito. Consulte a secção Antes de começar para obter o MODEL_ID.

Método HTTP e URL: 

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations

Para enviar o seu pedido, escolha uma destas opções:

curl

Execute o seguinte comando: 

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"

PowerShell

Execute o seguinte comando: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content

Deve receber uma resposta JSON semelhante à seguinte:

Métricas de avaliação de modelos

Um ficheiro de esquema determina as métricas de avaliação que o Vertex AI fornece para cada objetivo.

Pode ver e transferir ficheiros de esquemas a partir da seguinte localização do Cloud Storage:
gs://google-cloud-aiplatform/schema/modelevaluation/

As métricas de avaliação dos modelos de previsão são:

  • MAE: o erro absoluto médio (MAE) é a diferença absoluta média entre os valores alvo e os valores previstos. Esta métrica varia de zero a infinito. Um valor mais baixo indica um modelo de qualidade superior.
  • MAPE: o erro percentual absoluto médio (MAPE) é a diferença percentual absoluta média entre as etiquetas e os valores previstos. Esta métrica varia entre zero e infinito. Um valor mais baixo indica um modelo de qualidade superior.
    O MAPE não é apresentado se a coluna de destino contiver valores 0. Neste caso, MAPE não está definido.
  • RMSE: o erro quadrático médio é a raiz quadrada da diferença média elevada ao quadrado entre os valores alvo e previstos. O RMSE é mais sensível a valores atípicos do que o MAE, por isso, se tiver preocupações com erros grandes, o RMSE pode ser uma métrica mais útil para avaliar. Semelhante ao EAM, um valor mais pequeno indica um modelo de qualidade superior (0 representa um preditor perfeito).
  • RMSLE: a métrica de erro logarítmico da raiz quadrada média é semelhante à RMSE, exceto que usa o logaritmo natural dos valores previstos e reais mais 1. O RMSLE penaliza a subinferência mais do que a sobreinferência. Também pode ser uma boa métrica quando não quer penalizar as diferenças para valores de inferência grandes mais do que para valores de inferência pequenos. Esta métrica varia de zero ao infinito. Um valor mais baixo indica um modelo de qualidade superior. A métrica de avaliação RMSLE só é devolvida se todos os valores de etiqueta e previstos forem não negativos.
  • r^2: r ao quadrado (r^2) é o quadrado do coeficiente de correlação de Pearson entre as etiquetas e os valores previstos. Esta métrica varia entre zero e um. Um valor mais elevado indica um ajuste mais próximo à linha de regressão.
  • Quantil: o quantil percentual, que indica a probabilidade de um valor observado estar abaixo do valor previsto. Por exemplo, no quantil 0,2, espera-se que os valores observados sejam inferiores aos valores previstos 20% das vezes. A Vertex AI fornece esta métrica se especificar minimize-quantile-loss para o objetivo de otimização.
  • Quantil observado: mostra a percentagem de valores verdadeiros que foram inferiores ao valor previsto para um determinado quantil. A Vertex AI fornece esta métrica se especificar minimize-quantile-loss para o objetivo de otimização.
  • Perda de pinball escalonada: a perda de pinball escalonada num quantil específico. Um valor mais baixo indica um modelo de qualidade superior no quantil determinado. A Vertex AI fornece esta métrica se especificar minimize-quantile-loss para o objetivo de otimização.
  • Atribuições de funcionalidades do modelo: o Vertex AI mostra o impacto de cada funcionalidade num modelo. Os valores são fornecidos como uma percentagem para cada funcionalidade: quanto maior for a percentagem, maior foi o impacto da funcionalidade no treino do modelo. Reveja estas informações para garantir que todas as funcionalidades mais importantes fazem sentido para os seus dados e problema empresarial. Para saber mais, consulte o artigo Atribuições de funcionalidades para previsões.

O que se segue?