Evaluar modelos de previsión de AutoML

En esta página se explica cómo evaluar los modelos de previsión de AutoML mediante métricas de evaluación de modelos. Estas métricas proporcionan mediciones cuantitativas del rendimiento de tu modelo en el conjunto de prueba. La forma en que interpretes y uses estas métricas dependerá de las necesidades de tu empresa y del problema para el que se haya entrenado tu modelo. Por ejemplo, puede que toleres menos los falsos positivos que los falsos negativos, o viceversa. Este tipo de preguntas influyen en las métricas en las que te centras.

Antes de empezar

Para evaluar un modelo, primero debes entrenarlo y esperar a que finalice el entrenamiento.

Usa la consola o la API para comprobar el estado de tu trabajo de entrenamiento.

Google Cloud consola

  1. En la Google Cloud consola, en la sección Vertex AI, ve a la página Entrenamiento.

    Ir a la página Formación

  2. Si el estado de tu tarea de entrenamiento es "Entrenamiento", sigue esperando a que termine. Si el estado de tu trabajo de entrenamiento es "Finished" (Finalizado), puedes empezar a evaluar el modelo.

API

Selecciona la pestaña correspondiente a tu idioma o entorno:

REST

Antes de usar los datos de la solicitud, haz las siguientes sustituciones:

  • LOCATION: región en la que se almacena el modelo.
  • PROJECT: tu ID de proyecto.
  • TRAINING_PIPELINE_ID: ID del flujo de procesamiento de entrenamiento.

Método HTTP y URL: 

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID

Para enviar tu solicitud, elige una de estas opciones:

curl

Ejecuta el comando siguiente: 

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID"

PowerShell

Ejecuta el comando siguiente: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID" | Select-Object -Expand Content

Deberías recibir una respuesta JSON similar a la siguiente:

Obtener métricas de evaluación

Puede obtener un conjunto agregado de métricas de evaluación de su modelo. En el siguiente contenido se describe cómo obtener estas métricas mediante la consola o la API de Google Cloud .

Google Cloud consola

  1. En la Google Cloud consola, en la sección Vertex AI, ve a la página Modelos.

    Ir a la página Modelos

  2. En el menú desplegable Región, selecciona la región en la que se encuentra tu modelo.

  3. Selecciona tu modelo de la lista.

  4. Selecciona el número de versión de tu modelo.

  5. En la pestaña Evaluar, puedes ver las métricas de evaluación agregadas de tu modelo.

API

Para ver las métricas de evaluación agregadas del modelo, usa el método projects.locations.models.evaluations.get.

Selecciona la pestaña correspondiente a tu idioma o entorno:

REST

Antes de usar los datos de la solicitud, haz las siguientes sustituciones:

  • LOCATION: región en la que se almacena el modelo.
  • PROJECT: tu ID de proyecto.
  • MODEL_ID: ID del recurso de modelo. El icono MODEL_ID aparece en la canalización de entrenamiento cuando se completa correctamente la preparación del modelo. Consulta la sección Antes de empezar para obtener el MODEL_ID.

Método HTTP y URL: 

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations

Para enviar tu solicitud, elige una de estas opciones:

curl

Ejecuta el comando siguiente: 

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"

PowerShell

Ejecuta el comando siguiente: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content

Deberías recibir una respuesta JSON similar a la siguiente:

Métricas de evaluación de modelos

Un archivo de esquema determina qué métricas de evaluación proporciona Vertex AI para cada objetivo.

Puedes ver y descargar archivos de esquema desde la siguiente ubicación de Cloud Storage:
gs://google-cloud-aiplatform/schema/modelevaluation/

Las métricas de evaluación de los modelos de previsión son las siguientes:

  • MAE El error absoluto medio (MAE) es la diferencia absoluta media entre los valores objetivo y los valores predichos. Esta métrica va de cero a infinito; cuanto menor es el valor, más calidad tiene el modelo.
  • MAPE: El error medio del porcentaje absoluto (MAPE) es la diferencia media de porcentaje absoluto entre las etiquetas y los valores predichos. Esta métrica va de cero a infinito; cuanto menor es el valor, más calidad tiene el modelo.
    El MAPE no se muestra si la columna de destino contiene algún valor 0. En este caso, MAPE no está definido.
  • RMSE el error cuadrático medio es la raíz cuadrada de la diferencia cuadrática media entre los valores objetivo y los valores predichos. El RMSE es más sensible a los valores atípicos que el MAE, por lo que, si te preocupan los errores grandes, el RMSE puede ser una métrica más útil para evaluar. Al igual que el MAE, cuanto menor sea el valor, mayor será la calidad del modelo (un 0 representa un predictor perfecto).
  • RMSLE la métrica del error logarítmico cuadrático medio de la raíz es similar al RMSE, pero usa el logaritmo natural de los valores predichos y reales más 1. RMSLE penaliza las inferencias insuficientes más que las excesivas. También puede ser una buena métrica cuando no quieras penalizar las diferencias de valores de inferencia grandes más que las de valores de inferencia pequeños. Esta métrica va de cero a infinito; cuanto menor es el valor, más calidad tiene el modelo. La métrica de evaluación RMSLE solo se devuelve si todos los valores de la etiqueta y los valores predichos son no negativos.
  • r^2: r cuadrado (r^2) es el valor al cuadrado del coeficiente de correlación de Pearson entre los valores predichos y las etiquetas. Esta métrica va de cero a uno. Cuanto mayor sea el valor, más se ajustará a la línea de regresión.
  • Cuantil: el cuantil porcentual, que indica la probabilidad de que un valor observado sea inferior al valor previsto. Por ejemplo, en el cuantil 0,2, se espera que los valores observados sean inferiores a los valores predichos el 20% de las veces. Vertex AI proporciona esta métrica si especifica minimize-quantile-loss como objetivo de optimización.
  • Cuantil observado: muestra el porcentaje de valores verdaderos que eran inferiores al valor previsto de un cuantil determinado. Vertex AI proporciona esta métrica si especificas minimize-quantile-loss como objetivo de optimización.
  • Pérdida de pinball escalada: la pérdida de pinball escalada en un cuantil concreto. Cuanto menor sea el valor, mayor será la calidad del modelo en el cuantil dado. Vertex AI proporciona esta métrica si especifica minimize-quantile-loss como objetivo de optimización.
  • Atribuciones de las características del modelo: Vertex AI te muestra el impacto de cada característica en un modelo. Los valores se proporcionan como un porcentaje de cada función: cuanto mayor sea el porcentaje, mayor será el impacto de la función en el entrenamiento del modelo. Revise esta información para asegurarse de que todas las funciones más importantes se ajustan a sus datos y al problema de su empresa. Para obtener más información, consulta Atribuciones de funciones para las previsiones.

Siguientes pasos