En esta página, se muestra cómo evaluar los modelos de previsión de AutoML mediante las métricas de evaluación del modelo. Estas métricas proporcionan medidas cuantitativas de cómo se desempeñó tu modelo en el conjunto de prueba. La forma de interpretar y usar estas métricas depende de las necesidades de su empresa y del problema para el que entrenó tu modelo. Por ejemplo, es posible que tengas una tolerancia más baja para los falsos positivos que para los falsos negativos, o viceversa. Estos tipos de preguntas afectan las métricas en las que te enfocarás.
Antes de comenzar
Antes de evaluar un modelo, debes entrenarlo y esperar a que se complete el entrenamiento.
Usa la consola o la API para verificar el estado de tu trabajo de entrenamiento.
Consola de Google Cloud
En la sección Vertex AI de la consola de Google Cloud, ve a la página Formación.
Si el estado del trabajo de entrenamiento es “Entrenamiento”, debes esperar a que finalice el trabajo de entrenamiento. Si el estado de tu trabajo de entrenamiento es "Finalizado", estarás listo para comenzar la evaluación del modelo.
API
Selecciona una pestaña que corresponda a tu idioma o entorno:
REST
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- LOCATION: Región en la que se almacena tu modelo.
- PROJECT: El ID del proyecto.
- TRAINING_PIPELINE_ID: ID de la canalización de entrenamiento.
Método HTTP y URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID
Para enviar tu solicitud, elige una de estas opciones:
curl
Ejecuta el siguiente comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID"
PowerShell
Ejecuta el siguiente comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID" | Select-Object -Expand Content
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
Obtén métricas de evaluación
Puedes obtener un conjunto agregado de métricas de evaluación para tu modelo. En el siguiente contenido, se describe cómo obtener estas métricas mediante la API o Google la consola.
Consola de Google Cloud
En la sección Vertex AI de la consola de Google Cloud, vaya a la página Modelos.
En el menú desplegable Región, selecciona la región en la que se encuentra tu modelo.
Selecciona el modelo de la lista de modelos.
Selecciona el número de versión de tu modelo.
En la pestaña Evaluar, puedes ver las métricas de evaluación agregadas de tu modelo.
API
Para ver las métricas totales de la evaluación del modelo, usa el método projects.locations.models.evaluations.get.
Selecciona una pestaña que corresponda a tu idioma o entorno:
REST
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- LOCATION: Región en la que se almacena tu modelo.
- PROJECT: El ID del proyecto.
- MODEL_ID: El ID del recurso del modelo. El MODEL_ID aparece en la canalización de entrenamiento una vez que el entrenamiento del modelo se completó de forma correcta. Consulta la sección Antes de comenzar para obtener el MODEL_ID.
HTTP method and URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations
Para enviar tu solicitud, elige una de estas opciones:
curl
Ejecuta el siguiente comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"
PowerShell
Ejecuta el siguiente comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
Métricas de evaluación de modelos
Un archivo de esquema determina qué métricas de evaluación proporciona Vertex AI para cada objetivo.
Puedes ver y descargar archivos de esquema desde la siguiente ubicación de Cloud Storage:
gs://google-cloud-aiplatform/schema/modelevaluation/
Las métricas de evaluación para los modelos de previsión son las siguientes:
- MAE: El error absoluto promedio (MAE) es la diferencia absoluta promedio entre los valores objetivo y los valores previstos. Esta métrica puede variar de cero a infinito, y cuanto más bajo sea el valor, mejor será la calidad del modelo.
-
MAPE: El error porcentual absoluto promedio (MAPE) es el promedio de la diferencia porcentual absoluta entre los valores previstos y las etiquetas. Esta métrica puede variar entre cero y un valor infinito; cuanto más bajo sea el valor, mejor será la calidad del modelo.
MAPE no se muestra si la columna objetivo contiene valores 0. En este caso, MAPE no está definido. - RMSE: El error de la raíz cuadrada de la media es la raíz cuadrada de la diferencia cuadrada promedio entre los valores objetivo y previsto. RMSE es más sensible a los valores atípicos que MAE, por lo que si te preocupan los grandes errores, RMSE puede ser una métrica más útil para evaluar. Al igual que MAE, cuanto más bajo el valor, mayor será la calidad del modelo (0 representa un predictor perfecto).
- RMSLE: La métrica del error logarítmico de la raíz cuadrada de la media es similar a RMSE, excepto que usa el logaritmo natural de los valores previstos y reales más 1. RMSLE penaliza con mayor peso la subpredicción que la sobrepredicción. También puede ser una buena métrica cuando no se desea penalizar con mayor peso las diferencias para los valores de predicciones grandes que para los valores de predicciones pequeños. Esta métrica puede variar de cero a infinito y, cuanto más bajo sea el valor, mejor será la calidad del modelo. La métrica de evaluación RMSLE se muestra solo si todos los valores previstos y las etiquetas no son negativos.
- r^2: r al cuadrado es el cuadrado del coeficiente de correlación de Pearson entre las etiquetas y los valores previstos. Esta métrica puede variar entre cero y uno. Un valor más alto indica un ajuste más cercano a la línea de regresión.
-
Cuantil: Es el porcentaje de cuantil, que indica la probabilidad de que un valor observado esté por debajo del valor previsto. Por ejemplo, en el cuantil 0.2, se espera que los valores observados sean más bajos que los valores previstos el 20% del tiempo. Vertex AI proporciona esta métrica si especificas
minimize-quantile-losspara el objetivo de optimización. -
Cuantil observado: Muestra el porcentaje de valores reales que eran inferiores al valor previsto de un cuantil dado. Vertex AI proporciona esta métrica si especificas
minimize-quantile-losspara el objetivo de optimización. -
Pérdida de pinball escalado: Es la pérdida de pinball escalada en un cuantil particular.
Un valor más bajo indica un modelo de mayor calidad en el cuantil determinado.
Vertex AI proporciona esta métrica si especificas
minimize-quantile-losspara el objetivo de optimización. - Atribución de atributos del modelo: Vertex AI te muestra cuánto afecta cada atributo a un modelo. Los valores se proporcionan como un porcentaje para cada atributo: cuanto más alto sea el porcentaje, más impacto tendrá el atributo en el entrenamiento del modelo. Revisa esta información para asegurarte de que todos los atributos más importantes sean relevantes para tus datos y tu problema empresarial. Si deseas obtener más información, consulta Atribuciones de atributos para la previsión.