Evalúa modelos con Vertex AI

En esta página, se describe cómo evaluar modelos mediante Vertex AI. Para obtener una descripción general, consulta Evaluación de modelos en Vertex AI.

Requisitos previos

  1. Sigue los pasos que se indican en Configura un proyecto y un entorno de desarrollo. Además, habilita los siguientes servicios:

  2. Vertex AI puede evaluar los modelos que se entrenan mediante AutoML o el entrenamiento personalizado. Para la guía de la consola de Google Cloud, debes tener un modelo entrenado importado a Vertex AI Model Registry.

  3. Sube el conjunto de datos de prueba a BigQuery o Cloud Storage. El conjunto de datos de prueba debe contener la verdad fundamental, que es el resultado real esperado para una predicción. Obtén el vínculo al archivo o al ID del conjunto de datos.

  4. Obtén un resultado de predicción por lotes en forma de tabla de BigQuery o URI de Cloud Storage.

  5. Asegúrate de que tu cuenta de servicio predeterminada de Compute Engine tenga los siguientes permisos de IAM:

    • Administrador de Vertex AI (aiplatform.admin)
    • Agente de servicio de Vertex AI (aiplatform.serviceAgent)
    • Administrador de objetos de almacenamiento (storage.objectAdmin)
    • Trabajador de Dataflow (dataflow.worker)
    • Editor de datos de BigQuery (bigquery.dataEditor) (solo es necesario si proporcionas datos en forma de tablas de BigQuery)

Crea una evaluación

Consola

  1. En la consola de Google Cloud, ve a la página Modelos de Vertex AI.

    Ir a la página Modelos

  2. Haz clic en el nombre del modelo que deseas evaluar.

  3. Haz clic en el número de versión del modelo.

  4. En la pestaña Evaluar, haz clic en Crear evaluación.

  5. Ingresa un Nombre de evaluación.

  6. Selecciona un Objetivo, como clasificación o regresión.

  7. Ingresa el nombre de la columna de destino de la evaluación, que es la columna de los datos de entrenamiento que el modelo está entrenado para predecir.

  8. En Seleccionar fuente, selecciona la fuente para tu conjunto de datos de prueba.

    1. En Tabla de BigQuery, ingresa la ruta de BigQuery.

    2. En Archivo en Cloud Storage, ingresa la ruta de Cloud Storage.

  9. En Resultado de la predicción Batch, selecciona un formato de salida.

    1. Ingresa la ruta de acceso de BigQuery o el URI de Cloud Storage.

  10. Haz clic en Iniciar evaluación.

Python

Para ver el flujo de trabajo de evaluación del modelo de la API de Vertex AI en Vertex AI Pipelines, consulta los notebooks de ejemplo para los siguientes tipos de modelos:

Python SDK

El SDK para evaluar modelos con Vertex AI está en estado experimental. Para registrarte en el experimento, completa el formulario de integración.

Vertex AI envía de forma automática una notificación por correo electrónico cuando se completa un trabajo de evaluación del modelo.

Visualiza las métricas de evaluación

Consola

  1. En la consola de Google Cloud, ve a la página Modelos de Vertex AI.

    Ir a la página Modelos

  2. Navega a la versión del modelo.

  3. Consulta las métricas en la pestaña Evaluar.

Python

Para ver el flujo de trabajo de evaluación del modelo de la API de Vertex AI en Vertex AI Pipelines, consulta los notebooks de ejemplo para los siguientes tipos de modelos:

Python SDK

El SDK para evaluar modelos con Vertex AI está en estado experimental. Para registrarte en el experimento, completa el formulario de integración.

Compara las métricas de evaluación

Puedes comparar los resultados de la evaluación en diferentes modelos, versiones de modelos y trabajos de evaluación. Para obtener más información sobre el control de versiones de modelos, consulta Control de versiones en Model Registry.

Solo puedes comparar modelos del mismo tipo, como clasificación, regresión o previsión. Cuando se comparan modelos diferentes, todas las versiones del modelo deben ser del mismo tipo.

Solo puedes comparar 5 evaluaciones o menos a la vez.

  1. Ve a Vertex AI Model Registry en la consola de Google Cloud:

    Ir a la página Modelos

  2. Navega a tu modelo o versión del modelo:

    • Para comparar varios modelos en la página Modelos, selecciona las casillas de verificación junto a los nombres de los modelos que deseas comparar.

    • Sigue estos pasos para comparar versiones de modelos:

      1. Haz clic en el nombre del modelo en la página Modelos para abrir su lista de versiones.

      2. Selecciona las casillas de verificación junto a las versiones que deseas comparar.

    • Sigue estos pasos para comparar trabajos de evaluación de una misma versión del modelo:

      1. Haz clic en el nombre del modelo en la página Modelos para abrir su lista de versiones.

      2. Haz clic en el número de versión.

      3. Selecciona las casillas de verificación junto a los trabajos de evaluación que deseas comparar.

  3. Haz clic en Comparar.

¿Qué sigue?