Evaluar modelos con Vertex AI

En esta página se describe cómo evaluar modelos con Vertex AI. Para obtener una descripción general, consulta Evaluación de modelos en Vertex AI.

Requisitos previos

  1. Sigue los pasos que se indican en Configurar un proyecto y un entorno de desarrollo. Además, habilita los siguientes servicios:

  2. Vertex AI puede evaluar modelos entrenados con AutoML o con entrenamiento personalizado. Para seguir la guía de la consola de Google Cloud , debes tener un modelo entrenado importado al registro de modelos de Vertex AI.

  3. Sube tu conjunto de datos de prueba a BigQuery o a Cloud Storage. El conjunto de datos de prueba debe contener la verdad fundamental, que es el resultado real esperado de una inferencia. Obtén el enlace al archivo o el ID del conjunto de datos.

  4. Tener una salida de inferencia por lotes en forma de tabla de BigQuery o URI de Cloud Storage.

  5. Asegúrate de que tu cuenta de servicio predeterminada de Compute Engine tenga los siguientes permisos de gestión de identidades y accesos:

    • Administrador de Vertex AI (aiplatform.admin)
    • Agente de servicio de Vertex AI (aiplatform.serviceAgent)
    • Administrador de objetos de Storage (storage.objectAdmin)
    • Trabajador de Dataflow (dataflow.worker)
    • Editor de datos de BigQuery (bigquery.dataEditor) (solo es necesario si proporcionas datos en forma de tablas de BigQuery)

Crear una evaluación

Consola

  1. En la Google Cloud consola, ve a la página Modelos de Vertex AI.

    Ir a la página Modelos

  2. Haz clic en el nombre del modelo que quieras evaluar.

  3. Haz clic en el número de versión del modelo.

  4. En la pestaña Evaluar, haz clic en Crear evaluación.

  5. Introduzca un nombre de evaluación.

  6. Seleccione un Objetivo, como clasificación o regresión.

  7. Introduzca el nombre de la columna de destino de la evaluación, que es la columna de los datos de entrenamiento que el modelo está entrenado para predecir.

  8. En Seleccionar fuente, elija la fuente de su conjunto de datos de prueba.

    1. En Tabla de BigQuery, introduzca la ruta de BigQuery.

    2. En Archivo en Cloud Storage, introduce la ruta de Cloud Storage.

  9. En Salida de predicción por lotes, selecciona un formato de salida.

    1. Introduzca la ruta de BigQuery o el URI de Cloud Storage.

  10. Haz clic en Iniciar evaluación.

Python

Para ver el flujo de trabajo de evaluación de modelos de la API de Vertex AI en Vertex AI Pipelines, consulta los cuadernos de ejemplo de los siguientes tipos de modelos:

SDK de Python

El SDK para evaluar modelos con Vertex AI está en fase experimental. Para registrarte en Experimental, rellena el formulario de registro.

Vertex AI envía automáticamente una notificación por correo cuando se completa una tarea de evaluación de modelos.

Ver métricas de evaluación

Consola

  1. En la Google Cloud consola, ve a la página Modelos de Vertex AI.

    Ir a la página Modelos

  2. Vaya a la versión del modelo.

  3. Consulte las métricas en la pestaña Evaluar.

Python

Para ver el flujo de trabajo de evaluación de modelos de la API de Vertex AI en Vertex AI Pipelines, consulta los cuadernos de ejemplo de los siguientes tipos de modelos:

SDK de Python

El SDK para evaluar modelos con Vertex AI está en fase experimental. Para registrarte en Experimental, rellena el formulario de registro.

Comparar métricas de evaluación

Puedes comparar los resultados de las evaluaciones de diferentes modelos, versiones de modelos y trabajos de evaluación. Para obtener más información sobre el control de versiones de modelos, consulta Control de versiones en Model Registry.

Solo puede comparar modelos del mismo tipo, como de clasificación, regresión o previsión. Al comparar diferentes modelos, todas las versiones de los modelos deben ser del mismo tipo.

Solo puedes comparar 5 evaluaciones o menos a la vez.

  1. Ve al registro de modelos de Vertex AI en la Google Cloud consola:

    Ir a la página Modelos

  2. Vaya al modelo o a la versión del modelo:

    • Para comparar diferentes modelos en la página Modelos, seleccione las casillas situadas junto a los nombres de los modelos que quiera comparar.

    • Para comparar diferentes versiones de un modelo, siga estos pasos:

      1. En la página Modelos, haz clic en el nombre del modelo para abrir la lista de versiones del modelo.

      2. Seleccione las casillas situadas junto a las versiones que quiera comparar.

    • Para comparar las tareas de evaluación de la misma versión del modelo, siga estos pasos:

      1. En la página Modelos, haz clic en el nombre del modelo para abrir la lista de versiones del modelo.

      2. Haz clic en el número de versión.

      3. Seleccione las casillas situadas junto a los trabajos de evaluación que quiera comparar.

  3. Haz clic en Comparar.

Siguientes pasos