Vertex AI Experiments es una herramienta que te ayuda a realizar un seguimiento de las diferentes arquitecturas de modelos, los hiperparámetros y los entornos de entrenamiento, y te permite analizarlos, lo que te permite hacer un seguimiento de los pasos, las entradas y las salidas de una ejecución de experimento. Vertex AI Experiments también puede evaluar el rendimiento de tu modelo de manera no individualizada, con conjuntos de datos de prueba y durante la ejecución del entrenamiento. Luego, puedes usar esta información para seleccionar el mejor modelo para tu caso de uso en particular.
Las ejecuciones de experimentos no generan cargos adicionales. Solo se te cobrará por los recursos que uses durante el experimento, como se describe en Precios de Vertex AI.
| ¿Qué desea hacer? | Consulta la muestra de notebook |
|---|---|
| haz un seguimiento de las métricas y los parámetros | Compara modelos |
| haz un seguimiento del linaje del experimento | Entrenamiento del modelo |
| haz un seguimiento de las ejecuciones de canalizaciones | Compara las ejecuciones de canalizaciones |
Haz un seguimiento de los pasos, las entradas y las salidas
Vertex AI Experiments te permite hacer un seguimiento:
- los pasos de una ejecución de experimento, por ejemplo, procesamiento previo, entrenamiento
- las entradas, por ejemplo, algoritmo, parámetros, conjuntos de datos
- los resultados de esos pasos, por ejemplo, modelos, puntos de control, métricas.
Luego, puedes descubrir qué funcionó y qué no, e identificar más posibilidades para la experimentación.
Para ver ejemplos del recorrido del usuario, consulta:
Analiza el rendimiento del modelo
Vertex AI Experiments te permite realizar un seguimiento y evaluar el rendimiento del modelo en su totalidad, con conjuntos de datos de prueba y durante la ejecución del entrenamiento. Esta capacidad ayuda a comprender las características de rendimiento de los modelos: qué tan bien funciona en general un modelo en particular, dónde falla y en qué se destaca.
Para ver ejemplos del recorrido del usuario, consulta:
Cómo comparar el rendimiento del modelo
Los experimentos de Vertex AI te permiten agrupar y comparar varios modelos en ejecuciones de experimentos. Cada modelo tiene especificados sus propios parámetros, técnicas de modelado, arquitecturas y entradas. Este enfoque ayuda a seleccionar el mejor modelo.
Para ver ejemplos del recorrido del usuario, consulta:
Buscar experimentos
La consola de Google Cloud proporciona una vista centralizada de los experimentos, una vista transversal de las ejecuciones del experimento y los detalles de cada ejecución. El SDK de Vertex AI para Python proporciona APIs para consumir experimentos, ejecuciones de experimentos, parámetros de ejecución de experimentos, métricas y artefactos.
Vertex AI Experiments, junto con Vertex ML Metadata, proporciona una forma de encontrar los artefactos de los que se realiza un seguimiento en un experimento. Esto te permite ver con rapidez el linaje del artefacto y los artefactos consumidos y producidos por los pasos en una ejecución.
Alcance de la compatibilidad
Vertex AI Experiments admite el desarrollo de modelos mediante el entrenamiento personalizado de Vertex AI, los notebooks de Vertex AI Workbench, Notebooks y todos los Python ML Frameworks en la mayoría de los ML Frameworks. Para algunos frameworks de AA, como TensorFlow, Vertex AI Experiments proporciona integraciones profundas en el framework que hacen que la experiencia del usuario sea automágica. Para otros frameworks de AA, Vertex AI Experiments proporciona un SDK de Vertex AI para Python de framework neutro que puedes usar. (Consulta: Contenedores compilados previamente para TensorFlow, scikit-learn, PyTorch y XGBoost).
Modelos de datos y conceptos
Vertex AI Experiments es un contexto en Vertex ML Metadata en el que un experimento puede contener n ejecuciones de experimentos además de n ejecuciones de canalizaciones. Una ejecución de experimento consta de parámetros, métricas de resumen, métricas de series temporales y PipelineJob, Artifact y Execution Recursos de Vertex AI
Vertex AI TensorBoard, una versión administrada de TensorBoard de código abierto, se usa para el almacenamiento de métricas de series temporales. Las ejecuciones y los artefactos de una ejecución de canalización se pueden ver en la consola de Google Cloud.
Términos de Vertex AI Experiments
Experimento, ejecución de experimento y ejecución de canalización
Experimento
- Un experimento es un contexto que puede contener un conjunto de n ejecuciones de experimentos además de ejecuciones de canalizaciones en las que un usuario puede investigar, como un grupo, diferentes configuraciones como artefactos de entrada o hiperparámetros.
ejecución de experimento
- Una ejecución de experimento puede contener métricas definidas por el usuario, parámetros, ejecuciones, artefactos y recursos de Vertex (por ejemplo, PipelineJob).
ejecución de canalización
- Uno o más PipelineJobs de Vertex se pueden asociar con un experimento en el que cada PipelineJob se represente como una sola ejecución. En este contexto, los parámetros de la ejecución se infieren mediante los parámetros del PipelineJob. Las métricas se infieren a partir de los artefactos system.Metric que produce ese PipelineJob. Los artefactos de la ejecución se infieren de los artefactos que produce ese PipelineJob.
PipelineJob de Vertex AI
a un recurso ExperimentRun.
En este contexto, no se infieren los parámetros, las métricas ni los artefactos.
Consulta Asocia una canalización con un experimento.
Parámetros y métricas
Parámetros
- Los parámetros son valores de entrada con clave que configuran una ejecución, regulan su comportamiento y afectan sus resultados. Algunos ejemplos son la tasa de aprendizaje, la tasa de abandono y la cantidad de pasos de entrenamiento.
Consulta Parámetros de registro.
métricas resumidas
- Las métricas resumidas son un solo valor para cada clave de métrica en una ejecución de experimento. Por ejemplo, la precisión de la prueba de un experimento es la exactitud calculada en un conjunto de datos de prueba al final del entrenamiento, que puede capturarse como una métrica resumida de valor único.
Consulta Registra métricas resumidas.
métricas de series temporales
- Las métricas de series temporales son valores de métricas longitudinales, en los que cada valor representa un paso en la parte de la rutina de entrenamiento de una ejecución. Las métricas de series temporales se almacenan en Vertex AI TensorBoard. Vertex AI Experiments almacena una referencia al recurso de Vertex TensorBoard.
Consulta Registra métricas de series temporales.
Tipos de recursos
trabajo de canalización
- Un trabajo o una ejecución de canalización corresponden al recurso PipelineJob en la API de Vertex AI. Es una instancia de ejecución de la definición de tu canalización de AA, que se define como un conjunto de tareas de AA interconectadas por dependencias de entrada y salida.
artefacto
- Un artefacto es una entidad discreta o un dato producido y consumido por un flujo de trabajo del aprendizaje automático. Algunos ejemplos de artefactos son los conjuntos de datos, modelos, archivos de entrada y registros de entrenamiento.
Vertex AI Experiments te permite usar un esquema para definir el tipo de artefacto. Por ejemplo, los tipos de esquema compatibles incluyen system.Dataset, system.Model y system.Artifact. Para obtener más información, consulta Esquemas del sistema.