En esta página, se proporciona una descripción general de Vertex AI Model Monitoring para AutoML tabular y los modelos tabulares con entrenamiento personalizado. Para habilitar de Vertex AI Model Monitoring, consulta Usa Model Monitoring.
Descripción general
Un modelo implementado en producción tiene un mejor rendimiento en los datos de entrada de predicción que son similares a los datos de entrenamiento. Cuando los datos de entrada difieren de los datos que se usan para entrenar el modelo, el rendimiento del modelo puede disminuir, incluso si el modelo en sí no cambió.
A fin de ayudarte a mantener el rendimiento de un modelo, Model Monitoring supervisa los datos de entrada de predicción del modelo para detectar el sesgo y el desvío de atributos:
El sesgo entre el entrenamiento y la entrega se produce cuando la distribución de datos de atributos en la producción difiere de la distribución de datos de atributos que se usó para entrenar el modelo. Si los datos de entrenamiento originales están disponibles, puedes habilitar la detección de sesgos a fin de supervisar tus modelos para el sesgo de entrenamiento y entrega.
El desvío de predicción ocurre cuando la distribución de datos de atributos en la producción cambia de manera significativa con el tiempo. Si los datos de entrenamiento originales no están disponibles, puedes habilitar la detección de desvío para supervisar las entradas de datos en busca de cambios con el tiempo.
Puedes habilitar la detección de sesgo y de desvío.
Model Monitoring admite la detección de desvío y sesgo de atributos categóricos y numéricos.
Los atributos categóricos son datos limitados por la cantidad de valores posibles, comúnmente agrupados por propiedades cualitativas. Por ejemplo, las categorías como tipo de producto, país o tipo de cliente.
Los atributos numéricos son datos que pueden corresponder a cualquier valor numérico. Por ejemplo, peso y altura.
Una vez que el sesgo o desvío del atributo de un modelo excede el umbral de alertas que estableciste, Model Monitoring te envía una alerta por correo electrónico. También puedes ver las distribuciones para cada atributo con el paso del tiempo para evaluar si necesitas volver a entrenar el modelo.
Calcule la desviación entre el entrenamiento y la entrega, y el desvío de predicción
Para detectar el sesgo entre el entrenamiento y la entrega y el desvío de predicción, Model Monitoring usa TensorFlow Data Validation (TFDV) para calcular las distribuciones y las puntuaciones de distancia según el siguiente proceso:
Calcula la distribución estadística del modelo de referencia:
Para la detección de sesgo, el modelo de referencia es la distribución estadística de los valores del atributo en los datos de entrenamiento.
Para la detección de desvío, el modelo de referencia es la distribución estadística de los valores del atributo que se vieron en producción en el pasado reciente.
Las distribuciones de atributos categóricos y numéricos se calculan de la siguiente manera:
Para los atributos categóricos, la distribución calculada es el número o porcentaje de instancias de cada valor posible del atributo.
Para los atributos numéricos, Model Monitoring divide el rango de valores posibles del atributo en intervalos iguales y calcula la cantidad o el porcentaje de valores del atributo que se encuentran en cada intervalo.
El modelo de referencia se calcula cuando creas un trabajo de Model Monitoring y solo se vuelve a calcular si actualizas el conjunto de datos de entrenamiento para el trabajo.
Calcula la distribución estadística de los valores más recientes del atributo vistos en producción.
Calcula la puntuación de distancia para comparar la distribución de los valores más recientes del atributo en producción con la distribución del modelo de referencia:
Para los atributos categóricos, la puntuación de distancia se calcula mediante la distancia L infinito.
Para los atributos numéricos, la puntuación de distancia se calcula mediante la divergencia de Jensen-Shannon.
Cuando la puntuación de distancia entre dos distribuciones estadísticas supera el umbral que especificaste, Model Monitoring identifica la anomalía como sesgo o desvío.
En el siguiente ejemplo, se muestra el sesgo o desvío entre el modelo de referencia y las distribuciones más recientes de un atributo categórico:
Distribución de modelo de referencia
Distribución más reciente
En el siguiente ejemplo, se muestra un sesgo o un desvío entre el modelo de referencia y las distribuciones más recientes de un atributo numérico:
Distribución de modelo de referencia
Distribución más reciente
Consideraciones para usar Model Monitoring
Para fines de rentabilidad, puedes configurar una tasa de muestreo de solicitudes de predicción a fin de supervisar un subconjunto de las entradas de producción en un modelo.
Puedes establecer una frecuencia con la que se supervisarán las entradas registradas recientemente de un modelo implementado para detectar sesgos o desvíos. La frecuencia de supervisión determina el período, o el tamaño del período de supervisión, de los datos registrados que se analizan en cada ejecución de supervisión.
Puedes especificar umbrales de alertas para cada función que desees supervisar. Se registra una alerta cuando la distancia estadística entre la distribución de los atributos de entrada y el modelo de referencia correspondiente supera el umbral especificado. De forma predeterminada, se supervisa cada atributo categórico y numérico, con valores de umbral de 0.3.
Un extremo de predicción en línea puede alojar varios modelos. Cuando habilitas la detección de sesgo o desvío en un extremo, se comparten los siguientes parámetros de configuración en todos los modelos alojados en ese extremo:
- Tipo de detección
- Frecuencia de supervisión
- Fracción de las solicitudes de entrada supervisadas
En los otros parámetros de configuración, puedes establecer valores diferentes para cada modelo.
¿Qué sigue?
- Obtén más información sobre cómo funcionan los esquemas con tu trabajo de supervisión tabular.
- Habilita la detección de sesgo y desvío en tus modelos.
- Prueba el notebook de ejemplo en Colab o visualízalo en GitHub.
- Consulta la Referencia de anomalías de validación de datos de TensorFlow