Introducción a la evaluación de modelos para la equidad

Un flujo de trabajo de aprendizaje automático puede incluir la evaluación de la equidad de tu modelo. Un modelo injusto muestra sesgos sistémicos que pueden causar daños, especialmente a grupos tradicionalmente infrarrepresentados. Un modelo injusto puede dar peores resultados en determinados subconjuntos o segmentos del conjunto de datos.

Puedes detectar sesgos durante la recogida de datos o el proceso de evaluación posterior al entrenamiento. Vertex AI proporciona las siguientes métricas de evaluación de modelos para ayudarte a evaluar si tu modelo tiene sesgos:

  • Métricas de sesgo de los datos: antes de entrenar y crear tu modelo, estas métricas detectan si tus datos sin procesar incluyen sesgos. Por ejemplo, un conjunto de datos de detección de sonrisas puede contener muchas menos personas mayores que jóvenes. Varias de estas métricas se basan en cuantificar la distancia entre la distribución de etiquetas de diferentes grupos de datos:

    • Diferencia en el tamaño de la población.

    • Diferencia en las proporciones positivas de las etiquetas verdaderas.

  • Métricas de sesgo del modelo: después de entrenar el modelo, estas métricas detectan si las predicciones del modelo incluyen sesgos. Por ejemplo, un modelo puede ser más preciso para un subconjunto de los datos que para el resto:

    • Diferencia de precisión.

    • Diferencia en las proporciones positivas de las etiquetas predichas.

    • Diferencia de recuerdo.

    • Diferencia de especificidad.

    • Diferencia en la proporción de tipos de errores.

Para saber cómo incluir los componentes de la canalización de sesgo de evaluación de modelos en la ejecución de tu canalización, consulta Componente de evaluación de modelos.

Descripción general de un conjunto de datos de ejemplo

En todos los ejemplos relacionados con las métricas de equidad, usamos un conjunto de datos hipotético de admisión a la universidad con características como las calificaciones de la escuela secundaria, el estado y la identidad de género de los solicitantes. Queremos medir si la universidad tiene prejuicios hacia los solicitantes de California o Florida.

Las etiquetas de destino, o todos los resultados posibles, son los siguientes:

  • Acepta al solicitante con beca (p).

  • Aceptar al solicitante sin beca (q)

  • Rechaza al solicitante (r).

Podemos suponer que los expertos en admisión proporcionaron estas etiquetas como la verdad fundamental. Ten en cuenta que es posible que incluso estas etiquetas de expertos estén sesgadas, ya que las han asignado personas.

Para crear un ejemplo de clasificación binaria, podemos agrupar las etiquetas para crear dos resultados posibles:

  • Resultado positivo, indicado como 1. Podemos agrupar p y q en el resultado positivo "{p,q} aceptado".

  • Resultado negativo, indicado como 0. Puede ser una colección de todos los resultados posibles, excepto el positivo. En nuestro ejemplo de solicitud de acceso a la universidad, el resultado negativo es "rechazada {r}".

Para medir el sesgo entre los solicitantes de California y Florida, separamos dos porciones del resto del conjunto de datos:

  • Primera porción del conjunto de datos para el que se está midiendo el sesgo. En el ejemplo de la solicitud de acceso a la universidad, medimos el sesgo de los solicitantes de California.

  • Segmento 2 del conjunto de datos con el que se mide el sesgo. El segmento 2 puede incluir "todo lo que no esté en el segmento 1" de forma predeterminada, pero en el ejemplo de la solicitud de acceso a la universidad, asignamos el segmento 2 a los solicitantes de Florida.

En nuestro ejemplo de conjunto de datos de solicitudes de acceso a la universidad, tenemos 200 solicitantes de California en la porción 1 y 100 de Florida en la porción 2. Después de entrenar el modelo, tenemos las siguientes matrices de confusión:

Solicitantes de California Aceptaciones (predichas) Rechazos (previstos)
Aceptaciones (datos verificados) 50 (positivos verdaderos) 10 (falsos negativos)
Rechazos (datos verificados) 20 (falsos positivos) 120 (negativos verdaderos)
Solicitantes de Florida Aceptaciones (predichas) Rechazos (previstos)
Aceptaciones (datos verificados) 20 (positivos verdaderos) 0 (falsos negativos)
Rechazos (datos verificados) 30 (falsos positivos) 50 (negativos verdaderos)

Al comparar las métricas de las dos matrices de confusión, podemos medir los sesgos respondiendo a preguntas como "¿tiene el modelo mejor recuerdo para una porción que para otra?".

También usamos la siguiente abreviatura para representar los datos de referencia etiquetados, donde i representa el número de la porción (1 o 2):

\( l^0_i = tn_i + fp_i \)
En la porción i, el número de resultados negativos etiquetados es igual a los verdaderos negativos más los falsos positivos.

\( l^1_i = fn_i + tp_i \)
En el segmento i, el número de resultados positivos etiquetados es igual a los falsos negativos más los verdaderos positivos.

Ten en cuenta lo siguiente sobre el ejemplo del conjunto de datos de solicitudes de acceso a la universidad:

  • Algunas métricas de equidad también se pueden generalizar para varios resultados, pero usamos la clasificación binaria para simplificar.

  • El ejemplo se centra en la tarea de clasificación, pero algunas métricas de equidad se generalizan a otros problemas, como la regresión.

  • En este ejemplo, suponemos que los datos de entrenamiento y los datos de prueba son los mismos.

Siguientes pasos