Limitaciones de Vertex Explainable AI

A medida que consideras las explicaciones que muestra el servicio, debes tener en cuenta estas limitaciones de alto nivel. Para obtener una explicación detallada, consulta el Informe sobre AI Explanations.

Significado y alcance de las atribuciones de funciones

Ten en cuenta lo siguiente cuando analizas atribuciones de atributos proporcionadas por Vertex Explainable AI:

  • Cada atribución solo muestra en qué medida la función afectó la predicción de ese ejemplo en particular. Es posible que una sola atribución no refleje el comportamiento general del modelo. Para comprender el comportamiento aproximado del modelo en un conjunto de datos completo, agrega las atribuciones a todo el conjunto de datos.
  • Las atribuciones dependen en su totalidad del modelo y de los datos que se usan para entrenar el modelo. Solo pueden revelar los patrones que el modelo encontró en los datos y no pueden detectar ninguna relación fundamental en estos. La presencia o ausencia de una atribución sólida en una función determinada no significa que exista o no una relación entre dicha función y el objetivo. La atribución solo muestra que el modelo usa o no la característica en sus predicciones.
  • Las atribuciones por sí solas no pueden determinar si el modelo es equitativo, imparcial o de buena calidad. Evalúa con cuidado los datos de entrenamiento y las métricas de evaluación, además de las atribuciones.

Mejora las atribuciones de funciones

Cuando trabajas con modelos de entrenamiento personalizado, puedes configurar parámetros específicos para mejorar tus explicaciones. Esta sección no se aplica a los modelos de AutoML.

Los siguientes factores tienen el mayor impacto en las atribuciones de funciones:

  • Los métodos de atribución se aproximan al valor de Shapley. Puedes aumentar la precisión de la aproximación de las siguientes maneras:

    • Aumenta la cantidad de pasos integrales para los gradientes integrados o los métodos de XRAI
    • Aumenta la cantidad de rutas integrales para el método Shapley muestreado

    Como resultado, las atribuciones podrían cambiar de forma significativa.

  • Las atribuciones solo indican en qué medida la función afectó el cambio en el valor de predicción, en relación con el valor del modelo de referencia. Asegúrate de elegir un modelo de referencia significativo, pertinente a la pregunta que haces sobre el modelo. Los valores de atribución y su interpretación pueden cambiar de forma significativa a medida que cambias de modelo de referencia.

  • Para los gradientes integrados y XRAI, el uso de dos modelos de referencia puede mejorar los resultados. Por ejemplo, puedes especificar modelos de referencia que representen una imagen toda negra y una toda blanca.

Obtén más información sobre cómo mejorar las atribuciones de atributos.

Limitaciones de los datos de imágenes

Los dos métodos de atribución que admiten datos de imagen son gradientes integrados y de XRAI.

Los gradientes integrados son un método de atribución basado en píxeles que destaca áreas importantes en la imagen sin tener en cuenta el contraste, lo que lo hace ideal para imágenes no naturales como las de rayos X. Sin embargo, el resultado detallado puede hacer que sea difícil evaluar la importancia relativa de las áreas. El resultado predeterminado destaca las áreas de la imagen que tienen atribuciones positivas altas mediante contornos trazados, pero estos no se clasifican y pueden abarcar todos los objetos.

XRAI funciona mejor en imágenes naturales que tienen mayor contraste y contienen varios objetos. Debido a que este método produce atribuciones basadas en regiones, genera un mapa de calor más suave y legible al ojo humano de las regiones más destacadas de una clasificación de imagen determinada.

XRAI no funciona bien con los siguientes tipos de entrada de imagen:

  • Imágenes de bajo contraste con un solo tono, como las de rayos X
  • Imágenes muy altas o largas, como las panorámicas
  • Imágenes muy grandes, que pueden retrasar el entorno de ejecución general