¿Qué es exactamente un modelo de aprendizaje automático interpretable?
Desde esta página del libro Interpretable-ml y este artículo sobre Analytics Vidhya , significa saber qué ha sucedido dentro de un modelo ML para llegar al resultado / predicción / conclusión.
En la regresión lineal, los datos nuevos se multiplicarán con ponderaciones y se agregará sesgo para hacer una predicción.
Y en los modelos de árboles potenciados, es posible trazar todas las decisiones como árboles que dan como resultado una predicción.
Y en las redes neuronales de alimentación hacia adelante, tendremos pesos y sesgos como la regresión lineal y simplemente multiplicamos los pesos y agregamos sesgos en cada capa, limitando los valores hasta cierto punto utilizando algún tipo de función de activación en cada capa, llegando finalmente a la predicción.
En las CNN, es posible ver qué sucede con la entrada después de haber pasado por un bloque de CNN y qué características se extraen después de la agrupación (ref: ¿qué ve una CNN? ).
Como dije anteriormente, uno puede saber fácilmente qué sucede dentro de un modelo ML para hacer una predicción o una conclusión. ¡Y no tengo claro qué los hace incomprensibles !. Entonces, ¿qué hace que un algoritmo o sus resultados sean incomprensibles o por qué se denominan modelos de caja negra? ¿O me estoy perdiendo algo?
Respuestas
En un modelo lineal simple de la forma $y = \beta_0 + \beta_1 x $ podemos ver que aumenta $x$ por una unidad aumentará la predicción en $y$ por $\beta_1$. Aquí podemos determinar completamente cuál será el efecto en la predicción de los modelos aumentando$x$. Con modelos más complejos, como las redes neuronales, es mucho más difícil saberlo debido a todos los cálculos en los que está involucrado un solo punto de datos. Por ejemplo, en una CNN como mencionaste, si cambié el valor de un píxel en una imagen estábamos pasando por la CNN, realmente no podrías decirme exactamente el efecto que esto tendría en la predicción como puedes hacer con el modelo lineal.