Poder predictivo de un conjunto de datos

Sep 03 2020

Estoy leyendo un libro sobre aprendizaje automático para estudiantes universitarios. De hecho, estoy confundido sobre la flexibilidad de la regresión lineal como digo:

En ocasiones, la regresión lineal no podrá recuperar una buena solución para un conjunto de datos. Si bien esto puede deberse a que nuestros datos en realidad no tienen poder predictivo, también podría indicar que nuestros datos se proporcionan en un formato inadecuado para la regresión lineal.

Leí algunas preguntas aquí relacionadas con el poder predictivo y me di cuenta de que se trata del modelo producido. ¿A qué nos referimos cuando hablamos del poder predictivo de un conjunto de datos?

Pienso en ello como que no hay relación entre las características (ya que la regresión lineal tiene la intención de aprender la relación entre las entradas $X$ y la salida $Y$). Pero todavía no estoy convencido de esta respuesta.

Respuestas

4 BenjiAlbert Sep 03 2020 at 21:19

Por lo general, el poder predictivo se refiere al modelo, más que a los datos. Ocasionalmente he visto a algunas personas usarlo de la forma en que lo usa el autor de su libro (vea esto, por ejemplo ).

En el contexto de su libro, sí, el poder predictivo se refiere a si la entrada se puede asignar a la salida objetivo $X\rightarrow Y$. Podemos inferir el "poder predictivo" de un conjunto de datos al intentar modelarlo (por ejemplo, regresión lineal). Si el modelo funciona mal, entonces hay dos posibilidades, como dice el libro: o el conjunto de datos no es predictivo (es decir, no ofrece un mapeo limpio desde la entrada a la salida de destino) o los métodos que estamos usando no son adecuados para modelar el mapeo.

Algunos ejemplos de ambas situaciones:

Si generó datos aleatorios para $X$ y $Y$, el conjunto de datos resultante (probablemente) no tendría poder predictivo ya que ningún modelo podría generalizar razonablemente el mapeo $X\rightarrow Y$.
Si tiene un mapeo no lineal, la regresión lineal no se ajustaría bien. Por ejemplo, si nuestro conjunto de datos fuera tal que$y_1$ está mapeado por $||\vec{x}||<\alpha $ y todas las demás entradas se asignan a $y_2$, entonces nuestro conjunto de datos es extremadamente predictivo, pero nuestro modelo de regresión lineal no puede ajustarse a él (ya que el mapeo no es lineal). En este ejemplo de juguete, es fácil ver el poder predictivo del conjunto de datos, particularmente si la entrada está en 2D / 3D, ya que podríamos simplemente trazarlo. Sin embargo, observar manualmente estas tendencias en un espacio de gran dimensión utilizando datos reales puede resultar muy difícil, por lo que utilizamos las herramientas que está aprendiendo para ayudar a interpretar los datos. Además, cuando no hay linealidad, es difícil evaluar estadísticamente el conjunto de datos en sí. Las variables con relaciones lineales son fáciles de correlacionar (por ejemplo, el coeficiente de correlación de Pearson) pero las no linealidades pueden dificultar la correlación. Supongo que esta es la razón por la que su libro difiere de una terminología vaga, ya que probablemente tiene fines pedagógicos, en lugar de pedantes. Después de todo,transmite el mensaje sin necesidad de discutir la investigación en curso para cuantificar las correlaciones no lineales.

1 mnm Sep 08 2020 at 12:23

En lugar de preguntar sobre el poder predictivo de un conjunto de datos, creo que es intuitivo preguntar sobre el poder predictivo de un modelo. Mi razonamiento es el siguiente;

Un conjunto de datos puede ser de tipo univariado, bivariado o multivariado. El conjunto de datos puede contener solo características numéricas o características categóricas o ambas. Suponga que hay un conjunto de datos univariante con una distribución sesgada negativa. En tal caso, la media, la mediana será menor que la moda. Ahora suponga que este conjunto de datos univariados consta de un tipo de datos continuo. Saber que su distribución está sesgada negativamente ya le ha dado al analista una pista sobre su simetría o distribución. Entonces, en base a esta breve introducción, como analista, ¿me interesará conocer el poder predictivo de un conjunto de datos o del modelo o modelos que construyo usando este conjunto de datos? ¿Vale la pena discutir una pregunta?

Ha habido varios estudios en la literatura que han discutido el poder predictivo del modelo como 1,2,3 ( ver referencias ). Por el contrario, no me he encontrado con ningún estudio que haya discutido el poder predictivo de un conjunto de datos. Quizás una dirección de investigación futura.

Sin embargo, encontré un artículo publicado en R-bloggers que discutía sobre a predictive power score, un concepto algo similar al coeficiente de correlación.

Y finalmente algo sobre mapping. Creo que un término mejor podría ser "correlación", que al menos cuantifica la relación entre dos variables X e Y.

Nota

Se hizo una pregunta similar en stats.stackexchange.com . Los comentarios en él se ajustan a mi duda inicial, que no existe el poder predictivo de un conjunto de datos .