¿Prueba t emparejada (o algo más) para comparar el rendimiento del modelo, usando una división repetida de tren/prueba?

Question

Estoy buscando la prueba estadística correcta para comparar la prueba ROC AUC de dos modelos. He hecho lo siguiente:

1. Aleatoriamente train/ testdividir mi conjunto de datos de 1000 observaciones (700/300)
2. Impute valores faltantes usando dos metodologías diferentes (predictivo vs mediana/moda): train_a, train_b, test_a,test_b
3. Cree dos modelos idénticos en los conjuntos de datos del tren: model_a&model_b
4. Evalúe estos dos modelos en los conjuntos de datos de prueba usando ROC AUC: test_AUC_a&test_AUC_b
5. Repita los pasos 1 - 4, con una partición aleatoria diferente (un total de 100 veces)

Mis resultados se ven así (los vectores tienen una longitud de 100):

test_AUC_a <- c(0.786, 0.767, 0.730, 0.728, 0.784)
test_AUC_b <- c(0.777, 0.751, 0.733, 0.700, 0.767)

Estoy buscando la prueba estadística 'correcta' para realizar para comparar estos dos métodos de imputación de valores faltantes, por lo que realmente estoy tratando de preguntar "¿La metodología da acomo resultado un AUC de prueba más alto que la metodología b?" .

Realmente tengo dos preguntas aquí:

1. ¿Es apropiada aquí una prueba de una cola? Planeo seguir con la metodología más simple b(imputación de mediana/moda) a menos que haya alguna evidencia de que a(imputación predictiva) proporciona mejores resultados
2. ¿Es apropiada la prueba t pareada? Así que usando uno de los siguientes:

t.test(test_AUC_a, test_AUC_b, paired = T, alternative = "greater")
t.test(test_AUC_a, test_AUC_b, paired = T, alternative = "two.sided")

En mi investigación, parece que podría estar en la línea correcta con una prueba t pareada, pero me topé con Nadeau Bengio (página 16) que propone una estadística de prueba t remuestreada corregida (violación de la suposición de independencia, ya que el tren y los conjuntos de prueba se superpondrán con cada nueva muestra de los datos), pero no estoy seguro de si estoy entendiendo el documento correctamente y si es apropiado aquí.

Si soy honesto, también tengo problemas para entender todas las matemáticas y traducirlas a código R, así que no tengo idea de cómo realizar su prueba corregida (1 o 2 colas) si quisiera.

Realmente espero que alguien pueda ayudarme! La prueba de hipótesis no es realmente mi fuerte

Answer 1

Esto fue bueno para mí porque no conocía el artículo de Nadeau & Bengio, que en realidad es muy interesante. Es un trabajo difícil y no puedo garantizar que mi comprensión del mismo sea 100% correcta, así que lo que sea que escriba ahora sobre ese trabajo no tiene ninguna garantía. A pesar de lo interesante que es el documento, no creo que esté escrito de la manera más clara, ver más abajo.

(1) Lo que es importante aquí es sobre qué "población de problemas" desea hacer declaraciones generales. Si solo quiere ver qué método está funcionando mucho mejor en sus experimentos, no necesita una prueba; solo puede mirar la diferencia entre medios y pantallas visuales.

(2) Ahora, obviamente, hay alguna variación aleatoria en esto, y la prueba se trata de preguntar si las diferencias que ves pueden explicarse por una variación aleatoria, pero tienes que decidir qué tipo de variación es relevante. Deduzco que solo tienes un único conjunto de datos. Ahora, una perspectiva (P1 a partir de ahora) sería que usted dice que el conjunto de datos es fijo y que solo está interesado en hacer declaraciones sobre la variación aleatoria sobre las divisiones aleatorias. Otra perspectiva (P2) es que también tiene en cuenta que el conjunto de datos es aleatorio y desea hacer declaraciones sobre la población subyacente.$P$de conjuntos de datos. Mi primer comentario aquí es que P2 parece a primera vista inútil; solo tiene un único conjunto de datos, es decir, tiene un tamaño de muestra efectivo de uno de los conjuntos de datos de esa población. Del tamaño de la muestra uno no se puede decir mucho.

(3) Discutiré P2, el artículo de Nadeau y Bengio y el tema de generalizar a$P$en (6). Esto es sutil y difícil, y primero hago algunas declaraciones más simples.

(4) Bajo P1, las diferentes divisiones de los datos son de hecho independientes (no están bajo P2, que es de donde proviene la dificultad en Nadeau y Bengio), por lo que una prueba t pareada estándar debería estar bien aquí suponiendo que su número de repeticiones es lo suficientemente grande, y 100 deberían ser suficientes. Pero, obviamente, esto solo le permite generalizar lo que se espera que suceda con más divisiones en el mismo conjunto de datos (de hecho, creo que eso es lo mejor que obtendrá, vea a continuación).

(5) La cuestión de si elige una prueba unilateral o bilateral depende de si su pregunta inicial es asimétrica o simétrica. Si solo te interesa saber si el método A es mejor (porque ese es el nuevo, y si no es mejor, lo tirarás sin importar si es peor o si son iguales), usas un método unilateral. prueba. Si está interesado en saber si hay alguna evidencia de que en este conjunto de datos los métodos son diferentes en cualquier dirección, use una prueba de dos colas.

(6) En realidad, parece que P2 es lo que Nadeau y Bengio abordan en su artículo; en todos sus modelos, el conjunto de datos se trata como aleatorio, y parece que buscan un error de generalización que se puede estimar a partir de un solo conjunto de datos, pero su artículo no lo deja muy claro. En realidad, en su estudio de simulación, generan 1000 conjuntos de datos, sin embargo, señalan en la página 259 que los métodos en la Sec. 4 (de los cuales ha citado uno) se aplican a un único conjunto de datos. Entonces, Nadeau y Bengio tratan una configuración de la que intuitivamente digo que esta es una situación de "tamaño de muestra efectivo uno" en la que realmente no se puede decir mucho. ¿Estoy diciendo que están equivocados al hacer esto? Bueno, eso depende. Si asume que su conjunto de datos$Z=(Z_1,\ldots,Z_n)$es iid, y también se extrae aleatoriamente de una población$P$de dichos conjuntos de datos (lo que significa que no sólo los datos en$Z$son iid, pero también que diferentes conjuntos de datos completos$Z$sería iid si se dibujara más de uno), en realidad$Z$contiene bastante información, si$n$es lo suficientemente grande, sobre la variación esperada en$P$. Entonces, los cálculos en Nadeau y Bengio son legítimos (y en su simulación obviamente tratan tales casos, por lo que existen), sin embargo, creo que en la práctica tienen una relevancia bastante limitada. Esto se debe a que, por lo general, si solo tiene un único conjunto de datos, es muy difícil argumentar que se extrae iid de una población bien definida. Que$P$es ficticio; es "imaginemos que hay una población que está representada de manera iid por este conjunto de datos", lo que básicamente significa que el conjunto de datos define implícitamente a la población y, en última instancia, solo está haciendo inferencias sobre el conjunto de datos en sí. (No excluyo la posibilidad de que haya situaciones en las que se pueda hacer un caso más convincente a favor de la aplicabilidad de esa teoría, pero creo que son muy excepcionales en el mejor de los casos).

Al leer el artículo, también podemos darnos cuenta de que Nadeau y Bengio usan algunas aproximaciones con las que suenan muy cautelosos y que no se basan en pruebas matemáticas de validez. En realidad, la validez dependería de la naturaleza precisa de$P$, sobre los que los autores no hacen suposiciones (que en todo caso nunca podrían comprobarse con un tamaño de muestra efectivo de 1). Mi entendimiento es que las imprecisiones en este documento (sobre las cuales los autores son loablemente abiertos) provienen exactamente del hecho de que para decir algo preciso necesitarían suposiciones audaces sobre$P$que no son comprobables en ninguna situación real, a menos que tenga sustancialmente más de un conjunto de datos. En cuanto a que los métodos que proponen funcionan bien en sus simulaciones, esto se debe al hecho de que se han elegido configuraciones de simulación que funcionan razonablemente bien, además del hecho de que, obviamente, en sus simulaciones el$Z$es de hecho iid extraído de$P$, que es la suposición clave que de hecho hacen. En la mayoría de las situaciones reales, si tiene un conjunto de datos reales$Z$e intente aplicar estos métodos, el hecho mismo de que este es el único conjunto de datos que ya tiene significa que es especial de alguna manera y no se ha extraído al azar de ninguna población bien definida de conjuntos de datos. (De lo contrario, ¿por qué sería un problema dibujar más?)

Entonces, mi impresión es que la metodología de Nadeau y Bengio no lo llevará mucho más allá de una simple prueba t pareada; y solo puede generalizar de manera confiable lo que sucedería con más divisiones en el mismo conjunto de datos. Si quiere más, necesita más conjuntos de datos (realmente independientes).