Maskierungsproblem bei der Ausreißererkennung
Was ist Ausreißermaskierung im Sinne des Barnett- und Lewis-Klassikers "Ausreißer in statistischen Daten"?
Gibt es einfache oder gute Beispiele für Ausreißermaskierungen in der Praxis, um dies zu erläutern?
Welche Ausreißererkennungsmethoden sind resistent gegenüber Ausreißermaskierungen? Kompensiert der Grubb-Test als Beispiel die Ausreißermaskierung durch seinen iterativen Ansatz?
Bearbeiten: Aus dem von @ Saurabh-Gupta verlinkten Artikel geht die folgende Definition des Maskierungseffekts hervor (ursprünglich von Acuna und Rodriguez (2004)).
Maskierungseffekt. Es wird gesagt, dass ein Ausreißer einen zweiten Ausreißer maskiert, wenn der zweite Ausreißer nur für sich als Ausreißer betrachtet werden kann, jedoch nicht in Gegenwart des ersten Ausreißers. Somit wird nach dem Löschen des ersten Ausreißers die zweite Instanz als Ausreißer angezeigt. Eine Maskierung tritt auf, wenn eine Gruppe von äußeren Beobachtungen den Mittelwert und die Kovarianzschätzungen in diese Richtung verzerrt und der resultierende Abstand des äußeren Punkts vom Mittelwert gering ist.
Dies zeigt, warum der Grubb-Test iterativ ist und in der Tat ein Beispiel für den Wert iterativer Methoden. Der Wert von @ Daves Antwort ist subtiler. Nach der obigen Definition handelt es sich nicht ausschließlich um einen Maskierungseffekt, sondern es zeigt, dass der Standardfehler der Standardabweichung in einigen Situationen groß sein kann und dies (für einige Beispiele) den gleichen Maskierungseffekt hervorrufen kann.
Aus demselben Artikel (und wieder ursprünglich von Acuna und Rodriguez (2004)), ein Beispiel dafür, wo Ausreißer aus anderen Ausreißern „erstellt“ werden:
Sumpfwirkung. Es wird gesagt, dass ein Ausreißer eine zweite Beobachtung überschwemmt, wenn letzterer nur unter Anwesenheit des ersten als Ausreißer betrachtet werden kann. Mit anderen Worten, nach dem Löschen des ersten Ausreißers wird die zweite Beobachtung zu einer nicht äußeren Beobachtung. Ein Überfluten tritt auf, wenn eine Gruppe von abgelegenen Instanzen den Mittelwert und die Kovarianzschätzungen zu diesem und von anderen nicht abgelegenen Instanzen hin verzerrt und der resultierende Abstand zwischen diesen Instanzen und dem Mittelwert groß ist, sodass sie wie Ausreißer aussehen
Antworten
Ich habe den Kommentar "Maskierung" gelesen, dass es schwieriger ist, Ausreißer zu erkennen, wenn Sie Ihr Maß für die Skalierung (z. B. Standardabweichung) stark von den Ausreißern beeinflussen lassen. Schauen wir uns einige R-Simulationen an.
set.seed(2020)
B <- 10
dfs <- seq(2.1, 8.1, 0.1)
my_df <- data.frame(dfs=rep(NA, B*length(dfs)), s=rep(NA, B*length(dfs)), iqr=rep(NA, B*length(dfs)))
counter <- 1
for (i in 1:B){
for (j in 1:length(dfs)){
x <- rt(50, dfs[j])
s <- sd(x)
my_iqr = IQR(x)
my_df[counter, ] <- c(dfs[j], s, my_iqr)
counter <- counter + 1
}
}
plot(my_df$dfs, my_df$s, main="Standard Deviation")
lines(dfs, sqrt(dfs/(dfs-2)), col='red')
plot(my_df$dfs, my_df$iqr, main="Interquartile Range")
lines(dfs, qt(0.75, dfs)-qt(0.25, dfs), col='red')
Die Punkte sind die empirische Standardabweichung bei einer bestimmten Anzahl von Freiheitsgraden; Niedrigere Freiheitsgrade bedeuten einen schweren Schwanz. Die rote Linie ist die Populationsstandardabweichung für so viele Freiheitsgrade.
Wenn die Freiheitsgrade niedrig sind, schauen Sie, wie viel höher die empirische Standardabweichung sein kann als die Populationsstandardabweichung, viel höher als wenn die Freiheitsgrade zunehmen.
Dies macht es schwieriger, einen Ausreißer zu fangen, da die Standardabweichung ziemlich hoch sein kann. Vergleichen Sie dies mit dem Interquartilbereich.
Der Interquartilbereich ist viel weniger unregelmäßig.
Ich gehe davon aus, dass die Maskierung so definiert ist, wie sie auf Seite 8 dieses Buches von Irad Ben-Gal zusammengefasst ist https://www.researchgate.net/publication/226362876_Outlier_Detection
Dies ist ein synthetisches Beispiel aus einem Datensatz für Lebensmitteltransaktionen mit zwei Variablen - Umsatz (in US-Dollar) und Verkaufsmenge (Einheiten). Jeder Datensatz ist eine Verkaufstransaktion. Angesichts der großen Produktvielfalt in einem großformatigen Lebensmittelgeschäft würden viele Produkte weniger als 5 Dollar pro Einheit kosten, während ein Ausreißer mehr als 100 Dollar pro Einheit kosten könnte. Die Anzahl der Einheiten kann bei den meisten Transaktionen zwischen 1 und 30 variieren. Beide Variablen sind positiv verzerrt mit einem langen Schwanz von Extremwerten >> 0, dh einige Transaktionen können mehr als 5000 Dollar betragen, während andere eine Verkaufsmenge von 100+ haben können.
Wenn in einem solchen Datensatz k-means Clustering ohne Zentrierung und Skalierung angewendet wird, können Ausreißer in der Umsatzvariablen die Umsatzmengenvariable maskieren, da die Mahalanobis-Entfernungen stärker durch den Umsatz als durch die Umsatzmenge verzerrt werden. ZB die folgenden Aufzeichnungen:
Transaktion, Umsatz, Anz
1.100,1
2,200,20
3,10,2
4,5,1
5,50,10
6,70,8
7,30,4
8,500,2