Normal olmayanların karışımı normal mi?
Normal olmayan normal olmayan dağılımların bir karışımı için basit bir örnek olan var mı? Hayatı basitleştirmek için özel olanı seçin$f_1(y)$ ve $f_2(y)$, her ikisi de ortalama 0 ile, öyle ki $$(1/2)f_1(y) + (1/2)f_2(y) = \frac{\exp(-y^2/2)}{\sqrt{2\pi}}.$$
Bu tür dağılımlar, regresyon kalıntılarının normalliğinin, koşullu dağılımların normalliğini ima ettiği şeklindeki yaygın olarak ifade edilen "gerçeğe" net bir karşı örnek sağlayacaktır. İzin Vermek$Y|X = 1 \sim f_1(y)$ ve $Y|X =2 \sim f_2(y)$. Ayrıca, izin ver$X$1/2 olasılıkla 1 ve 2 değerlerini alın. O zaman gerçek artıkların marjinal dağılımı normaldir, koşullu dağılımları ise$Y$ değiller.
(Yorum: Normallik varsayımını kontrol etmek için en sık kullanılan kalıntıların marjinal dağılımıdır.)
Yanıtlar
Size tüm örnekleri gösterebilirim , sadece basit olanları değil.
Çözüm
İşte şematik olarak:
Alt paneller, yoğunluk işlevinin $f$ bir dağıtımın $F$neredeyse keyfi bir eğri boyunca dikey olarak iki parçaya bölünmüştür. Bölmenin camgöbeği kısmı bir kesirdir$\lambda$ nın-nin $f;$üst sol, grafiğini çizer. Kalan kısım (gri) bu nedenle bir kesirdir$1-\lambda$ nın-nin $f$Sağ üstte grafiği çizilen. Bütün karışımlar böyle ortaya çıkar.
(Yoğunluk hakkında çok az varsayıldığına dikkat edin $f$ var olması dışında.)
Detaylar
Karışım dağılımı $F$ Normaldir, yani bir ortalama $\mu$ ve varyans $\sigma^2$ hangisi için $F$ yoğunluk işlevine sahiptir $f(z;\mu,\sigma).$ Detayları $f$ önemli değil!
İzin Vermek $\lambda:\mathbb{R}\to[0,1]$olduğu bir (ölçülebilir), negatif olmayan bir fonksiyonu . Bu, aşağıdaki integralleri içeren anlamına gelir$\lambda$ tanımlanmıştır ve negatif değildir:
$$\pi_\lambda = \int_\mathbb{R} \lambda(z)f(z;\mu,\sigma)\,\mathrm{d}z \le \sup(\lambda)\, \int_\mathbb{R}f(z;\mu,\sigma)\,\mathrm{d}z \le (1)(1)=1;$$
$$1-\pi_\lambda = 1 - \int_\mathbb{R} \lambda(z)f(z;\mu,\sigma)\,\mathrm{d}z = \int_\mathbb{R} (1-\lambda(z))_f(z;\mu,\sigma)\,\mathrm{d}z \le 1.$$
(İlk eşitsizlik, Tutucu Eşitsizliğinin kolay ve özel bir durumudur.)
İki dağılımı şu şekilde tanımlayın:
$$F_{\lambda}(x) = \frac{1}{\pi_\lambda}\int_{-\infty}^x \lambda(z)f(z;\mu,\sigma)\,\mathrm{d}z;$$
$$F_{1-\lambda}(x) = \frac{1}{1-\pi_\lambda}\int_{-\infty}^x (1-\lambda(z))f(z;\mu,\sigma)\,\mathrm{d}z.$$
Bu edildiğinin tespiti basittir olan inşaat tarafından, dağıtım fonksiyonları ve,
$$F = \pi_\lambda F_\lambda + (1-\pi_\lambda) F_{1-\lambda}\tag{*}$$
bu ikisinin bir karışımı olarak orijinal normal dağılımı sergiler.
Tersine, ne zaman özellikli farklılaştırılabilir işlevler varsa $(*),$ sonra bir versiyonu $\lambda$üzerinden kurtarılabilir
$$\lambda(z) = \left\{\begin{aligned}\frac{F^\prime_\lambda(z)}{f(z;\mu,\sigma)} &\quad&f(z;\mu,\sigma)\ne 0\\ 0 & &\text{otherwise}\end{aligned}\right.$$
ve çünkü $0 \le \pi_\lambda\le 1,$ aralığı $\lambda$ içinde bulunur $[0,1],$ QED.
Son olarak, bileşen dağılımlarının Normal olması mümkündür: örneğin, $\lambda$durumda olacak sabit bir fonksiyondur. Yine de tek olasılık bu: bakınhttps://stats.stackexchange.com/a/429877/919 kanıt için.
Uygulama
Yorumlarda talep edildiği gibi, seçmek ilgi çekici olacaktır $\lambda$ gibi bir dizi kriteri karşılamak için
Bileşenlere eşit ağırlık verin, yani $$\frac{1}{2}=\pi_\lambda = \int \lambda(z) f(z)\,\mathrm{d}z.$$
Bunların bir regresyon ayarındaki hataları modellemesi amaçlandığından ( $\mu=0,$ Bileşenlerin her birinin de sıfır ortalamaya sahip olmasını istiyoruz: $0 = E_{F_\lambda}[X].$ (1) 'in ışığında, bu eşdeğerdir $$0 = \int z\lambda(z) f(z)\,\mathrm{d}z.$$
Regresyon hatalarının genellikle homoskedastik olduğu varsayıldığından - eşit varyanslara sahip - varyanslarını istiyoruz $F_\lambda$ ve $F_{1-\lambda}$eşit olmak. Sıfır ortalamalarına sahip olduklarından, ne zaman$f$ Normal yoğunluktur, bu şu durumlarda elde edilir $$\sigma^2 = 2\int z^2\lambda(z) f(z)\,\mathrm{d}z.$$
Bu denklemlerin birçok çözümü olsa da, varsayımla basit (çarpıcı) bir çözüm elde edilir. $\lambda$ ve $1-\lambda$her ikisi de basit fonksiyonlardır: yani parça parça sabittir. Yaparak$\lambda$ simetrik $0$(2) 'nin geçerli olduğundan emin olabiliriz. Bu tür basit fonksiyonların en basiti, bazı pozitif aralıklar dışında sıfırdır$[a,b]$ ve negatif $[-b,-a],$ eşit olduğu yer $1.$
Herhangi bir genellik kaybı olmadan $\sigma^2=1,$ Böylece $f = \phi$ özelliği ile standart Normal yoğunluktur $\phi^(z) = -z\phi(z).$ Bu gerçeği kullanarak hesaplayabiliriz
$$\int \lambda(z)\phi(z)\,\mathrm{d}z = 2 \int_a^b \phi(z)\,\mathrm{d}z = 2(\Phi(b)-\Phi(a))$$
(nerede $\Phi$ standart Normal dağılım işlevidir) ve
$$\begin{aligned} \int z^2 \lambda(z)\phi(z)\,\mathrm{d}z &= 2 \int_a^b z^2\phi(z)\,\mathrm{d}z \\ &= 2(\Phi(b) - \Phi(a) + a\phi(b) - b\phi(b)). \end{aligned}$$
Bu, (1) ve (3) 'ün sayısal çözümüne izin verir. Çalışma, verilen (1) 'den not alınarak düzenlenmiştir.$0 \le a\lt \Phi^{-1}(3/4),$
$$b = b(a) = \Phi^{-1}(\Phi(a) + 1/4).$$
Bu bizi (3) 'ü çözmek zorunda bırakır $a \ge 0$. İşte Rgösterilecek bir uygulama:
f <- function(a) {
b <- qnorm(1/4 + q <- pnorm(a))
pnorm(b) - q + a * dnorm(a) - b * dnorm(b) - 1/4
}
uniroot(f, c(0, qnorm(3/4)- 1e-6))$root -> a
qnorm(pnorm(a) + 1/4) -> b
Bu hesaplama $ a \ yaklaşık 0.508949 $ ve $ b \ yaklaşık 1.59466 verir. $ İşte iki bileşen yoğunluğu $ f_ \ lambda $ ve $ f_ {1- \ lambda}: $
Amaçlanan uygulamayı göstermek için, $ X = 0 $ değerinde 150 yanıtı olan ve $ F_ \ lambda $ olarak dağıtılan 150 yanıtı ve $ X = 1 $ındaki hataları $ F_ {1- \ lambda} olarak dağıtılan 150 yanıtı olan iki değişkenli verileri burada bulabilirsiniz . $ Sağda, toplanan artıkların niceliksel bir grafiği var .
Ayrı ayrı hiçbir kalıntı grubu Normal görünmese de, her ikisi de sıfırda merkezlenmiştir, neredeyse aynı varyansa sahiptir ve toplu olarak mükemmel şekilde Normal görünür.
Uyarılar
Temel yapı, ikiden fazla bileşen içeren karışımlara kolayca genelleşir.
Uygulamadaki örnek , bileşen oluşturmak için $ 0 \ le a_1 \ lt b_1 \ le a_2 \ lt b_2 \ cdots \ lt b_k, $ ile $ [a_i, b_i] $ aralıklarında desteklenen basit (gösterge) işlevler kullanılarak genişletilebilir. Karışımlarının oluşturduğu Normal dağılımın ilk 2 bin $ anlarıyla eşleşen dağılımlar. Yeterince büyük $ k ile, bileşen dağılımlarını büyük veri kümeleri ile bile ayırt etmek zor olacaktır (bu noktada Normal olmadıklarının önemli olup olmadığı meşru olarak merak edilebilir).
Yoğunluk ile Skew normal dağılımından çok basit bir örnek$$ 2\phi(x)\Phi(\alpha x) $$ İki bileşen için seçin $\alpha, -\alpha$ sonra $$ \frac12 2 \phi(x) \Phi(-\alpha x) + \frac12 2 \phi(x) \Phi(\alpha x) $$ standart normal yoğunluktur $\phi(x)$simetri kullanarak, çünkü $\Phi(-\alpha x) = 1-\Phi(\alpha x)$ancak ne yazık ki iki karışım bileşeninin ortalaması eşit değildir.
Eşit araçlara sahip basit bir örnek, istismarla elde edilir $1=\sin^2 x +\cos^2 x$ bu yüzden karışım bileşenlerini basitçe tanımlayın: $$ \phi(x) = \sin^2(x) \phi(x) + \cos^2(x) \phi(x) $$ ve her iki bileşenin ortalaması sıfırdır.