La miscela di non normali è normale?
Qualcuno ha un semplice esempio di una miscela di distribuzioni non normali che è normale? Per rendere la vita semplice, scegli specifico$f_1(y)$ e $f_2(y)$, entrambi con media 0, tale che $$(1/2)f_1(y) + (1/2)f_2(y) = \frac{\exp(-y^2/2)}{\sqrt{2\pi}}.$$
Tali distribuzioni fornirebbero un chiaro controesempio al "fatto" comunemente affermato che la normalità dei residui di regressione implica la normalità delle distribuzioni condizionate. Permettere$Y|X = 1 \sim f_1(y)$ e $Y|X =2 \sim f_2(y)$. Inoltre, lascia$X$prendere i valori 1 e 2 ciascuno con probabilità 1/2. Allora la distribuzione marginale dei residui veri è normale, mentre le distribuzioni condizionate di$Y$ non sono.
(Commento: è la distribuzione marginale dei residui quella più spesso utilizzata per verificare l'assunzione di normalità.)
Risposte
Posso mostrarti tutti gli esempi, non solo quelli semplici.
Soluzione
Eccoli, schematicamente:
I pannelli inferiori mostrano come funziona la densità $f$ di una distribuzione $F$è diviso in due parti verticalmente lungo una curva quasi arbitraria. La parte ciano della divisione è una frazione$\lambda$ di $f;$quello in alto a sinistra traccia il suo grafico. La parte rimanente (grigia) è quindi una frazione$1-\lambda$ di $f$il cui grafico è tracciato in alto a destra. Ecco come nascono tutte le miscele.
(Si noti che si presume poco sulla densità $f$ tranne che esiste.)
Dettagli
La distribuzione della miscela $F$ è normale, il che significa che c'è una media $\mu$ e varianza $\sigma^2$ per cui $F$ ha una funzione di densità $f(z;\mu,\sigma).$ I dettagli di $f$ non importa!
Permettere $\lambda:\mathbb{R}\to[0,1]$essere qualsiasi funzione non negativa (misurabile) . Ciò significa che i seguenti integrali coinvolgono$\lambda$ sono definiti e non negativi:
$$\pi_\lambda = \int_\mathbb{R} \lambda(z)f(z;\mu,\sigma)\,\mathrm{d}z \le \sup(\lambda)\, \int_\mathbb{R}f(z;\mu,\sigma)\,\mathrm{d}z \le (1)(1)=1;$$
$$1-\pi_\lambda = 1 - \int_\mathbb{R} \lambda(z)f(z;\mu,\sigma)\,\mathrm{d}z = \int_\mathbb{R} (1-\lambda(z))_f(z;\mu,\sigma)\,\mathrm{d}z \le 1.$$
(La prima disuguaglianza è un facile caso speciale di Disuguaglianza del titolare.)
Definisci due distribuzioni come
$$F_{\lambda}(x) = \frac{1}{\pi_\lambda}\int_{-\infty}^x \lambda(z)f(z;\mu,\sigma)\,\mathrm{d}z;$$
$$F_{1-\lambda}(x) = \frac{1}{1-\pi_\lambda}\int_{-\infty}^x (1-\lambda(z))f(z;\mu,\sigma)\,\mathrm{d}z.$$
È semplice stabilire che si tratta di funzioni di distribuzione e, per costruzione,
$$F = \pi_\lambda F_\lambda + (1-\pi_\lambda) F_{1-\lambda}\tag{*}$$
mostra la distribuzione normale originale come una miscela di questi due.
Al contrario, ogni volta che esistono funzioni differenziabili con proprietà $(*),$ poi una versione di $\lambda$può essere recuperato tramite
$$\lambda(z) = \left\{\begin{aligned}\frac{F^\prime_\lambda(z)}{f(z;\mu,\sigma)} &\quad&f(z;\mu,\sigma)\ne 0\\ 0 & &\text{otherwise}\end{aligned}\right.$$
E perché $0 \le \pi_\lambda\le 1,$ la gamma di $\lambda$ è contenuto in $[0,1],$ QED.
Infine, è possibile che le distribuzioni dei componenti siano Normali: ad esempio, quando $\lambda$è una funzione costante che sarà il caso. Questa è l'unica possibilità, però: vedihttps://stats.stackexchange.com/a/429877/919 per la prova.
Applicazione
Come richiesto nei commenti, sarebbe interessante scegliere $\lambda$ per soddisfare una serie di criteri, come
Dare ai componenti pesi uguali, il che significa $$\frac{1}{2}=\pi_\lambda = \int \lambda(z) f(z)\,\mathrm{d}z.$$
Poiché questi hanno lo scopo di modellare gli errori in un'impostazione di regressione (con $\mu=0,$ vorremmo che anche ciascuna delle componenti avesse media zero: $0 = E_{F_\lambda}[X].$ Alla luce di (1), ciò è equivalente a $$0 = \int z\lambda(z) f(z)\,\mathrm{d}z.$$
Poiché gli errori di regressione sono spesso considerati omoschedastici - di varianze uguali - vorremmo le varianze di $F_\lambda$ e $F_{1-\lambda}$essere uguale. Poiché hanno mezzi zero, quando$f$ è una densità normale, questa si ottiene quando $$\sigma^2 = 2\int z^2\lambda(z) f(z)\,\mathrm{d}z.$$
Sebbene ci siano molte soluzioni a queste equazioni, una soluzione semplice (sorprendente) si ottiene supponendo $\lambda$ e $1-\lambda$sono entrambe funzioni semplici : cioè costanti a tratti. Facendo$\lambda$ simmetrico intorno $0$possiamo assicurare che (2) vale. La più semplice di queste semplici funzioni è zero tranne che su un intervallo positivo$[a,b]$ e il suo negativo $[-b,-a],$ dove è uguale $1.$
Senza alcuna perdita di generalità, prendi $\sigma^2=1,$ così che $f = \phi$ è la densità normale standard con la proprietà $\phi^(z) = -z\phi(z).$ Usando questo fatto possiamo calcolare
$$\int \lambda(z)\phi(z)\,\mathrm{d}z = 2 \int_a^b \phi(z)\,\mathrm{d}z = 2(\Phi(b)-\Phi(a))$$
(dove $\Phi$ è la funzione di distribuzione normale standard) e
$$\begin{aligned} \int z^2 \lambda(z)\phi(z)\,\mathrm{d}z &= 2 \int_a^b z^2\phi(z)\,\mathrm{d}z \\ &= 2(\Phi(b) - \Phi(a) + a\phi(b) - b\phi(b)). \end{aligned}$$
Ciò consente la soluzione numerica di (1) e (3). Il lavoro è semplificato rilevando da (1) che, dato$0 \le a\lt \Phi^{-1}(3/4),$
$$b = b(a) = \Phi^{-1}(\Phi(a) + 1/4).$$
Questo ci lascia da risolvere (3) per $a \ge 0$. Ecco Run'implementazione per illustrare:
f <- function(a) {
b <- qnorm(1/4 + q <- pnorm(a))
pnorm(b) - q + a * dnorm(a) - b * dnorm(b) - 1/4
}
uniroot(f, c(0, qnorm(3/4)- 1e-6))$root -> a
qnorm(pnorm(a) + 1/4) -> b
Questo calcolo fornisce $ a \ circa 0,508949 $ e $ b \ circa 1,59466. $ Ecco i grafici delle due densità dei componenti $ f_ \ lambda $ e $ f_ {1- \ lambda}: $
Per illustrare l'applicazione prevista, ecco i dati bivariati con 150 risposte a $ X = 0 $ con errori distribuiti come $ F_ \ lambda $ e 150 risposte a $ X = 1 $ con errori distribuiti come $ F_ {1- \ lambda}. $ A destra c'è un grafico quantile dei residui raccolti .
Sebbene separatamente nessuno dei due gruppi di residui appaia Normale, sono entrambi centrati su zero, hanno quasi la stessa varianza e nel loro insieme sembrano perfettamente Normali.
Osservazioni
La costruzione di base si generalizza prontamente a miscele con più di due componenti.
L'esempio nell'applicazione può essere esteso, utilizzando semplici funzioni (indicatore) supportate su intervalli $ [a_i, b_i] $ con $ 0 \ le a_1 \ lt b_1 \ le a_2 \ lt b_2 \ cdots \ lt b_k, $ per creare il componente distribuzioni che corrispondono ai primi $ 2k $ momenti della distribuzione Normale creata dalla loro miscela. Con $ k, $ sufficientemente grandi , le distribuzioni dei componenti saranno difficili da discriminare anche con dataset di grandi dimensioni (a quel punto ci si potrebbe legittimamente chiedere se la loro non normalità sia davvero importante).
Un esempio molto semplice dalla distribuzione normale Skew con densità $$ 2\phi(x)\Phi(\alpha x) $$ Scegli per i due componenti $\alpha, -\alpha$ poi $$ \frac12 2 \phi(x) \Phi(-\alpha x) + \frac12 2 \phi(x) \Phi(\alpha x) $$ è la densità normale standard $\phi(x)$, utilizzando la simmetria, da allora $\Phi(-\alpha x) = 1-\Phi(\alpha x)$, ma sfortunatamente i due componenti della miscela non hanno media uguale.
Un semplice esempio a parità di mezzi si ottiene sfruttando $1=\sin^2 x +\cos^2 x$ quindi definisci semplicemente i componenti della miscela con $$ \phi(x) = \sin^2(x) \phi(x) + \cos^2(x) \phi(x) $$ ed entrambe le componenti hanno media zero.