Funzione di densità di probabilità per il rumore gaussiano bianco
in molti libri di testo e lezioni sull'elaborazione del segnale troviamo che se assumiamo che il rumore sia gaussiano bianco, la stessa funzione di densità di probabilità assume la forma gaussiana (vedi qui per esempio) quando si cerca di stimare i parametri attraverso il metodo di stima della massima verosimiglianza.
Non capisco questo salto, perché solo perché il rumore è gaussiano i parametri stessi sono parametri distribuiti gaussiani? Non vedo affatto come il rumore gaussiano bianco si adatti alla funzione di densità di probabilità! Sembra che stiamo sempre solo indovinando che la funzione di densità di probabilità è normalmente distribuita. Ho sbagliato? O qualcuno può aiutarmi a capirlo o indicarmi una direzione che fa? Grazie mille.
Risposte
Come specificato nei commenti:
quello che non capisco è come un modello lineare con rumore gaussiano produca dati gaussiani
Questo perché la famiglia delle distribuzioni normali è chiusa sotto trasformazioni lineari: in poche parole, una volta ottenuta una variabile casuale distribuita normalmente, non è possibile renderla non normale mediante addizione o moltiplicazione con scalari. Permettere$X \sim \mathcal{N}(0, 1)$. Quindi per qualsiasi costante$a,b$: $$ a X + b = Y \sim \mathcal{N}(b, a^2)$$ Nell'impostazione del processo stocastico, this $Y$ sono i dati, $X$ è rumore, e $b$è definito dagli effetti fissi (ciò che a volte viene chiamato offset DC in DSP, o intercetta se questo era un modello di regressione di base). Applica l'equazione sopra e otterrai la distribuzione necessaria di$Y$.
Ci sono molte domande e risposte sul sito gemello dsp.SE che tratta del rumore bianco e del rumore gaussiano bianco, ecc. Quella che segue è una versione in qualche modo adattata di una parte di una risposta su dsp.SE che ho scritto.
Il rumore bianco (a tempo continuo) è un processo mitico che non è osservabile in tutta la sua gloria in natura (probabilmente altrettanto bene poiché è infinitamente potente e porterebbe a una soluzione immediata alla crisi energetica). Noi poveri mortali possiamo osservare il rumore bianco solo attraverso un qualche tipo di dispositivo che limita necessariamente ciò che possiamo osservare - un po 'come guardare un'eclissi solare attraverso occhiali speciali - e quindi ciò che osserviamo è una pallida imitazione della cosa reale. Ebbene, è stato osservato che se un dispositivo di osservazione è modellato come un filtro lineare con funzione di trasferimento$H(f)$, quindi (con un circuito aperto all'ingresso del filtro), l'uscita del filtro è un processo casuale ad ampio senso stazionario (chiamato anche debolmente stazionario) con densità spettrale di potenza $K|H(f)|^2$. Ciò è coerente con il presupposto che l'ingresso al filtro sia un processo di rumore bianco con funzione di autocorrelazione$K\delta(t)$ (dove $\delta(t)$denota un delta o impulso di Dirac ) e la densità spettrale di potenza$S(f) = K, -\infty < f < \infty$ se colleghiamo semplicemente $K$ per la densità spettrale della potenza in ingresso nell'equazione della densità spettrale della potenza $$S_{\text{output}}(f) = |H(f)|^2 S_{\text{input}}(f).$$Non importa che molti matematici rabbrividiranno di fronte al trattamento sprezzante in cui ignoriamo che la formula precedente presuppone implicitamente che il processo di input sia un processo a potenza finita (cosa che sicuramente non è il rumore bianco); ma il risultato finale è corretto anche se il processo per arrivare al risultato non lo è. Si noti tuttavia che tutto quanto sopra ci dice molto poco sulle distribuzioni di probabilità delle variabili casuali che costituiscono il processo di output (o il processo di input per quella materia).
Ora, il rumore gaussiano bianco (a tempo continuo) è anche un processo mitico con la proprietà extra che il processo di output di un filtro lineare con funzione di trasferimento non ha solo densità spettrale di potenza$K|H(f)|^2$ma anche che il processo di output è un processo gaussiano , il che significa, tra molte altre cose, che tutte le variabili casuali che compongono il processo sono variabili casuali gaussiane e che ogni sottoinsieme finito delle variabili ha una distribuzione gaussiana congiunta . Naturalmente, anche i processi gaussiani stazionari di senso ampio sono strettamente stazionari. Ora, la teoria standard dei processi gaussiani nei sistemi lineari dice che se l'input ta sistema lineare è un processo gaussiano, anche l'output è un processo gaussiano, e quindi diamo l'aggettivo gaussiano ai processi di rumore bianco che risultano in processi gaussiani quando essi passare attraverso filtri lineari, ma è non opportuno decodificare il processo di uscita essendo un processo gaussiano a dire che tutte le variabili casuali nel processo di rumore bianco ingresso sono variabili casuali gaussiane se non vogliamo allungare la definizione di una gaussiana casuale variabile per includere il caso in cui la varianza sia infinita. I principianti scettici dovrebbero provare a scrivere il pdf di un ipotetico$\mathcal N(0,\infty)$ variabile casuale......
Infine, rivolgendoci a processi casuali a tempo discreto che penso sia ciò di cui l'OP vuole davvero sapere, ricorda che non si può campionare la mitica bestia chiamata rumore bianco a tempo continuo - non esiste in natura - e il campionatore è necessariamente un dispositivo che osserva il processo casuale per un tempo molto breve ma diverso da zero$\varepsilon$, e quindi il campione $X[n]$ è effettivamente qualcosa di proporzionale a $\int_{nT-\varepsilon/2}^{nT+\varepsilon/2}X_t \mathrm dt$ che ha varianza $\sigma^2\varepsilon$ Se $\{X_t\}$è un processo di rumore bianco. Così,
Un processo di rumore bianco a tempo discreto è una raccolta di variabili casuali indipendenti e identiche a media zero $X[n]$.
Un processo di rumore gaussiano bianco a tempo discreto è una raccolta di variabili casuali gaussiane indipendenti a media zero distribuite in modo identico$X[n]$.
Sì, molti testi DSP e statistici (così come la definizione di Wikipedia di un processo di rumore bianco a tempo discreto ) e molte persone con una reputazione molto più alta di me su dsp.SE e stats.SE affermano che la non correlazione è sufficiente per definire un processo di rumore bianco, e nel caso del rumore gaussiano bianco lo fa perché la gaussianità introduce la proprietà gaussiana congiuntamente: un processo casuale gaussiano a tempo discreto è definito come una sequenza di variabili casuali$\{X[n]\colon n \in \mathbb Z\}$tale che qualsiasi insieme di file$M\geq 1$ variabili casuali $X[n_1], X[n_2], \ldots, X[n_M]$gode di una distribuzione gaussiana congiunta, e quindi per il rumore gaussiano bianco , l'incorrelazione implica indipendenza. Tuttavia, per rumori bianchi arbitrari , è meglio insistere sull'indipendenza e non solo sulla correlazione zero. Per l'edificazione di tutte queste persone importanti che insistono sul fatto che l'incorrelazione è adeguata, presento un processo a tempo discreto in cui ogni variabile casuale è una variabile casuale gaussiana, due variabili casuali qualsiasi sono non correlate ma non sono necessariamente indipendenti, e non tutti gli insiemi di le variabili nel processo godono di una distribuzione gaussiana congiunta. In breve, il processo definito di seguito non è un processo di rumore gaussiano bianco a tempo discreto secondo la definizione standard di nessuno. E perché tutto questo dovrebbe importare? Ebbene, nelle applicazioni tipiche applichiamo varie operazioni matematiche sui processi e if$X[0]$ e $X[1]$ sono variabili casuali gaussiane non correlate e su cui non possiamo fare affidamento $X[0]+X[1]$ essendo anche una variabile casuale gaussiana, le cose sono andate piuttosto bene, e non è un mondo in cui voglio vivere.
Esempio: Let $X$ essere un $N(0,1)$ variabile casuale e $B$ una variabile casuale discreta che assume valori $+1$ e $-1$ con uguale probabilità $\frac 12$ e indipendente da $X$. Impostato$Y = BX$ e nota quello $E[Y]=E[BX]=E[B]E[X]=0$. Inoltre,$E[XY] = E[X^2B] = E[X^2]E[B] = 0$, e così $X$ e $Y$sono variabili casuali non correlate . Ma qual è la distribuzione di$Y$? Bene,\begin{align} P(Y \leq a) &= P(Y\leq a \mid B=+1)P(B=+1) + P(Y\leq a \mid B=-1)P(B=-1)\\ &= \frac 12 P(BX\leq a \mid B=+1) + \frac 12 P(BX\leq a \mid B=-1)\\ &= \frac 12 P(X\leq a) + \frac 12 P(X\geq -a)\\ &= \frac 12 \Phi(a) + \frac 12 \Phi(a)\\ &= \Phi(a), \end{align} questo è, $Y$ è anche un $N(0,1)$variabile casuale!! Ma$X$ e $Y$non sono variabili casuali gaussiane congiuntamente. Nota che condizionato al valore di$X$ essere $\alpha$, $Y$è una variabile casuale discreta che assume valori$\pm\alpha$ con uguale probabilità: con gaussianità congiunta, $Y$sarebbe stata una variabile casuale gaussiana.
Con questo come sfondo, lascia$\{X[2n]\colon n \in \mathbb Z\}$essere un insieme di variabili casuali gaussiane a media zero indipendenti distribuite in modo identico, ovvero un processo di rumore gaussiano bianco a tempo discreto standard sugli interi pari. Permettere$\{B[n]\colon n \in \mathbb Z\}$ essere un processo indipendente in cui il $B[n]$sono variabili casuali discrete indipendenti che assumono valori$+1$ e $-1$ con uguale probabilità $\frac 12$. Impostato$X[2n+1] = X[2n]B[n]$ e nota che ogni coppia $(X[2n],X[2n+1])$è una coppia di variabili casuali gaussiane a media zero non correlate che non sono gaussiane congiuntamente. Ora diamo un'occhiata al processo casuale$\{X[m]\colon m \in \mathbb Z\}$in cui tutte le variabili casuali sono gaussiane a media zero con la stessa varianza. Qualsiasi coppia di variabili casuali non è correlata:$X[2n]$ e $X[2n+1]$per costruzione e tutte le coppie più lontane a causa dell'indipendenza. Tuttavia, non tutte le coppie di variabili casuali hanno una distribuzione gaussiana congiunta e quindi questo non è un processo di rumore gaussiano bianco nel senso usuale del termine; ymmv.