Il valore atteso è noto

Question

Sono uno studente di agronomia in Colombia e recentemente ho studiato dal libro Modelli lineari generalizzati con esempi in R di Dunn e Smyth. Come puoi immaginare, non ho una conoscenza abbastanza buona della teoria sottostante delle statistiche.

Nel libro, nel secondo capitolo, gli autori propongono la forma generale dei modelli di regressione lineare come questo:

E poi dicono che "dove $E[y_i] = \mu_i,$ e i pesi precedenti $w_i$ sono conosciuti." $E[y_i] = \mu_i$ è il valore atteso.

Sarei davvero felice se qualcuno potesse spiegarmi perché o come supponiamo di conoscere quel valore, il valore atteso, quando stiamo cercando di eseguire una regressione lineare.

Mi dispiace se non sono stato abbastanza chiaro su quello che sto cercando di chiedere. I migliori saluti,

Rafael

Answer 1

Entrambi gli esempi degli autori che fanno riferimento a quantità note sono ipotesi necessarie affinché la regressione lineare standard mantenga le sue proprietà standard.

1. I pesi positivi sono noti. Tipicamente un libro di regressione direbbe che l'OLS standard presume che l'errore sia omoschedastico, cioè che la varianza idiosincratica di ciascuna osservazione è la stessa per tutte le osservazioni. Nella notazione degli autori questo sarebbe:

$$Var(y_i) = \sigma^2$$, ma lo scriverei come: $$Var(y_i|x_i) = \sigma^2$$per sottolineare il fatto che l'errore idiosincratico è la condizione sui dati. È la variazione no dovuta alle covariate.

Quindi questo è il modo normale in cui viene presentato. Quindi tipicamente un libro dirà che spesso questa ipotesi viene violata e che l'errore idiosincratico può essere più complicato, come essere eteroschedastico (ogni osservazione ha la sua varianza$Va(y_i|x_i) = \sigma_i^2$) o autocorrelazione (gli errori sono correlati tra loro, comuni nelle serie storiche). Ci sono modifiche al modello come minimi quadrati ponderati o minimi quadrati ponderati ammissibili o modifiche al modo in cui calcoliamo gli errori standard come errori standard robusti di eteroschedasticità che possono far fronte a questo.

Nel libro che stai seguendo, fanno notare che puoi ancora più o meno usare i minimi quadrati ordinari se c'è eteroschedasticità della forma $Var(y_i|x_i) = \sigma_i^2 = \sigma^2/w_i$ e per qualche motivo sai cosa sono i pesi $w_i$ sono per tutti $i$. In pratica la maggior parte delle volte non lo sapresti, ma ciò che significa in termini generici è che sai quali osservazioni sono più rumorose o meno rumorose di altre e puoi quantificarle in termini di peso$w_i$.

Il modo in cui funzionerebbe è eseguendo la regressione di $\frac{y_i}{\sqrt(w_i)}$ sopra $\frac{x_{i,1}}{\sqrt(w_i)}, \frac{x_{i,2}}{\sqrt(w_i)}, \dots, \frac{x_{i,p}}{\sqrt(w_i)}$e un'intercetta. Se$w_i$è grande, stai effettivamente sottovalutando l'influenza di tale osservazione perché è rumorosa. Se$w_i$è piccolo lo stai aumentando perché ti fornisce molte informazioni. Ancora una volta, queste sono solo supposizioni e come ho detto ci sono modi per indebolire queste ipotesi se l'analista ritiene che siano troppo forti.

1. Dove $E[\mu_i]$ è conosciuto.

Anche questa è un'ipotesi. Un modo per pensare alla regressione lineare consiste nello specificare un modello per l'aspettativa condizionata. Ancora una volta, è più comune e la mia preferenza personale esprimere questo come un'aspettativa condizionale:

$E[\mu_i|x_i] = E[y_i|x_i] = \beta_0 + \sum_{i=1}^px_i\beta_i$

L'idea è che per recuperare la vera aspettativa condizionale, deve essere lineare (nei coefficienti) del modello. In pratica, di solito sappiamo che questo è vero. No, non tipicamente, è un'ipotesi. Se vai al capitolo 2.3 del testo a cui fai riferimento, mostrano esempi in cui le ipotesi vengono violate. Di solito è facile verificare che le ipotesi vengano violate quando vengono violate in modo grossolano, ma non possiamo mai verificare completamente che siano soddisfatte senza una conoscenza esterna che esula dai dati.

Questo va oltre lo scopo di questa risposta, ma la combinazione lineare di variabili ha proprietà interessanti che possono ancora giustificarle anche quando l'ipotesi non è del tutto vera. A volte possiamo pensare a una regressione lineare come un'espansione su misura o un'approssimazione locale alla vera aspettativa condizionale. Includendo cose come termini di ordine superiore$x^2, x^3$ecc. o altre espansioni di base (o cose come le spline), queste approssimazioni possono diventare più accurate (in termini di capacità di prevedere il risultato dentro o fuori dal campione) o plausibili. Un tale modello approssimativo non sarà necessariamente imparziale o godrà di alcune delle proprietà di efficienza che OLS può avere, ma può comunque essere abbastanza utile. Questo è spesso il modo in cui le persone pensano alla regressione lineare nella pratica comunque, in particolare nell'industria.

La risposta a come sappiamo è estremamente caso per caso. Cosa sai delle variabili. In qualità di agronomo, a volte potresti essere in grado di guardare ad altri studi o teorie su come si comportano le colture per giustificare parzialmente le ipotesi che fai in un particolare modello. L'arte della statistica consiste nel far corrispondere ipotesi plausibili sul mondo reale che produce i dati con i modelli. Comprendere le ipotesi di un modello, come possono o non possono essere indebolite o rafforzate e quando sono plausibilmente valide è l'intera battaglia di uno statistico applicato o di uno scienziato dei dati.