O valor esperado é conhecido

Question

Sou estudante de agronomia na Colômbia e recentemente tenho estudado o livro Generalized Linear Models with Examples in R, de Dunn e Smyth. Como você pode imaginar, não tenho um conhecimento muito bom sobre a teoria das estatísticas subjacente.

No livro, no segundo capítulo, os autores propõem a forma geral de modelos de regressão linear como este:

E então eles dizem que "onde $E[y_i] = \mu_i,$ e os pesos anteriores $w_i$ são conhecidos." $E[y_i] = \mu_i$ é o valor esperado.

Eu ficaria muito feliz se alguém pudesse me explicar por que ou como supomos que conhecemos esse valor, o valor esperado, quando estamos tentando executar uma regressão linear.

Lamento se não estou sendo claro o suficiente sobre o que estou tentando perguntar. Cumprimentos,

Rafael

Answer 1

Ambas as instâncias dos autores referindo-se a quantidades conhecidas são suposições que são necessárias para a regressão linear padrão para manter suas propriedades padrão.

1. Os pesos positivos são conhecidos. Normalmente, um livro de regressão diria que o OLS padrão assume que o erro é homoscedástico, ou seja, que a variância idiossincrática de cada observação é a mesma para todas as observações. Na notação do autor, seria:

$$Var(y_i) = \sigma^2$$, mas eu escreveria como: $$Var(y_i|x_i) = \sigma^2$$para enfatizar o fato de que o erro idiossincrático é condição dos dados. É a variação não devido às covariáveis.

Portanto, esta é a forma normal de apresentação. Então, normalmente um livro dirá que muitas vezes essa suposição é violada e que o erro idiossincrático pode ser mais complicado, como ser heteroscedástico (cada observação tem sua própria variância$Va(y_i|x_i) = \sigma_i^2$) ou autocorrelação (os erros estão correlacionados entre si, comuns em séries temporais). Existem modificações no modelo, como mínimos quadrados ponderados ou quadrados mínimos ponderados viáveis, ou modificações na forma como calculamos os erros padrão, como erros padrão robustos de heteroscedasticidade, que podem lidar com isso.

No livro que você está seguindo, eles apontam que você ainda pode usar mais ou menos quadrados mínimos comuns se houver heteroscedasticidade da forma $Var(y_i|x_i) = \sigma_i^2 = \sigma^2/w_i$ e por algum motivo você sabe quais são os pesos $w_i$ são para todos $i$. Na prática, na maioria das vezes você não saberia disso, mas o que significa em termos gerais é que você sabe quais observações são mais ruidosas ou menos ruidosas do que outras e pode quantificar isso em termos de peso$w_i$.

A maneira como isso funcionaria é executando a regressão de $\frac{y_i}{\sqrt(w_i)}$ em $\frac{x_{i,1}}{\sqrt(w_i)}, \frac{x_{i,2}}{\sqrt(w_i)}, \dots, \frac{x_{i,p}}{\sqrt(w_i)}$e uma interceptação. E se$w_i$for grande, você está efetivamente reduzindo a influência dessa observação porque ela é ruidosa. E se$w_i$é pequeno, você o está aumentando porque está fornecendo muitas informações. Novamente, essas são apenas suposições e, como mencionei, existem maneiras de enfraquecer essas suposições se o analista sentir que são muito fortes.

1. Onde $E[\mu_i]$ é conhecido.

Isso é novamente uma suposição. Uma maneira de pensar sobre regressão linear é especificando um modelo para a expectativa condicional. Novamente, é mais comum e minha preferência pessoal expressar isso como uma expectativa condicional:

$E[\mu_i|x_i] = E[y_i|x_i] = \beta_0 + \sum_{i=1}^px_i\beta_i$

A ideia é que, para recuperar a verdadeira expectativa condicional, ela precisa ser linear (nos coeficientes) do modelo. Na prática, geralmente sabemos que isso é verdade. Não, normalmente, é uma suposição. Se você for para o capítulo 2.3 do texto que você faz referência, eles mostram exemplos onde as suposições são violadas. Geralmente, é fácil verificar se as suposições são violadas quando são violadas grosseiramente, mas nunca podemos verificar se elas estão totalmente satisfeitas sem algum conhecimento externo proveniente dos dados.

Isso está além do escopo desta resposta, mas a combinação linear de variáveis ​​tem boas propriedades que ainda podem justificá-las, mesmo quando a suposição não é totalmente verdadeira. Às vezes, podemos pensar em uma regressão linear como uma expansão de Taylor ou uma aproximação local da verdadeira expectativa condicional. Incluindo coisas como termos de ordem superior$x^2, x^3$etc ou outras expansões de base (ou coisas como splines) essas aproximações podem se tornar mais precisas (em termos de capacidade de prever o resultado dentro ou fora da amostra) ou plausíveis. Esse modelo aproximado não será necessariamente imparcial ou desfrutará de algumas das propriedades de eficiência que OLS pode ter, mas ainda pode ser bastante útil. Frequentemente, é assim que as pessoas pensam em regressão linear na prática, especialmente na indústria.

A resposta para como sabemos é extremamente caso a caso. O que você sabe sobre as variáveis. Como um agrônomo, você pode às vezes ser capaz de olhar para outros estudos ou teorias sobre como as safras se comportam para justificar parcialmente as suposições que você faz em um modelo específico. A arte da estatística consiste em combinar suposições plausíveis sobre o mundo real que produz os dados com os modelos. Compreender os pressupostos de um modelo, como eles podem ou não podem ser enfraquecidos ou fortalecidos e quando são plausivelmente válidos é toda a batalha de um estatístico aplicado ou cientista de dados.