Se conoce el valor esperado

Question

Soy un estudiante de agronomía en Colombia y recientemente he estado estudiando del libro Modelos lineales generalizados con ejemplos en R de Dunn y Smyth. Como puedes imaginar, no tengo un conocimiento bastante bueno sobre la teoría subyacente de las estadísticas.

En el libro, en el segundo capítulo, los autores proponen la forma general de modelos de regresión lineal como este:

Y luego dicen que "donde $E[y_i] = \mu_i,$ y los pesos anteriores $w_i$ son conocidos." $E[y_i] = \mu_i$ es el valor esperado.

Me alegraría mucho que alguien pudiera explicarme por qué o cómo suponemos que conocemos ese valor, el valor esperado, cuando intentamos ejecutar una regresión lineal.

Lo siento si no estoy siendo lo suficientemente claro sobre lo que estoy tratando de preguntar. Atentamente,

Rafael

Answer 1

Las dos instancias de los autores que se refieren a cantidades conocidas son suposiciones que son necesarias para que la regresión lineal estándar mantenga sus propiedades estándar.

1. Se conocen los pesos positivos. Normalmente, un libro de regresión diría que MCO estándar supone que el error es homocedástico, es decir, que la varianza idiosincrásica de cada observación es la misma para todas las observaciones. En la notación de los autores, esto sería:

$$Var(y_i) = \sigma^2$$, pero lo escribiría como: $$Var(y_i|x_i) = \sigma^2$$destacar el hecho de que el error idiosincrásico está condicionado a los datos. Es la variación no debida a las covariables.

Así que esta es la forma normal en que se presenta. Entonces, típicamente un libro dirá que a menudo se viola esta suposición y que el error idiosincrásico puede ser más complicado, como ser heterocedástico (cada observación tiene su propia varianza$Va(y_i|x_i) = \sigma_i^2$) o autocorrelación (los errores se correlacionan entre sí, común en series de tiempo). Hay modificaciones en el modelo, como mínimos cuadrados ponderados o mínimos cuadrados ponderados factibles, o modificaciones en la forma en que calculamos los errores estándar, como errores estándar robustos de heterocedasticidad, que pueden hacer frente a esto.

En el libro que estás siguiendo, señalan que aún puedes usar más o menos mínimos cuadrados ordinarios si hay heterocedasticidad de la forma $Var(y_i|x_i) = \sigma_i^2 = \sigma^2/w_i$ y por alguna razón sabes cuales son los pesos $w_i$ son para todos $i$. En la práctica, la mayoría de las veces no sabría esto, pero lo que significa en términos generales es que sabe qué observaciones son más ruidosas o menos ruidosas que otras y puede cuantificar eso en términos del peso$w_i$.

La forma en que esto funcionaría es ejecutando la regresión de $\frac{y_i}{\sqrt(w_i)}$ en $\frac{x_{i,1}}{\sqrt(w_i)}, \frac{x_{i,2}}{\sqrt(w_i)}, \dots, \frac{x_{i,p}}{\sqrt(w_i)}$y una intersección. Si$w_i$es grande, efectivamente está minimizando la influencia de esa observación porque es ruidosa. Si$w_i$es pequeño, lo está subrayando porque le brinda mucha información. Una vez más, estos son solo supuestos y, como mencioné, hay formas de debilitar estos supuestos si el analista siente que son demasiado fuertes.

1. Dónde $E[\mu_i]$ es conocida.

Esto es nuevamente una suposición. Una forma de pensar en la regresión lineal es especificar un modelo para la expectativa condicional. Nuevamente, es más común y mi preferencia personal expresar esto como una expectativa condicional:

$E[\mu_i|x_i] = E[y_i|x_i] = \beta_0 + \sum_{i=1}^px_i\beta_i$

La idea es que para recuperar la verdadera expectativa condicional, debe ser lineal (en los coeficientes) del modelo. En la práctica, normalmente sabemos que esto es cierto. No, no es típico, es una suposición. Si va al capítulo 2.3 del texto al que hace referencia, se muestran ejemplos en los que se violan los supuestos. Por lo general, es fácil comprobar que se infringen las suposiciones cuando se infringen gravemente, pero nunca podemos verificar por completo que se cumplan sin algún conocimiento externo que provenga de los datos.

Esto está más allá del alcance de esta respuesta, pero la combinación lineal de variables tiene propiedades agradables que aún pueden justificarlas incluso cuando la suposición no es del todo cierta. A veces podemos pensar en una regresión lineal como una expansión de Taylor o una aproximación local a la expectativa condicional verdadera. Incluyendo cosas como términos de orden superior$x^2, x^3$etc. u otras expansiones de base (o cosas como splines), estas aproximaciones pueden volverse más precisas (en términos de capacidad para predecir el resultado dentro o fuera de la muestra) o plausibles. Tal modelo aproximado no será necesariamente insesgado o disfrutará de algunas de las propiedades de eficiencia que puede tener OLS, pero aún puede ser bastante útil. Así es como la gente piensa a menudo en la práctica de la regresión lineal, particularmente en la industria.

La respuesta a cómo sabemos es extremadamente caso por caso. ¿Qué sabes de las variables? Como agrónomo, es posible que a veces pueda consultar otros estudios o teorías sobre cómo se comportan los cultivos para justificar parcialmente las suposiciones que hace en un modelo en particular. El arte de la estadística consiste en hacer coincidir suposiciones plausibles sobre el mundo real que produce los datos con los modelos. Comprender las suposiciones de un modelo, cómo pueden o no debilitarse o fortalecerse, y cuándo es posible que se mantengan es toda la batalla de un estadístico aplicado o un científico de datos.