Comparando dos estimadores

Question

Suponga que tengo dos estimadores, uno no sesgado y otro sesgado. Pero el sesgado tiene un MSE (error cuadrático medio) más pequeño que el imparcial.

¿Podemos encontrar el mejor en este caso? En caso afirmativo, ¿cuál es el mejor estimador y por qué?

Answer 1

Suponga que tiene una muestra aleatoria con $n = 5$ observaciones de una distribución normal con desconocido $\mu$ y $\sigma^2.$ En la estimación $\sigma^2,$ la varianza muestral habitual $V_1 = \frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2$ es imparcial para $\sigma^2:$ $E(V_1) = \sigma^2.$

Por el contrario, el estimador de máxima verosimilitud de $\sigma^2,$ cual es
$V_0 = \frac{1}{n}\sum_{i=1}^n(X_i-\bar X)^2,$está sesgado, pero tiene un MSE más pequeño. [Esto es cierto para cualquier$n,$ pero yo elijo $n=5$ de modo que el sesgo de $V_0$ (insignificante para grandes y moderados $n)$ será inconfundible en mi simulación.]

set.seed(2020)
m = 10^6;  n = 5;  mu = 100;  sg = 10
v1 = replicate(m, var(rnorm(n,mu,sg)))
v0 = (n-1)*v1/n 
mean(v0);  mean(v1)
[1] 79.95946  # aprx E(V0) < 100
[1] 99.94932  # aprx E(V1) = 100
mean((v0-sg^2)^2)
[1] 3606.298  # aprx MSE(V0) < MSE(V1) 
mean((v1-sg^2)^2)
[1] 5007.307  # aprx MSE(V1) = 5000

por $\sigma^2 = 100,$ tenemos $E(V_0) = 80, E(V_1) = 100.$ También, $MSE(V_0) = 3200 + 400 = 3600 < MSE(V_1) = Var(V_1) = 5000.$

Histogramas de v1y v0:

par(mfrow = c(2,1))
 hdr1="Unbiased Sample Variance"
 hist(v1, br=30, prob=T, xlim=c(0,800), col="skyblue2", main=hdr1)
  abline(v=100, col="red", lty="dotted")
 hdr2="MLE of Population Variance" 
 hist(v0, br=30, prob=T, xlim=c(0,800), col="skyblue2", main=hdr2)
  abline(v=100, col="red", lty="dotted")
par(mfrow = c(1,1))

Nota: algunos autores han abogado por el uso de la MLE, a pesar del sesgo. Sin embargo, los métodos tradicionales de inferencia para las varianzas que utilizan la distribución chi-cuadrado tendrían que modificarse para utilizar el MLE, y muchos estadísticos creen que subestimar$\sigma^2$es un fuerte argumento contra la MLE. (Otra complicación es que dividir por $n+1$ resulta en una disminución aún mayor en MSE.)