Comparando dois estimadores

Question

Suponha que eu tenha dois estimadores, um não enviesado e outro enviesado. Mas o tendencioso tem menor MSE (Mean Squared Error) do que o imparcial.

Podemos descobrir o melhor neste caso? Em caso afirmativo, qual é o melhor estimador e por quê?

Answer 1

Suponha que você tenha uma amostra aleatória com $n = 5$ observações de uma distribuição normal com desconhecido $\mu$ e $\sigma^2.$ Na estimativa $\sigma^2,$ a variação usual da amostra $V_1 = \frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2$ é imparcial para $\sigma^2:$ $E(V_1) = \sigma^2.$

Em contraste, o estimador de máxima verossimilhança de $\sigma^2,$ qual é
$V_0 = \frac{1}{n}\sum_{i=1}^n(X_i-\bar X)^2,$é tendencioso, mas tem MSE menor. [Isso é verdade para qualquer$n,$ mas eu escolho $n=5$ de modo que o viés de $V_0$ (insignificante para grande e moderado $n)$ será inconfundível na minha simulação.]

set.seed(2020)
m = 10^6;  n = 5;  mu = 100;  sg = 10
v1 = replicate(m, var(rnorm(n,mu,sg)))
v0 = (n-1)*v1/n 
mean(v0);  mean(v1)
[1] 79.95946  # aprx E(V0) < 100
[1] 99.94932  # aprx E(V1) = 100
mean((v0-sg^2)^2)
[1] 3606.298  # aprx MSE(V0) < MSE(V1) 
mean((v1-sg^2)^2)
[1] 5007.307  # aprx MSE(V1) = 5000

Para $\sigma^2 = 100,$ temos $E(V_0) = 80, E(V_1) = 100.$ Além disso, $MSE(V_0) = 3200 + 400 = 3600 < MSE(V_1) = Var(V_1) = 5000.$

Histogramas de v1e v0:

par(mfrow = c(2,1))
 hdr1="Unbiased Sample Variance"
 hist(v1, br=30, prob=T, xlim=c(0,800), col="skyblue2", main=hdr1)
  abline(v=100, col="red", lty="dotted")
 hdr2="MLE of Population Variance" 
 hist(v0, br=30, prob=T, xlim=c(0,800), col="skyblue2", main=hdr2)
  abline(v=100, col="red", lty="dotted")
par(mfrow = c(1,1))

Nota: Alguns autores têm defendido o uso do MLE, apesar do viés. No entanto, os métodos tradicionais de inferência para variâncias usando a distribuição qui-quadrado teriam que ser alterados para usar o MLE, e muitos estatísticos acreditam que subestimar$\sigma^2$é um forte argumento contra o MLE. (Outra complicação é que dividir por$n+1$ resulta em uma diminuição ainda maior no MSE.)