Teste de uma ou duas amostras [fechado]

Question

Tenho um grande grupo de 40m com performance $P_i$ conhecido para cada mês $i.$ Fora desse grupo, tenho uma amostra aleatória de cerca de 5k com desempenho $P_{1i}$ para cada mês $i.$

Eu quero ser capaz de comparar o desempenho da amostra com o desempenho geral de usuários de 40 milhões - Devo usar o teste de 1 amostra onde a 'constante' é $P_i?$é estatisticamente correto? é legítimo supor que 40m é minha constante e o número com o qual desejo comparar, ignorando sua variabilidade? Tirar uma amostra aleatória de 40m para comparação é difícil de conseguir no meu sistema

Observe que os tamanhos dos grupos são extremamente diferentes e minha amostra é aproximadamente $0.00012\%$ do grupo de 40m

obrigado

Answer 1

Sua pergunta parece ser sobre a diferença entre (a) comparar uma amostra de 40.000.000 com uma amostra de 5.000 e (b) tomar a grande amostra como a população e comparar a pequena amostra com a probabilidade de sucesso da população. Você obterá essencialmente o mesmo resultado de qualquer maneira, mas há problemas de qualquer maneira - nenhum dos quais faz muita diferença aqui.

• Comparar uma grande amostra com um subconjunto dela está obsoleto. É melhor comparar o subconjunto com o restante da grande amostra para ter duas amostras independentes (sem elementos sobrepostos).

• Presumir que a grande amostra é essencialmente a população pode ser enganoso se a grande amostra for diferente da população.

Em termos do procedimento prop.testem R, suponha que temos uma amostra grande xe uma amostra pequena yconforme simulado em R abaixo. Nenhum teste rejeita. [Devido aos grandes tamanhos de amostra, a correção de continuidade não é usada.]

set.seed(2020)
p = .3
x = rbinom(50*10^6, 1, p)
y = sample(x, 40000)

Teste se amostras grandes e pequenas têm a mesma probabilidade de sucesso.

prop.test(c(sum(x),sum(y)), c(length(x), length(y)), cor=F)

    2-sample test for equality of proportions 
    without continuity correction

data:  c(sum(x), sum(y)) out of c(length(x), length(y))
X-squared = 0.005256, df = 1, p-value = 0.9422
alternative hypothesis: two.sided
95 percent confidence interval:
 -0.004326224  0.004658624
sample estimates:
   prop 1    prop 2 
0.3001162 0.2999500 

Teste se a probabilidade de sucesso da pequena amostra é igual à probabilidade de sucesso da população (realmente $p_{pop} = 0.3$ mas considerado ser $p_{pop} = \hat p_{pop} = 0.3001162).$

p.pop = mean(x)
prop.test(sum(y), length(y), p.pop, cor=F)

        1-sample proportions test 
        without continuity correction

data:  sum(y) out of length(y), null probability p.pop
X-squared = 0.0052603, df = 1, p-value = 0.9422
alternative hypothesis: true p is not equal to 0.3001162
95 percent confidence interval:
 0.2954788 0.3044597
sample estimates:
      p 
0.29995 

Adendo: Estou intrigado com duas coisas em sua pergunta: (1) Você diz que uma nova amostra é "é de aproximadamente 0,00012% do grupo de 40 milhões." Isso seria sobre$48,$ não $4800\approx 5000$, Então eu suponho que você quer dizer a fração $0.00012 = 0.012\%.$(2) Você diz "Tirar uma amostra aleatória de 40m para comparação é difícil de conseguir em meu sistema." Portanto, suponho que a amostra menor seja uma nova amostra da população, que pode ou não envolver alguns dos mesmos sujeitos da amostra grande.

Se a amostra de 40m for aleatória (e não classificada), use o inicial ou o final $5000$ deve ser essencialmente o mesmo que tirar uma amostra aleatória de entre os $5000.$ Talvez isso seja mais fácil de fazer em seu sistema.

Abaixo está um teste entre duas amostras de tamanho $5000:$um deles wrecém-gerado com probabilidade de sucesso$0.3$e o outro vtomado como o primeiro$5000$elementos de xcima. Novamente, não há diferença significativa na proporção de sucessos.

set.seed(2020)
p = .3;  x = rbinom(50*10^6, 1, p)   
v = x[1:5000]
set.seed(909)
p = .3;  w = rbinom(5000, 1, p)

prop.test(c(sum(v),sum(w)), c(5000,5000), cor=F)

    2-sample test for equality of proportions 
    without continuity correction

data:  c(sum(v), sum(w)) out of c(5000, 5000)
X-squared = 0.094279, df = 1, p-value = 0.7588
alternative hypothesis: two.sided
95 percent confidence interval:
 -0.02067294  0.01507294
sample estimates:
prop 1 prop 2 
0.2934 0.2962