Test mocy daje moc = 0,995

Question

Przeprowadzam test mocy dla eksperymentu, w którym mam 122 kontrole (n1) i 184 zestawy eksperymentalne (n2). Wybrałem średni efekt 0,5. Użyłem funkcji pwr.2p2n.test w pakiecie pwr, która służy do obliczania mocy dla dwóch proporcji (różne wielkości próbek).

pwr.2p2n.test(h = 0.5, n1 = 122, n2 = 184, sig.level = 0.05)  

Obliczona moc wynosi 0,99.

Wiedząc, że wartości mocy mieszczą się w przedziale od 0 do 1, zastanawiałem się, czy tak wysoka wartość wskazuje, że coś jest nie tak w mojej analizie?

Dzięki!

Answer 1

Może poniższe rozumowanie pomoże ci zrozumieć, dlaczego 0,99 wydaje się podejrzanie dużą mocą.

Na $h = 0.5$dotyczy różnicy między prawdopodobieństwem sukcesu 0,7 vs 0,46 ( ES.h(0.7, 0.46) = 0.49). Przy wielkości próby 153 w każdej grupie jest to różnica między 107 a 70 sukcesami, co jest dość zauważalne, zwłaszcza od tamtego czasu$\alpha = 0.05$ nie jest bardzo rygorystyczny.

Ta symulacja sprawdza, czy jest poprawna:

p1 <- 0.7
p2 <- 0.46

n1 <- 122
n2 <- 184

nreps <- 10000
set.seed(12345)
y1 <- rbinom(n= nreps, size= n1, p= p1)
y2 <- rbinom(n= nreps, size= n2, p= p2)

pval <- rep(NA, nreps)
for(i in 1:nreps) {
    pval[i] <- prop.test(c(y1[i], y2[i]), n= c(n1, n2), p= NULL)$p.value
}

(power <- sum(pval < 0.05) / nreps) # <- 0.9851 as expected

Ale nawet jeśli nie ma nic złego w obliczeniach, moc 0,99 może nadal być zbyt optymistyczna, ponieważ zakłada, że ​​liczby pochodzą z rozkładu dwumianowego. W prawdziwym życiu, zwłaszcza w biologii, dwumian jest zbyt wąski i nie uwzględnia zmienności innej niż losowe próbkowanie. Może dlatego twoja intuicja nie pasuje do twojej analizy mocy. Tutaj symuluję zliczenia, w których prawdopodobieństwo sukcesu jest zmienną losową z rozkładem Beta.

Nawet jeśli przeciętnie symulowane liczby są zgodne z oczekiwaniami (~ 70% sukcesu dla n1 i ~ 46% dla n2), moc jest nieco niższa:

nreps <- 10000
set.seed(12345)
y1 <- rbinom(n= nreps, size= n1, p= rbeta(n= nreps, 6.65, 2.85))
y2 <- rbinom(n= nreps, size= n2, p= rbeta(n= nreps, 5.25, 6.17))

pval <- rep(NA, nreps)
for(i in 1:nreps) {
    pval[i] <- prop.test(c(y1[i], y2[i]), n= c(n1, n2), p= NULL)$p.value
}

(power <- sum(pval < 0.05) / nreps) # 0.775

---

Parametry powyższych rozkładów Beta są takie, że dają średnią 0,7 dla n1 i 0,46 dla n2 z wariancją 0,02 (nie ma szczególnego powodu, aby wybrać tę wariancję). Skorzystałem z tej funkcji zamieszczonej na stronie Obliczanie parametrów rozkładu Beta przy użyciu średniej i wariancji :

estBetaParams <- function(mu, var) {
  alpha <- ((1 - mu) / var - 1 / mu) * mu ^ 2
  beta <- alpha * (1 / mu - 1)
  return(params = list(alpha = alpha, beta = beta))
}

Answer 2

Funkcja pwr.2p2n.test opiera się na testowaniu proporcji z h Cohena i transformacji stabilizującej wariancję (oryginalne źródło tej statystyki: Jacob Cohen 1966 )

$$\Phi = 2 \text{arcsin} \sqrt{p}$$

Te $\Phi$ mają w przybliżeniu rozkład normalny z wariancją $\frac{1}{N}$

Dla różnicy między dwiema z tych przekształconych zmiennych

$$h=\Phi_2-\Phi_1$$

będziemy oczekiwać wariancji równej $\frac{1}{n_1}+ \frac{1}{n_2}$ lub odchylenie standardowe $\sqrt{\frac{n_1+n_2}{n_1n_2}}$.

Jeśli pozwolimy, dla uproszczenia $n= n_1 = n_2$ wtedy to się stanie $\sqrt{2/n}$.

Więc dla wartości $n \approx 150$ masz, że odchylenie standardowe $h$ będzie w przybliżeniu $0.1$, kilka zamówień poniżej zamierzonego rozmiaru efektu $0.5$, a więc całkiem potężny.

---

Widzieć:

Jacob Cohen 1966, Alternative to Marascuilo's „large-sample multiple comparesons” dla proporcji, Biuletyn Psychologiczny http://dx.doi.org/10.1037/h0020418

Answer 3

Komentarz: Nie jestem pewien, o co pytasz. Prawdopodobnie istotne dane wyjściowe z najnowszej wersji programu Minitab, w którym obie próbki muszą być tej samej wielkości.

Power and Sample Size 

Test for Two Proportions

Testing comparison p = baseline p (versus ≠)
Calculating power for baseline p = 0.7
α = 0.05


               Sample
Comparison p    Size    Power
        0.20      50  0.99980
        0.20     100  1.00000
        0.35      50  0.95043
        0.35     100  0.99931

The sample size is for each group.

Answer 4

Na stronie 187 książki Cohena (1988), do której odnosiliście się w komentarzu, znajduje się tabela pokazująca, że $h=0.5$ i $n=200$ moc jest większa niż $0.995$. Więc nie ma nic złego w obliczeniach.

Jednakże masz bardzo dużą próbkę dla tego, co Cohen uważa za „średni rozmiar efektu”, więc duża moc nie jest zaskoczeniem. Podczas przeprowadzania jakiejkolwiek analizy mocy, wielkość efektu należy zawsze rozpatrywać w odniesieniu do wielkości próbki. W przypadku bardzo małych próbek „duże efekty” mogą w rzeczywistości być małe i na odwrót. Na przykład, planując eksperymenty na zwierzętach, rzadko widzisz poniżej rozmiary efektów$d=1.5$. Cohen zamyślił się$d=0.8$ jako „duży efekt”, ale nie spotkałem jeszcze ani jednego badacza, który przeprowadza doświadczenia na zwierzętach i który byłby szczęśliwy, gdyby donosił o takiej wielkości efektu w publikacji.