Test di ipotesi per principianti

Questo articolo appartiene ai principianti, che sono appena entrati nel mondo della scienza dei dati e vogliono esplorarne i rami. In questo articolo non ci stiamo tuffando in profondità nella matematica dietro il test di ipotesi. Esploreremo solo la logica dietro il test delle ipotesi e come si può implementarlo e ottenere approfondimenti.

"La capacità di prendere i dati - essere in grado di capirli, elaborarli, estrarne valore, visualizzarli, comunicarli - sarà un'abilità estremamente importante nei prossimi decenni". — Hal Varian, capo economista di Google

Un po' di storia:

Le origini della verifica delle ipotesi possono essere fatte risalire all'inizio del XX secolo e al lavoro dello statistico Ronald Fisher. Fisher ha introdotto il concetto di test di ipotesi nel suo libro del 1935 "The Design of Experiments", in cui ha delineato un quadro per testare ipotesi statistiche.

Prima, il lavoro di Fisher, l'inferenza statistica era basata sull'idea di "probabilità inversa", che implica fare inferenze su una popolazione basata su un campione calcolando la probabilità di osservare un campione date determinate ipotesi sulla popolazione. Fisher ha sostenuto che questo approccio era errato, poiché si basava su presupposti soggettivi che non potevano essere verificati.

Invece, Fisher ha proposto l'idea di testare un'ipotesi specifica (l'ipotesi nulla) rispetto a un'ipotesi alternativa, utilizzando tecniche statistiche per determinare la probabilità di osservare i dati del campione dati i presupposti dell'ipotesi nulla. Questo approccio, noto come "Test di ipotesi frequentista", si basa sull'idea che se la probabilità di osservare i dati del campione dati i presupposti dell'ipotesi nulla è sufficientemente bassa (cioè al di sotto di un certo livello di significatività statistica), allora il valore nullo l'ipotesi può essere respinta a favore dell'ipotesi alternativa.

L'approccio di Fisher alla verifica delle ipotesi ha rivoluzionato l'inferenza statistica ed è diventato il metodo standard per verificare le ipotesi statistiche nel campo della statistica.

Oggi il test di ipotesi è una parte predominante della scienza dei dati.

Logica di base:

Il test di ipotesi è un metodo statistico utilizzato per fare inferenze su una popolazione basata su un campione. È uno strumento comune utilizzato nella ricerca per testare la validità di un'ipotesi e trarre conclusioni su una popolazione basata su un campione.

Il processo di verifica dell'ipotesi implica l'affermazione di un'ipotesi nulla, che è un'affermazione di nessuna relazione o differenza tra variabili, e un'ipotesi alternativa, che è l'opposto dell'ipotesi nulla. L'ipotesi nulla è in genere il presupposto predefinito e l'obiettivo del test dell'ipotesi è determinare se l'ipotesi nulla può essere rifiutata a favore dell'ipotesi alternativa basata sui dati osservati.

Vari passaggi coinvolti:

1. Identificare la domanda di ricerca e le ipotesi : il primo passo nella verifica delle ipotesi è definire la domanda di ricerca e identificare le ipotesi nulle e alternative. L'ipotesi nulla è un'affermazione di nessuna relazione o differenza tra variabili, mentre l'ipotesi alternativa è un'affermazione del contrario. Ad esempio, se un ricercatore è interessato a determinare se esiste una relazione tra il reddito di una persona e il suo livello di istruzione, l'ipotesi nulla potrebbe essere che non esista alcuna relazione tra reddito e istruzione, mentre l'ipotesi alternativa potrebbe essere che esista una relazione positiva tra reddito e istruzione.
2. Seleziona un campione : Successivamente, viene selezionato un campione dalla popolazione di interesse. Il campione dovrebbe essere rappresentativo della popolazione per garantire che i risultati possano essere generalizzati alla popolazione. Esistono varie tecniche di campionamento che possono essere utilizzate per selezionare un campione rappresentativo, tra cui campionamento casuale, campionamento stratificato e campionamento a grappolo.
3. Raccogliere e analizzare i dati : i dati vengono raccolti dal campione e analizzati utilizzando tecniche statistiche per determinare se l'ipotesi nulla può essere respinta a favore dell'ipotesi alternativa. Esistono vari test statistici che possono essere utilizzati per analizzare i dati, inclusi test t, ANOVA e test chi-quadrato, tra gli altri.
4. Calcolare una statistica test : una statistica test viene calcolata in base ai dati e viene utilizzata per valutare l'ipotesi nulla. La statistica del test viene confrontata con un valore critico, che viene determinato in base al livello desiderato di significatività statistica. Il livello di significatività statistica è generalmente fissato a 0,05, il che significa che esiste una probabilità del 5% che i risultati siano dovuti al caso.
5. Prendere una decisione : se la statistica del test è maggiore del valore critico, l'ipotesi nulla viene respinta a favore dell'ipotesi alternativa. Se la statistica del test è inferiore al valore critico, l'ipotesi nulla non viene rifiutata.
6. Interpretare i risultati : infine, i risultati del test di ipotesi vengono interpretati e viene tratta una conclusione. Se l'ipotesi nulla viene rifiutata, il ricercatore può concludere che esiste una relazione o una differenza tra le variabili di interesse. Se l'ipotesi nulla non viene rifiutata, il ricercatore non può concludere che esiste una relazione o una differenza tra le variabili.

Esistono diversi fattori che possono influenzare la validità dell'ipotesi tjesting, tra cui la dimensione del campione, il bias di campionamento e le ipotesi del test statistico utilizzato. È importante che i ricercatori considerino attentamente questi fattori quando progettano e conducono un test di ipotesi per garantire la validità dei risultati.

Mettere tutta la conoscenza di cui sopra in una storia semplice,

Immagina che un ricercatore sia interessato a studiare la relazione tra il reddito di una persona e il suo livello di istruzione. Il ricercatore ritiene che esista una relazione positiva tra queste due variabili, il che significa che le persone con livelli di istruzione più elevati tendono ad avere redditi più elevati.

Per testare questa ipotesi, il ricercatore seleziona un campione di 100 persone e raccoglie dati sul loro reddito e livello di istruzione. Il ricercatore utilizza quindi l'analisi statistica per determinare se i dati supportano l'ipotesi che esista una relazione positiva tra reddito e istruzione.

Il ricercatore calcola una statistica test e la confronta con un valore critico basato sul livello desiderato di significatività statistica. Se la statistica del test è maggiore del valore critico, il ricercatore può rifiutare l'ipotesi nulla (che afferma che non esiste alcuna relazione tra reddito e istruzione) a favore dell'ipotesi alternativa (che afferma che esiste una relazione positiva tra reddito e istruzione ).

Sulla base dei dati e dei risultati dell'analisi statistica, il ricercatore conclude che esiste effettivamente una relazione positiva tra reddito e istruzione. Il ricercatore presenta i risultati in un rapporto e pubblica i risultati in una rivista scientifica.

Questo esempio illustra il processo di verifica delle ipotesi, che è un potente strumento per fare inferenze su una popolazione basata su un campione. Selezionando attentamente un campione, raccogliendo e analizzando i dati e utilizzando tecniche statistiche per valutare i dati, i ricercatori possono trarre conclusioni sulle relazioni e le differenze tra le variabili e testare la validità delle loro ipotesi .

Sommario,

In ultimo, come riepilogo, il test di ipotesi è uno strumento statistico per il ricercatore per stabilire l'inferenza su una popolazione basata sul campione.

Implica l'affermazione di un'ipotesi nulla, che è l'affermazione di nessuna relazione o differenza tra variabili, e un'ipotesi alternativa, che è l'opposto dell'ipotesi nulla. L'obiettivo del test di ipotesi è determinare se l'ipotesi nulla può essere rifiutata a favore dell'ipotesi alternativa basata sui dati osservati.

Parleremo a lungo della matematica dietro il test di ipotesi nei prossimi articoli, fino ad allora buon viaggio.