Teste de hipótese para iniciantes

Dec 24 2022

Este artigo é para iniciantes, que acabaram de entrar no mundo da ciência de dados e querem explorar seus ramos. Neste artigo não estamos mergulhando profundamente na matemática por trás do Teste de Hipóteses. Vamos apenas explorar a lógica por trás do teste de hipóteses e como alguém pode implementá-lo e obter insights.

“A capacidade de coletar dados – ser capaz de entendê-los, processá-los, extrair valor deles, visualizá-los, comunicá-los – será uma habilidade extremamente importante nas próximas décadas.” — Hal Varian, economista-chefe do Google

História do Little Bit:

As origens do teste de hipóteses remontam ao início do século 20 e ao trabalho do estatístico Ronald Fisher. Fisher introduziu o conceito de teste de hipóteses em seu livro de 1935 “The Design of Experiments”, no qual ele delineou uma estrutura para testar hipóteses estatísticas.

Antes do trabalho dos pescadores, a inferência estatística era baseada na ideia de “probabilidade inversa”, que envolvia fazer inferências sobre uma população com base em uma amostra, calculando a probabilidade de observar uma amostra dadas certas suposições sobre a população. Fisher argumentou que essa abordagem era falha, pois se baseia em suposições subjetivas sobre o que não pode ser verificado.

Em vez disso, Fisher propôs a ideia de testar uma hipótese específica (a hipótese nula) contra uma hipótese alternativa, usando técnicas estáticas para determinar a probabilidade de observar os dados da amostra dadas as suposições da hipótese nula. Essa abordagem, conhecida como “teste de hipótese frequentista”, baseia-se na ideia de que, se a probabilidade de observar os dados da amostra, dadas as suposições da hipótese nula, for baixa o suficiente (isto é, abaixo de um certo nível de significância estatística), então a probabilidade nula hipótese pode ser rejeitada em favor da hipótese alternativa.

A abordagem de Fisher para testar hipóteses revolucionou a inferência estatística e tornou-se o método padrão para testar hipóteses estatísticas no campo da estatística.

Hoje, o teste de hipóteses é parte predominante da ciência de dados.

Lógica básica:

O teste de hipótese é um método estatístico usado para fazer inferências sobre uma população com base em uma amostra. É uma ferramenta comum usada em pesquisas para testar a validade de uma hipótese e tirar conclusões sobre uma população com base em uma amostra.

O processo de teste de hipótese envolve a declaração de uma hipótese nula, que é uma declaração de nenhuma relação ou diferença entre as variáveis, e uma hipótese alternativa, que é o oposto da hipótese nula. A hipótese nula é normalmente a suposição padrão, e o objetivo do teste de hipótese é determinar se a hipótese nula pode ser rejeitada em favor da hipótese alternativa com base nos dados observados.

Várias etapas envolvidas:

Identificar a questão de pesquisa e as hipóteses : O primeiro passo no teste de hipóteses é definir a questão de pesquisa e identificar as hipóteses nula e alternativa. A hipótese nula é uma declaração de nenhuma relação ou diferença entre as variáveis, enquanto a hipótese alternativa é uma declaração do contrário. Por exemplo, se um pesquisador está interessado em determinar se existe uma relação entre a renda de uma pessoa e seu nível de educação, a hipótese nula pode ser que não há relação entre renda e educação, enquanto a hipótese alternativa pode ser que há uma relação positiva entre renda e educação.
Selecione uma amostra : Em seguida, uma amostra é selecionada da população de interesse. A amostra deve ser representativa da população para garantir que os resultados possam ser generalizados para a população. Existem várias técnicas de amostragem que podem ser usadas para selecionar uma amostra representativa, incluindo amostragem aleatória, amostragem estratificada e amostragem por conglomerados.
Coletar e analisar dados : Os dados são coletados da amostra e analisados usando técnicas estatísticas para determinar se a hipótese nula pode ser rejeitada em favor da hipótese alternativa. Existem vários testes estatísticos que podem ser usados para analisar dados, incluindo testes t, ANOVA e testes qui-quadrado, entre outros.
Calcular uma estatística de teste : Uma estatística de teste é calculada com base nos dados e é usada para avaliar a hipótese nula. A estatística de teste é comparada a um valor crítico, que é determinado com base no nível desejado de significância estatística. O nível de significância estatística é normalmente definido em 0,05, o que significa que há 5% de chance de que os resultados sejam devidos ao acaso.
Tome uma decisão : Se a estatística de teste for maior que o valor crítico, a hipótese nula é rejeitada em favor da hipótese alternativa. Se a estatística de teste for menor que o valor crítico, a hipótese nula não é rejeitada.
Interpretar os resultados : Finalmente, os resultados do teste de hipótese são interpretados e uma conclusão é tirada. Se a hipótese nula for rejeitada, o pesquisador pode concluir que existe relação ou diferença entre as variáveis de interesse. Se a hipótese nula não for rejeitada, o pesquisador não pode concluir que existe relação ou diferença entre as variáveis.

Existem vários fatores que podem afetar a validade do teste de hipótese, incluindo tamanho da amostra, viés de amostragem e as suposições do teste estatístico que está sendo usado. É importante que os pesquisadores considerem cuidadosamente esses fatores ao projetar e conduzir um teste de hipótese para garantir a validade dos resultados.

Para colocar a hipótese em perspectiva

Para colocar todo o conhecimento acima em uma história simples,

Imagine que um pesquisador esteja interessado em estudar a relação entre a renda de uma pessoa e seu nível de escolaridade. A pesquisadora acredita que existe uma relação positiva entre essas duas variáveis, significando que pessoas com maior nível de escolaridade tendem a ter rendas mais altas.

Para testar essa hipótese, o pesquisador seleciona uma amostra de 100 pessoas e coleta dados sobre sua renda e nível de escolaridade. O pesquisador então usa a análise estatística para determinar se os dados apóiam a hipótese de que existe uma relação positiva entre renda e educação.

O pesquisador calcula uma estatística de teste e a compara com um valor crítico com base no nível desejado de significância estatística. Se a estatística do teste for maior que o valor crítico, o pesquisador pode rejeitar a hipótese nula (que afirma que não há relação entre renda e educação) em favor da hipótese alternativa (que afirma que há uma relação positiva entre renda e educação ).

Com base nos dados e nos resultados da análise estatística, a pesquisadora conclui que existe sim uma relação positiva entre renda e escolaridade. O pesquisador apresenta as descobertas em um relatório e publica os resultados em uma revista científica.

Este exemplo ilustra o processo de teste de hipótese, que é uma ferramenta poderosa para fazer inferências sobre uma população com base em uma amostra. Ao selecionar cuidadosamente uma amostra, coletar e analisar dados e usar técnicas estatísticas para avaliar os dados, os pesquisadores podem tirar conclusões sobre as relações e diferenças entre variáveis e testar a validade de suas hipóteses .

Resumo,

Por fim, como resumo, o teste de hipótese é uma ferramenta estatística para o pesquisador estabelecer inferência sobre uma população com base na amostra.

Envolve a declaração de uma hipótese nula, que é a declaração de nenhuma relação ou diferença entre as variáveis, e uma hipótese alternativa, que é o oposto da hipótese nula. O objetivo do teste de hipótese é determinar se a hipótese nula pode ser rejeitada em favor da hipótese alternativa com base nos dados observados.