10 correlações que não são causas

Dec 23 2013
Se você beijar sua bola de boliche, você fará um strike. Se você comprar sorvete, você se transformará em um assassino a sangue frio. Que outras correlações não são causações?
O exemplo clássico de correlação que não é igual a causalidade pode ser encontrado com sorvete e assassinato. Ou seja, sabe-se que as taxas de crimes violentos e assassinatos aumentam quando as vendas de sorvete aumentam. Mas, presumivelmente, comprar sorvete não o transforma em um assassino (a menos que seja do seu tipo favorito?).

Você pensaria agora que poderíamos dizer inequivocamente o que causa o quê. Mas a questão da causa, que tem assombrado a ciência e a filosofia desde seus primeiros dias, ainda nos persegue por inúmeras razões. Os seres humanos são evolutivamente predispostos a ver padrões e psicologicamente inclinados a coletar informações que apoiem visões pré-existentes, uma característica conhecida como viés de confirmação . Confundimos coincidência com correlação e correlação com causalidade.

Para A causar B, tendemos a dizer que, no mínimo, A deve preceder B, os dois devem covariar (variar juntos), e nenhuma explicação concorrente pode explicar melhor a covariância de A e B. três requisitos não podem provar causa; eles são, como dizem os filósofos, necessários, mas não suficientes. De qualquer forma, nem todos concordam com eles.

Falando de filósofos, David Hume argumentou que a causação não existe em nenhum sentido demonstrável. Karl Popper e os Falsificacionistas sustentavam que não podemos provar uma relação, apenas refutá-la, o que explica por que as análises estatísticas não tentam provar uma correlação; em vez disso, eles puxam uma dupla negativa e refutam que os dados não são correlacionados, um processo conhecido como rejeição da hipótese nula .

Com essas considerações em mente, os cientistas devem projetar e controlar cuidadosamente seus experimentos para eliminar preconceitos, raciocínio circular, profecias autorrealizáveis ​​e variáveis ​​ocultas. Eles devem respeitar os requisitos e limitações dos métodos usados, extrair amostras representativas sempre que possível e não exagerar seus resultados.

Pronto para ler cerca de 10 casos em que isso não foi tão fácil?

Conteúdo
  1. O problema com Henry (e Hawthorne)
  2. Sempre apostar no preto?
  3. A mão quente e a pata do macaco
  4. Desequilíbrio hormonal
  5. Embaralhamento do mercado de ações do Super Bowl
  6. Grandes dados, pouca clareza
  7. Salário mínimo é igual ao desemprego máximo
  8. Café da manhã vence a obesidade, jantar nega drogas
  9. O sexo suicida
  10. Vexação de vacinação

10: O problema com Henry (e Hawthorne)

Pesquisadores que investigavam a produtividade do trabalhador no chão de fábrica no início do século 20 descobriram o efeito Hawthorne, ou a ideia de que o conhecimento dos participantes de um experimento pode influenciar seus resultados.

As pessoas são uma dor de pesquisa. Eles reagem não apenas ao estímulo que você está estudando, mas também ao próprio experimento. Os pesquisadores hoje tentam projetar experimentos para controlar esses fatores, mas nem sempre foi esse o caso.

Veja a Hawthorne Works em Cicero, Illinois. Em uma série de experimentos de 1924 a 1932, os pesquisadores estudaram os efeitos da produtividade do trabalhador associados à alteração do ambiente da fábrica de Illinois, incluindo a mudança dos níveis de luz , arrumação do local e movimentação de estações de trabalho. Justamente quando eles pensavam que estavam no caminho certo, eles notaram um problema: os aumentos observados na produtividade sinalizaram quase assim que os pesquisadores deixaram os trabalhos, indicando que o conhecimento dos trabalhadores sobre o experimento, não as mudanças dos pesquisadores, havia alimentado o impulso. Os pesquisadores ainda chamam esse fenômeno de Efeito Hawthorne .

Um conceito relacionado, o efeito John Henry , ocorre quando os membros de um grupo de controle tentam vencer o grupo experimental, chutando seus esforços em excesso. Eles não precisam saber sobre o experimento; eles precisam apenas ver um grupo receber novas ferramentas ou instruções adicionais. Como o lendário homem do aço, eles querem provar suas capacidades e ganhar respeito [fontes: Saretsky ; Vogt ].

9: Sempre Aposte no Preto?

Se o vermelho saísse sete vezes seguidas na roleta, você estaria mais propenso a apostar no vermelho ou no preto antes da oitava rodada?

Os personagens titulares do filme de Tom Stoppard "Rosencrantz e Guildenstern Estão Mortos" começam o filme perplexos, confusos e finalmente assustados quando cada um dos 157 lançamentos consecutivos de uma moeda dá cara. As explicações de Guildenstern sobre esse fenômeno variam de loops de tempo a "uma vindicação espetacular do princípio de que cada moeda individual, girada individualmente, tem a mesma probabilidade de cair cara como coroa..."

A evolução fez com que os humanos vissem padrões, e nossa capacidade de processar adequadamente esse desejo parece entrar em curto-circuito quanto mais tempo passamos jogando . Podemos racionalmente aceitar que eventos independentes, como lançamentos de moedas, mantêm as mesmas chances, não importa quantas vezes você os execute. Mas também vemos esses eventos, menos racionalmente, como sequências, fazendo falsas correlações mentais entre eventos aleatórios. Vendo o passado como um prelúdio, continuamos pensando que a próxima jogada deveria ser coroa.

Os estatísticos chamam isso de falácia do jogador , também conhecida como falácia de Monte Carlo , após um exemplo particularmente ilustrativo ocorrido naquela famosa cidade turística de Mônaco. Durante o verão de 1913, os apostadores assistiram com crescente espanto quando a roleta de um cassino caiu no preto 26 vezes seguidas. Inflamados pela certeza de que o vermelho estava "devido", os apostadores continuaram jogando suas fichas. O cassino fez uma moeda [fontes: Lehrer ; Oppenheimer e Monin ; Vogt ].

8: A mão quente e a pata do macaco

As superstições assumem todas as formas nos esportes, como beijar sua bola de boliche.

Nenhuma discussão sobre raias, pensamento mágico ou falsa causa estaria completa sem folhear as páginas de esportes. As temporadas de esportes estelares surgem de uma interação tão misteriosa de fatores - habilidade natural, treinamento, confiança, o fator X ocasional - que imaginamos padrões de desempenho, mesmo que os estudos rejeitem repetidamente o arremesso de sequência e as superstições "bem-sucedidas" como algo mais do que imaginário .

A crença em estrias ou quedas implica que o sucesso "causa" o sucesso e o fracasso "causa" o fracasso ou, talvez mais razoavelmente, que a variação em algum fator comum, como a confiança, causa ambos. Mas estudo após estudo não confirma isso [fontes: Gilovich et al. ; Tversky e Gilovich ]. O mesmo vale para as superstições , embora isso não tenha impedido Kevin Rhomberg, do Cleveland Indians, de se recusar a fazer curvas à direita enquanto estivesse em campo, ou impedido o pivô do Ottawa Senators, Bruce Gardiner, de enfiar seu taco de hóquei no vaso sanitário para quebrar a queda ocasional. fonte: Trex ].

A queda do segundo ano, também, normalmente surge de um primeiro ano bom demais. As oscilações de desempenho tendem a se equilibrar no longo prazo, um fenômeno que os estatísticos chamam de regressão em direção à média . Nos esportes, essa média é auxiliada pela oposição, que se ajusta para combater o conjunto de habilidades bem-sucedido do novo jogador.

7: Desequilíbrio Hormonal

A história da terapia de reposição hormonal, outrora amplamente utilizada para tratar os sintomas da menopausa, acabou não sendo tão simples assim.

Ensaios controlados randomizados são o padrão-ouro em estatística, mas às vezes – em epidemiologia, por exemplo – considerações éticas e práticas forçam os pesquisadores a analisar os casos disponíveis. Infelizmente, esses estudos observacionais arriscam viés, variáveis ​​ocultas e, pior de tudo, um grupo de estudo que pode não refletir a população como um todo. Estudar uma amostra representativa é vital; ele permite que os pesquisadores apliquem resultados a pessoas fora do estudo, como o resto de nós.

Um caso em questão: terapia de reposição hormonal (TRH) . Além de tratar os sintomas associados à menopausa, ela já foi aclamada por potencialmente reduzir o risco de doença cardíaca coronária (DAC), graças a um estudo observacional muito divulgado de 1991 [fonte: Stampfer e Colditz ]. Mas estudos controlados randomizados posteriores, incluindo a Iniciativa de Saúde da Mulher em larga escala, revelaram uma relação negativa, ou estatisticamente insignificante, entre HRT e CHD [fontes: Lawlor et al. ; New York Times ].

Por que a diferença? Por um lado, as mulheres que usam TRH tendem a vir de estratos socioeconômicos mais altos e recebem dieta e exercícios de melhor qualidade – uma relação explicativa oculta que o estudo observacional não conseguiu levar em conta [fonte: Lawlor et al. ].

6: Embaralhamento do mercado de ações do Super Bowl

Quando John Elway e seus companheiros Broncos venceram o Super Bowl por dois anos consecutivos em 1998 e 1999, a conexão do Super Bowl com o mercado de ações se desfez.

Em 1978, o repórter esportivo e colunista Leonard Koppett zombou da confusão de causa e correlação ao sugerir ironicamente que os resultados do Super Bowl poderiam prever o mercado de ações . O tiro saiu pela culatra: não apenas as pessoas acreditaram nele, mas funcionou – com uma frequência assustadora.

A proposta era a seguinte: se um dos 16 times originais da National Football League - aqueles que existiam antes da fusão da NFL com a American Football League - vencesse o Super Bowl, o mercado de ações fecharia mais alto no ano seguinte do que fechou. o anterior, 31 de dezembro. Se um ex-time da AFL vencesse, ele cairia [fontes: Koppett ; Koppett ; Koppett ; Koppett ; Zweig ].

De 1967 a 1978, o sistema de Koppett foi 12 por 12; até 1997, ostentava uma taxa de sucesso de 95%. Ele tropeçou em 1998 e 1999, quando os ex-alunos da AFL, o Denver Broncos, venceram e o mercado subiu [fontes: Koppett ; Koppett ; Koppett ; Kopett ].

Alguns argumentam que o padrão existe, impulsionado pela crença; funciona, dizem eles, porque os investidores acreditam que sim, ou porque acreditam que outros investidores acreditam nisso. Essa noção, embora inteligente de uma maneira regressiva, dificilmente explica os 12 anos de correlações bem-sucedidas anteriores ao artigo de Koppett. Outros argumentam que um padrão mais relevante está na tendência ascendente em larga escala do mercado de ações, excluindo algumas flutuações maiores e menores de curto prazo, e o fato de um time original da NFL ter vencido todos os Super Bowls de 1984 a 1998 [fonte: Norris ].

5: Big Data, pouca clareza

A Target é apenas uma das muitas empresas que vasculham big data para aumentar as vendas.

Big data – o processo de procurar padrões em conjuntos de dados tão grandes que resistem aos métodos tradicionais de análise – é um grande alvoroço na sala de reuniões hoje em dia [fonte: Arthur ]. Mas maior é sempre melhor?

É uma regra que é incutida na maioria dos pesquisadores em sua primeira aula de estatísticas: ao encontrar um mar de dados, resista ao desejo de sair em uma expedição de pesca . Com dados suficientes, paciência e margem de manobra metodológica, as correlações são quase inevitáveis, ainda que antiéticas e em grande parte inúteis.

Afinal, a mera correlação entre duas variáveis ​​não implica causalidade; nem, em muitos casos, aponta para um relacionamento. Por um lado, os pesquisadores não podem usar medidas estatísticas de correlação à toa; cada um contém certas suposições e limitações que as expedições de pesca muitas vezes ignoram, para não falar das variáveis ​​ocultas, problemas de amostragem e falhas na interpretação que podem atrapalhar um estudo mal planejado.

É verdade que big data tem seus usos. O controle de estoque prospera na descoberta de padrões de compra, por mais misteriosas que sejam suas causas subjacentes. Para dar um exemplo um tanto assustador, a Target usou padrões de compra para identificar clientes grávidas e depois enviar cupons direcionados a elas [fontes: Duhigg ; Colina ; Taylor ]. Então aproveite esse cartão de recompensas - e 10% de desconto em suas vitaminas pré-natais - mas não espere muito do big data no departamento de causalidade.

4: Salário Mínimo é igual ao Desemprego Máximo

Trabalhadores de fast-food em greve se juntam a simpatizantes, sindicalistas e ativistas em um comício na Foley Square, em Nova York, para exigir um aumento do salário mínimo para US$ 15 por hora.

Any issue dealing with money is bound to be deeply divisive and highly politicized, and minimum wage increases are no exception. The arguments are varied and complex, but essentially one side contends that a higher minimum wage hurts businesses, which drives down job availability, which hurts the poor. The other side responds that there's little evidence for this claim, and that the 3.6 million Americans working at or below minimum wage, which some argue is not a living wage, would benefit from such an increase. They argue that, adjusted for inflation , the federal minimum wage ($7.25 per hour in December 2013) has tobogganed downhill for the past 40 years [sources: Bureau of Labor Statistics; Irwin].

As George Bernard Shaw reportedly quipped, "If all the economists were laid end to end, they'd never reach a conclusion," and the minimum-wage debate seems to bear that out [source: Ridgers . For every analyst who says minimum wage increases drive jobs away there is another who argues against such a correlation [sources: Baskaya and Rubinstein; Card and Krueger].

In the end, both sides share a fundamental problem, namely, the abundance of anecdotal evidence many of their talking heads rely on for support. Secondhand stories and cherry-picked data make for weak tea in any party, even when presented in pretty bar charts.

3: Breakfast Beats Obesity, Dinner Denies Drugs

The family that eats dinner together stays off drugs together. Er, not quite.

Between books, drugs and surgeries, weight loss in the United States is a $20-billion-per-year industry, with 108 million Americans bellying up to the weight-loss bar each year [source: ABC News]. Not surprisingly, weight loss studies -- good, bad or ugly -- get a lot of press in the U.S.

Take the popular idea that eating breakfast beats obesity, a sugar-frosted nugget derived from two main studies: One, a 1992 Vanderbilt University randomized controlled study, showed that reversing normal breakfast habits, whether by eating or not eating, correlated with weight loss; the other, a 2002 observational study by the National Weight Control Registry, correlated breakfast-eating with successful weight-losers -- which is not the same as correlating it with weight loss [sources: Brown et al.; O'Connor; Schlundt et al.; Wyatt et al.].

Infelizmente, o estudo NWCR não conseguiu controlar outros fatores – ou, de fato, estabelecer qualquer conexão causal a partir de sua correlação. Por exemplo, uma pessoa que quer perder peso pode malhar mais, tomar café da manhã ou consumir proteína de porco inteira, mas sem um projeto experimental capaz de estabelecer ligações causais, tais comportamentos não passam de características comuns que ocorrem simultaneamente. [fontes: Brown et al. ; O'Connor ].

Um problema semelhante aflige os numerosos estudos que ligam os jantares em família com a diminuição do risco de dependência de drogas para adolescentes. Embora atraentes por sua estratégia simples e atraente, esses estudos frequentemente não controlam fatores relacionados, como fortes conexões familiares ou profundo envolvimento dos pais na vida de uma criança [fonte: Bialik ].

2: O Sexo Suicida

Os pesquisadores que estudam o suicídio que ocorre em todos os gêneros precisam estar cientes de que homens e mulheres suicidas podem usar armas diferentes, afetando seus resultados.

Muitas vezes ouvimos falar que os homens, especialmente os jovens, são mais propensos a cometer suicídio do que as mulheres. Na verdade, tais afirmações fazem parte da generalização empírica – o ato de fazer uma afirmação ampla sobre um padrão comum sem tentar explicá-lo – e mascaram uma série de fatores de confusão conhecidos e potenciais.

Tomemos, por exemplo, o fato de que as mulheres fazem três vezes mais tentativas de suicídio do que os homens. Como então pode existir uma correlação maior entre o sexo oposto e o suicídio? A resposta está na taxa de sucesso, influenciada pelas diferenças de metodologia: as mulheres recorrem às pílulas, enquanto os homens tendem a preferir as armas [fonte: O'Connell ].

Mesmo que pudéssemos descartar esses fatores de confusão, permaneceria o fato de que a masculinidade, por si só, não é uma causa. Para explicar a tendência, precisamos identificar fatores comuns aos homens, ou pelo menos suicidas. O mesmo ponto se aplica às taxas comparativamente altas de suicídio relatadas entre homens divorciados. O divórcio não leva os homens a cometer suicídio; se houver, a variável causal se esconde entre fatores relacionados, como isolamento, depressão, sensação de impotência, estresse financeiro ou perda de custódia [fontes: Kposowa ; Kposowa ; Reuters ].

1: Vexação de Vacinação

Pediatra com frasco da vacina MMR e um menino de 15 meses. Nos Estados Unidos, o Advisory Committee on Immunization Practices recomenda um esquema vacinal de duas doses para vacinas contra sarampo, caxumba e rubéola para crianças, com a primeira dose aos 12-15 meses e a segunda aos 4-6 anos.

Nenhuma lista de correlação/causação estaria completa sem discutir as preocupações dos pais sobre a segurança da vacinação , enraizada na ideia, popularizada por celebridades como Jenny McCarthy, de que as vacinas contra sarampo, caxumba e rubéola (MMR) estão causalmente ligadas a distúrbios do espectro do autismo. Apesar da comunidade médica desmascarar o artigo de Andrew Wakefield de 1998 que inspirou a ideia, e apesar de estudos subsequentes não mostrarem nenhum vínculo causal, mesmo com múltiplas vacinações, alguns pais continuam temerosos de uma conexão com o autismo ou outros perigos relacionados à vacina [fontes: The Lancet ; Parque ; Sifferlin ; Szabo ].

Embora seja verdade que nenhuma vacina é 100% inofensiva, a crença nesse nexo causal surge principalmente da preocupação natural dos pais, sobrecarregada pela confusão, alimentada por evidências anedóticas e influenciada pelo viés de confirmação , ou "se eu não acreditasse, não acreditaria". não vi." O que alimenta ainda mais a confusão é o fato de que pais e médicos tendem a reconhecer os sintomas do autismo tardiamente, por volta das idades em que as crianças recebem muitas vacinas. Na realidade, o início do autismo é bastante complexo e segue mais de um padrão. De fato, os estudos agora mostram que o início pode começar tão cedo quanto 6-12 meses [fontes: CDC ; Johnson e Schultz ; Mandell et ai. ; NIH ; Ozonoff et ai. ].

Não é nenhum mal-entendido inofensivo. Em 2011, a revista Time informou que 13% dos pais pularam, atrasaram ou dividiram as vacinas de seus filhos; em algumas áreas rurais, esse número subiu para entre 20 e 50 por cento. Enquanto isso, 15 anos após o início desse pânico, centros médicos relataram surtos de coqueluche e sarampo. Vale a pena considerar se essa correspondência é coincidente, correlativa ou causal [fontes: O'Connor ; Parque ; Parque ].

Publicado originalmente: 23 de dezembro de 2013

Perguntas frequentes sobre correlação e causa

O que é um exemplo de correlação, mas não de causalidade?
Observou-se que quando as vendas de sorvete são maiores, o mesmo acontece com a taxa de homicídio. Mas isso não significa que o sorvete faz com que as pessoas matem. As vendas de sorvete aumentam no verão e os criminosos são mais ativos nessa época do ano também, mas um não tem nada a ver com o outro. Este é um exemplo de correlação. mas não uma causa.
Qual é a diferença entre correlação e causalidade?
Uma correlação entre duas variáveis ​​não significa necessariamente que, se uma variável sofrer uma mudança, ela afetará a outra. Na causação, um evento é sempre causado pela ocorrência de outro evento. Isso também é conhecido como uma relação causal.
O que se entende por correlação não é causalidade?
Esta é uma frase popular que enfatiza que só porque duas coisas se correlacionam, nem sempre significa que elas estão influenciando uma à outra. Em vez disso, pode haver um terceiro fator, afetando ambos.
Qual é a principal diferença entre correlação e causalidade?
A correlação indica uma associação entre duas variáveis. A causação enfatiza que uma variável é responsável por desencadear uma mudança direta em outra variável.

Muito Mais Informações

Nota do autor: 10 correlações que não são causas

Por mais que eu abomine projetos experimentais ruins, confiança cega em estatísticas e reportagens científicas sensacionalistas, vale a pena mencionar que fortes correlações, embora não sejam suficientes para provar a causa, muitas vezes apontam para áreas que valem a pena investigar. Claramente, por "correlações" não quero dizer autocorrelações, variáveis ​​de confusão ou outros artefatos de design ruim ou requisitos e restrições metodológicas mal compreendidas; no entanto, talvez a Internet possa dispensar um pouco o slogan "correlação não implica causalidade", ou pelo menos tornar-se um pouco mais seletivo em sua aplicação.

Artigos relacionados

  • As pessoas estúpidas são mais felizes?
  • Os países com leis de armas mais rígidas realmente têm menos crimes ou homicídios?
  • Existe uma correlação entre os preços do gás e obesidade?
  • Existe uma correlação entre felicidade e emissões de carbono?

Origens

  • ABC News. "100 Million Dieters, $20 Billion: The Weight-Loss Industry by the Numbers." May 8, 2012. (Dec. 18, 2013) http://abcnews.go.com/Health/100-million-dieters-20-billion-weight-loss-industry/story?id=16297197
  • Arthur, Lisa. "What is Big Data?" Forbes. Aug. 15, 2013. (Dec. 18, 2013) http://www.forbes.com/sites/lisaarthur/2013/08/15/what-is-big-data/
  • Baskaya, Yusuf Soner, and Yona Rubinstein. "Using Federal Minimum Wages to Identify the Impact of Minimum Wages on Employment and Earnings Across the US States." London School of Economics and Political Science. 2011. (Dec. 18, 2013) http://businessinnovation.berkeley.edu/williamsonseminar/rubinstein110311.pdf
  • Bialik, Carl. "What Family Dinners Can and Can't Do for Teens." The Wall Street Journal. Nov. 29, 2013. (Dec. 18, 2013) http://blogs.wsj.com/numbersguy/what-family-dinners-can-and-cant-do-for-teens-1302/
  • Brown Andrew W., Michelle M, Bohan Brown and David B. Allison. "Belief Beyond the Evidence: Using the Proposed Effect of Breakfast on Obesity to Show 2 Practices that Distort Scientific Evidence." American Journal of Clinical Nutrition. Vol. 98, no. 5. Page 1298. (Dec. 18, 2013) http://ajcn.nutrition.org/content/early/2013/09/04/ajcn.113.064410
  • Bureau of Labor Statistics. "Minimum Wage Workers Account for 4.7 Percent of Hourly Paid Workers in 2012." U. S. Department of Labor. March 25, 2013. (Dec. 18, 2013) http://www.bls.gov/opub/ted/2013/ted_20130325.htm
  • Card, David and Alan B. Krueger. "Myth and Measurement: The New Economics of the Minimum Wage." Princeton University Press. 1997. (Dec. 18, 2013) http://press.princeton.edu/titles/5632.html
  • Centers for Disease Control and Prevention. "Recommended Immunization Schedule for Persons Age 0 through 18 Years: United States, 2013." (Dec. 18, 2013) http://www.cdc.gov/vaccines/schedules/hcp/imz/child-adolescent.html
  • Duhigg, Charles. "How Companies Learn Your Secrets." The New York Times. Feb. 16, 2012. (Dec. 18, 2013) http://www.nytimes.com/2012/02/19/magazine/shopping-habits.html?pagewanted=1&_r=2&hp&
  • ESPN. "Michael Jordan Stats." (Dec. 18, 2013) http://espn.go.com/nba/player/stats/_/id/1035/michael-jordan
  • Gilovich, Thomas, Robert Vallone e Amos Tversky. "A mão quente no basquete: sobre a percepção errônea de sequências aleatórias". Psicologia cognitiva. Vol. 17. Página 295. (18 de dezembro de 2013) http://psych.cornell.edu/sites/default/files/Gilo.Vallone.Tversky.pdf
  • Colina, Caxemira. "Como Target descobriu que uma adolescente estava grávida antes de seu pai." Forbes. 16 de fevereiro de 2012. (18 de dezembro de 2013) http://www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-teen-girl-was-pregnant -antes-o-pai-fizeram/
  • HoopData. "Estatísticas médias da liga." (18 de dezembro de 2013) http://hoopdata.com/regstats.aspx
  • Irwin, Neil. "A típica família americana ganha menos do que em 1989." Washington Post. 17 de setembro de 2013. (18 de dezembro de 2013) http://www.washingtonpost.com/blogs/wonkblog/wp/2013/09/17/the-typical-american-family-makes-less-than-it -fez-em-1989/
  • Johnson, Eric O. e Lonni Schultz. "Viés telescópico para a frente na idade de início relatada: um exemplo do tabagismo". Revista Internacional de Métodos em Pesquisa Psiquiátrica. Vol. 14, nº 3. Página 119. (18 de dezembro de 2013) http://www.ncbi.nlm.nih.gov/pubmed/16389888
  • Koppett, Leonardo. "Levando Estatísticas a Extremos". Notícias Esportivas. 11 de fevereiro de 1978. (18 de dezembro de 2013) http://www.dartmouth.edu/~chance/chance_news/for_chance_news/ChanceNews13.04/SportingNews.pdf
  • Koppett, Leonardo. "Se os touros e os ursos te fizeram búfalo, experimente nossas fórmulas Foxy." Esportes ilustrados. 23 de abril de 1979. (18 de dezembro de 2013) http://sportsillustrated.cnn.com/vault/article/magazine/MAG1094842/index.htm
  • Koppett, Leonardo. "Teoria das ações do Super Bowl está voltando?" (18 de dezembro de 2013) http://www.dartmouth.edu/~chance/chance_news/for_chance_news/ChanceNews13.04/2002stocks.pdf
  • Koppett, Leonardo. "Ações do Super Bowl." (18 de dezembro de 2013) http://online.wsj.com/public/resources/documents/koppett.pdf
  • Kposowa, Augustine J. "Divórcio e risco de suicídio." Jornal de Epidemiologia e Saúde Comunitária. Vol. 57. Página 993. (18 de dezembro de 2013) http://jech.bmj.com/content/57/12/993.full
  • Kposowa, Augustine J. "Estado Marital e Suicídio no Estudo Nacional de Mortalidade Longitudinal". Jornal de Epidemiologia e Saúde Comunitária. Vol. 54. Página 254. (18 de dezembro de 2013) http://jech.bmj.com/content/54/4/254.full
  • A Lanceta. "Retração - Hiperplasia ileal-linfóide-nodular, colite não específica e transtorno invasivo do desenvolvimento em crianças". 2 de fevereiro de 2010. (18 de dezembro de 2013) http://download.thelancet.com/flatcontentasets/pdfs/S0140673610601754.pdf
  • Lawlor, Debbie A., George Davey Smith e Shah Ebrahim. "Comentário: O Enigma da Doença Cardíaca Coronariana-Reposição Hormonal: Esta é a Morte da Epidemiologia Observacional?" Revista Internacional de Epidemiologia. Vol. 33, nº. 3. Página 464. (18 de dezembro de 2013) http://ije.oxfordjournals.org/content/33/3/464.full#ref-4
  • Lehrer, Jonas. "Como decidimos". Houghton Mifflin Harcourt. 2009.
  • Mandell, David S., Maytali M. Novak e Cynthia D. Zubritsky. "Fatores associados à idade de diagnóstico entre crianças com transtornos do espectro do autismo." Pediatria. Vol. 116, nº. 6. Página 1480. (18 de dezembro de 2013) http://pediatrics.aappublications.org/content/116/6/1480.abstract
  • Manson, JoAnn, et ai. "Terapia hormonal da menopausa e resultados de saúde durante as fases de intervenção e pós-interrupção estendidas dos ensaios randomizados da Iniciativa de Saúde da Mulher". Jornal da Associação Médica Americana. Vol. 310, nº. 13. Página 1353. (18 de dezembro de 2013) http://jama.jamanetwork.com/article.aspx?articleid=1745676
  • Instituto Nacional de Saúde. "O que é Transtorno do Espectro Autista?" (18 de dezembro de 2013) http://www.nimh.nih.gov/health/topics/autism-spectrum-disorders-pervasive-developmental-disorders/index.shtml
  • O jornal New York Times. "Terapia de reposição hormonal." (18 de dezembro de 2013) http://www.nytimes.com/health/guides/specialtopic/hormone-replacement-therapy
  • Norris, Floyd. "O Super Bowl prevê o mercado e vice-versa." O jornal New York Times. 24 de janeiro de 1997. (18 de dezembro de 2013) http://www.nytimes.com/1997/01/24/business/the-super-bowl-predicts-the-market-and-vice-versa.html
  • O'Connell, Jeff. "Suicídio masculino uma preocupação crescente em tempos difíceis." Men's Health/NBC News. 4 de dezembro de 2008. (18 de dezembro de 2013) http://www.nbcnews.com/health/male-suicide-growing-concern-tough-times-1C9456424
  • O'Connor, Anahad. "Mais pais ignoram as vacinas infantis." O jornal New York Times. 29 de novembro de 2011. (18 de dezembro de 2013) http://well.blogs.nytimes.com/2011/11/29/more-parents-skip-childhood-vaccines/?_r=0
  • O'Connor, Anahad. "Os mitos cercam o café da manhã e o peso." New York Times. 10 de setembro de 2013. (18 de dezembro de 2013) http://well.blogs.nytimes.com/2013/09/10/myths-surround-breakfast-and-weight/
  • Oppenheimer, Daniel e Benoît Monin. "A falácia do jogador retrospectivo: eventos improváveis, construindo o passado e múltiplos universos." Julgamento e Tomada de Decisão. Vol. 4, não. 5. Página 326. (18 de dezembro de 2013) http://web.princeton.edu/sites/opplab/papers/oppenheimermonin09.pdf
  • Ozonoff, Sally, Kelly Heung, Robert Byrd, Robin Hansen e Irva Hertz-Picciotto. O início do autismo: padrões de aparecimento de sintomas nos primeiros anos de vida. Pesquisa do Autismo. Vol. 1, não. 6. Página 320.
  • http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2857525/
  • Parque, Alice. "1 em cada 10 pais pulam ou atrasam as vacinas." Revista Time. 3 de outubro de 2011. (18 de dezembro de 2013) http://healthland.time.com/2011/10/03/more-than-1-in-10-parents-skip-or-delay-vaccines/
  • Parque, Alice. "Estudo que liga vacinas ao autismo é 'fraudulento'." Revista Time. 06 de janeiro de 2011. (18 de dezembro de 2013) http://healthland.time.com/2011/01/06/study-linking-vaccines-to-autism-is-fraudulent/
  • Parque, Madson. "Onde a dúvida sobre vacinas persiste." CNN. 20 de outubro de 2010. (18 de dezembro de 2013) http://www.cnn.com/2010/HEALTH/10/20/why.not.vaccinate/
  • Ridgers, Bill. "O Livro Economista de Cotações Empresariais." John Wiley & Filhos. 2012.
  • SARETSKY, Gary. "O Experimento OEO PC e o Efeito John Henry." O Phi Delta Kappan. Vol. 53, nº. 9. Página 579. (18 de dezembro de 2013) http://www.jstor.org/stable/20373317
  • Schlundt, David G., James O. Hill, Tracy Sbrocco, Jamie Pope-Cordle e Teresa Sharp. "O papel do café da manhã no tratamento da obesidade: um ensaio clínico randomizado". Revista Americana de Nutrição Clínica. Vol. 55, não. 3. Página 645. (18 de dezembro de 2013) http://ajcn.nutrition.org/content/55/3/645.abstract?sid=2ef145a4-5324-40d0-bead-e669e51756d1
  • Calma, Nancy. "A última palavra sobre terapia hormonal da Iniciativa de Saúde da Mulher." NPR. 4 de outubro de 2013. (18 de dezembro de 2013) http://www.npr.org/blogs/health/2013/10/04/229171477/the-last-word-on-hormone-therapy-from-the - Iniciativa de Saúde da Mulher
  • SIFFERLIN, Alexandra. "Várias vacinas no mesmo dia não aumentam o risco de autismo." Revista Time. 29 de março de 2013. (18 de dezembro de 2013) http://healthland.time.com/2013/03/29/multiple-vaccinations-on-same-day-does-not-raise-autism-risk/
  • Referência Esportiva. "Líderes e recordes de pontos por jogo da NBA e da ABA ano a ano." (18 de dezembro de 2013) http://www.basketball-reference.com/leaders/pts_per_g_yearly.html
  • Stampfer Meir J. e Graham A. Colditz. "Terapia de reposição de estrogênio e doença cardíaca coronária: uma avaliação quantitativa da evidência epidemiológica". Medicina Preventiva. Vol. 20, não. 1. Página 47. (18 de dezembro de 2013) http://www.sciencedirect.com/science/article/pii/009174359190006P
  • Szabo, Liz. "Cronograma completo de vacinas seguro para crianças, sem vínculo com o autismo." EUA hoje. 29 de março de 2013. (18 de dezembro de 2013) http://www.usatoday.com/story/news/nation/2013/03/29/vaccine-schedule-autism/2026617/
  • Taylor, Cris. "A questão escorregadia do Big Data de causalidade versus correlação." Com fio. 15 de julho de 2013. (18 de dezembro de 2013) http://insights.wired.com/profiles/blogs/big-data-s-slippery-issue-of-causation-versus-correlation
  • Toporek, Bryan. "Kobe Bryant vs Michael Jordan: Comparando o GOAT com o aniversariante." Relatório da arquibancada. 23 de agosto de 2013. (18 de dezembro de 2013) http://bleacherreport.com/articles/1732165-kobe-bryant-vs-michael-jordan-comparing-the-goat-to-the-birthday-boy
  • Trex, Ethan. "As 10 superstições mais bizarras dos atletas." Jornal de Wall Street. 14 de julho de 2009. (18 de dezembro de 2013) http://online.wsj.com/news/articles/SB124640412099376447
  • Tversky, Amos e Thomas Gilovich. "Os fatos frios sobre a 'mão quente' no basquete." Em Preferência, Crença e Semelhança: Escritos Selecionados de Amos Tversky e Eldar Shafir. (18 de dezembro de 2013) http://bayes.bgsu.edu/honors/the_hot_hand.pdf
  • Vogt, W. Paul. "Dicionário de Estatística e Metodologia." Sábio. 1993.
  • Wyatt, Holly R., Gary K. Grunwald, Cecilia L. Mosca, Mary L. Klem, Rena R. Wing e James O. Hill. "Perda de peso a longo prazo e café da manhã em indivíduos do Registro Nacional de Controle de Peso". Obesidade Pesquisa Vol. 10, não. 2. Página 78. (18 de dezembro de 2013) http://onlinelibrary.wiley.com/doi/10.1038/oby.2002.13/pdf
  • Zweig, Jason. "Indicador do Super Bowl: A História Secreta." Jornal de Wall Street. 28 de janeiro de 2011. (18 de dezembro de 2013) http://blogs.wsj.com/marketbeat/2011/01/28/super-bowl-indicator-the-secret-history/