Você conhece aquele colega de trabalho que está sempre andando até sua mesa e dizendo em voz alta que encontrou um erro no relatório que você está entregando? Por um lado, é bom - não há necessidade de o chefe ver que você ainda mistura "deles / lá". Por outro lado... que dor.
Nos últimos meses, os cientistas têm sentido as mesmas emoções misturadas que o statcheck , um novo aplicativo que verifica estudos psicológicos em busca de erros, foi revelado. E, assim como o colega de trabalho "útil", é o modo de revelação que atingiu alguns nervos.
Vamos começar com o que exatamente o statcheck faz. Sam Schwarzkopf, neurocientista da University College London que escreve o blog de ciências NeuroNeurotic , o compara a um corretor ortográfico para estatísticas. "A maioria dos erros sinalizados pelo statcheck são provavelmente inconsequentes", explica ele por e-mail. "Então é um pouco doloroso ver o erro, mas não faz muito mal." Um erro de digitação, por exemplo. Ótimo para pegar, mas não terrível.
No entanto, quando o statcheck sinaliza erros como "potencialmente mudando as conclusões", isso é semelhante a encontrar um erro de digitação que "alteraria o significado da frase", diz Schwarzkopf. Mas isso também não significa que esses erros estatísticos estejam mudando definitivamente os resultados.
"Aposto que a maioria desses erros provavelmente são erros de digitação e não alteram as conclusões", diz Schwarzkopf. "Em muitos casos, você pode dizer pelos resultados, tanto os números quanto os gráficos, que as conclusões estão corretas e o teste estatístico é simplesmente mal informado."
Claro, haverá casos em que há um erro real, o que significaria que houve um erro com um cálculo real ou que os números são fraudulentos. De qualquer forma, isso envolveria uma verificação manual real e antiquada.
Então parece ótimo, certo? Uma maneira de os acadêmicos verificarem suas pesquisas antes do envio e ajudar a trabalhar em direção a resultados mais precisos. Mas o grande lançamento do statcheck foi um pouco mais dramático: 50.000 artigos no PubPeer (uma plataforma online que permite aos pesquisadores compartilhar e discutir artigos publicados) foram analisados usando o statcheck e, portanto, foram sinalizados com relatórios gerados automaticamente - mesmo que o relatório fosse apenas dizendo que não houve erros.
Nem todo mundo ficou entusiasmado por ter seu trabalho analisado e comentado não solicitado, especialmente em um fórum onde um comentário em um artigo geralmente significa que um erro foi encontrado. Uma bandeira indicando que o papel foi escaneado pelo statcheck pode levar a interpretações erradas, em outras palavras.
E é importante lembrar que o statcheck não é de forma alguma uma peça perfeita de inteligência artificial. "Como o statcheck é um algoritmo automatizado, nunca será tão preciso quanto uma verificação manual", diz Michéle Nuijten por e-mail. Nuijten é Ph.D. estudante da Universidade de Tilburg na Holanda e ajudou a criar o statcheck. "Por causa dos erros que o statcheck comete, você sempre precisa verificar manualmente quaisquer inconsistências sinalizadas pelo statcheck, antes de tirar conclusões fortes."
Tanto Nuijten quanto Chris Hartgerink (o pesquisador que escaneou e reportou os artigos do PubPeer), deixaram claro que o statcheck tinha bugs e erros . O manual do statcheck também inclui listas detalhadas do que o statcheck não pode fazer .
O que volta ao que Schwarzkopf também aponta: encontrar erros nas estatísticas é um grande alerta, mas não necessariamente conta a história dos dados. O artigo relata que um em cada oito artigos continha um erro que pode ter afetado a conclusão estatística, o que pode levar todos nós ao pânico de que a ciência está errada, para cima é para baixo e ninguém é confiável. Mas o statcheck não nos diz quantos erros realmente afetaram as conclusões dos estudos . Apenas sinaliza possíveis inconsistências grosseiras.
Schwarzkopf adverte que não precisamos entrar em pânico porque todos esses erros significam conclusões falsas. "A esmagadora maioria, mesmo desses um em cada oito erros, provavelmente são inconsequentes porque se devem a erros de digitação e não a erros de cálculo reais dos resultados", diz ele. "É definitivamente bom detectar esses erros, mas eles não invalidam as interpretações das descobertas. A única maneira de distinguir se um erro é devido a um erro de digitação ou erro de cálculo verdadeiro é olhar para os próprios dados e reproduzir as estatísticas."
Em outras palavras, precisamos ter certeza de que autores e publicações estão checando (e então checando novamente) as estatísticas antes da publicação e – crucialmente – também estão replicando os resultados.
E embora alguns cientistas não tenham gostado de ter seu trabalho analisado ou sinalizado no PubPeer, é justo dizer que os pesquisadores acharão um alívio usar a tecnologia statcheck para verificar novamente seu próprio trabalho, o que agora eles podem fazer facilmente emhttp://statcheck.io.
AGORA É INTERESSANTE
É importante notar que o statcheck é projetado apenas para funcionar em artigos psicológicos. Nuijten e seus colegas estão atualmente trabalhando em financiamento para expandir a verificação de estatísticas para outros campos, como ciências biomédicas e economia.
