당신은 항상 당신의 책상으로 방황하고 당신이 제출하는 보고서에서 오류를 발견했다고 큰 소리로 말하는 동료를 알고 있습니까? 한편으로는 좋습니다. 사장님이 당신이 여전히 "그들 / 거기"를 혼동하는 것을 볼 필요가 없습니다. 반면에 ... 얼마나 고통 스럽습니까.
지난 몇 달 동안 과학자들은 심리적 연구에서 오류를 스캔하는 새로운 애플리케이션 인 statcheck 가 공개 된 것과 똑같은 혼합 된 감정을 느꼈습니다 . 그리고 "도움이되는"동료와 마찬가지로, 몇 가지 신경을 곤두 세운 공개 모드입니다.
정확히 statcheck가하는 일부터 시작하겠습니다. University College London의 신경 과학자 인 Sam Schwarzkopf는 과학 블로그 NeuroNeurotic을 작성 하며이를 통계 용 맞춤법 검사기에 비유합니다. "statcheck에 의해 표시되는 대부분의 오류는 중요하지 않을 가능성이 높습니다."라고 그는 이메일을 통해 설명합니다. "따라서 오류를 보는 것은 약간 고통 스럽지만 실제로는 큰 해를 끼치 지 않습니다." 예를 들어 오타. 잡기는 좋지만 무서운 것은 아닙니다.
그러나 statcheck가 오류를 "결론을 잠재적으로 변경"하는 것으로 표시 할 때 이는 "문장의 의미를 바꿀 것"이라는 오타를 찾는 것과 비슷하다고 Schwarzkopf는 말합니다. 그러나 그렇다고 이러한 통계적 실수가 결과를 확실히 바꾸고 있다는 의미도 아닙니다.
Schwarzkopf는 "대부분의 그러한 오류는 아마도 오타 일 것이며 실제로 결론을 변경하지 않을 것"이라고 확신합니다. "많은 경우 결과에서 숫자 나 그래프를 통해 결론이 정확하고 통계 테스트가 잘못보고 된 것임을 알 수 있습니다."
물론 실제 오류가 발생하여 실제 계산에 오류가 있거나 숫자가 허위 인 경우도 있습니다. 어느 쪽이든, 실제 수동, 구식 검사가 필요합니다.
그래서 멋지죠? 학자들이 제출하기 전에 자신의 연구를 확인하고보다 정확한 결과를 얻을 수 있도록 돕는 방법입니다. 그러나 statcheck의 대규모 출시는 좀 더 극적이었습니다. PubPeer (연구자들이 출판 된 논문을 공유하고 토론 할 수있는 온라인 플랫폼)에있는 50,000 개의 논문이 statcheck를 사용하여 분석되었으므로 자동 생성 된 보고서로 플래그가 지정되었습니다. 오류가 없다고 말했습니다.
특히 논문에 대한 의견이 일반적으로 오류가 발견되었음을 의미하는 포럼에서 자신의 작업을 분석하고 원치 않는 의견에 대해 의견을 낸 것에 대해 모두 가 기뻐 하지는 않았습니다 . statcheck에 의해 용지가 스캔되었음을 알리는 플래그는 잘못된 해석을 초래할 수 있습니다.
그리고 statcheck는 절대 인공 지능의 완벽한 부분이 아니라는 것을 기억하는 것이 중요합니다. "statcheck는 자동화 된 알고리즘이므로 수동 확인만큼 정확하지는 않습니다."라고 Michéle Nuijten은 이메일을 통해 말합니다. Nuijten은 박사입니다. 네덜란드의 틸 부르그 대학교에서 재학 중이며 통계 확인을 도왔습니다. "statcheck가 저지른 실수로 인해 강력한 결론을 내리기 전에 항상 statcheck 플래그가 지정된 불일치를 수동으로 확인해야합니다."
Nuijten과 Chris Hartgerink (PubPeer 논문을 스캔하고보고 한 연구원)는 statcheck에 버그와 실수 가 있음을 분명히했습니다 . statcheck 매뉴얼에는 statcheck가 할 수없는 일에 대한 자세한 목록도 포함되어 있습니다 .
Schwarzkopf도 지적한 내용으로 돌아갑니다. 통계에서 오류를 찾는 것은 좋은 방법이지만 반드시 데이터에 대한 이야기는 아닙니다. 이 논문 은 8 개 중 1 개 논문 에 통계적 결론에 영향을 미칠 수 있는 오류가 포함되어있어 과학이 잘못되었고, 위는 아래로, 아무도 신뢰할 수 없다는 사실에 우리 모두가 당황 할 수 있다고보고합니다. 그러나 statcheck는 실제로 연구의 결론에 얼마나 많은 오류 가 영향을 미치는지 알려주지 않습니다 . 잠재적 인 총 불일치를 표시 할뿐입니다.
Schwarzkopf는 이러한 모든 오류가 잘못된 결론을 의미한다고 당황 할 필요가 없다고 경고합니다. "8 건의 실수 중 압도적 다수는 결과의 실제 오산 때문이 아니라 오타 때문일 것입니다."라고 그는 말합니다. "이러한 오류를 발견하는 것은 확실히 좋지만 결과의 해석을 무효화하지는 않습니다. 오류가 오타 때문인지 실제 오산 때문인지 구별하는 유일한 방법은 데이터 자체를보고 통계를 재현하는 것입니다."
즉, 저자와 출판물이 출판 전에 통계를 확인 (그리고 다시 확인)하고, 결정적으로 결과 를 복제 하고 있는지 확인해야합니다 .
일부 과학자들은 PubPeer에서 자신의 작업을 분석하거나 플래그를 지정하는 것이 기뻐하지 않았지만 연구원은 statcheck 기술을 사용하여 자신의 작업을 다시 확인하는 것이 안도감을 느낄 수 있습니다. http://statcheck.io.
지금 그것은 흥미 롭다
statcheck는 심리 논문에서만 작동하도록 설계되었다는 점에 유의하는 것이 중요합니다. Nuijten과 그녀의 동료들은 현재 생물 의학 및 경제학과 같은 다른 분야로 통계 검사를 확장하기위한 자금을 지원하고 있습니다.
