Statcheck: When Bots 'Correct' Academics

Trong vài tháng gần đây, các nhà khoa học đã cảm thấy những cảm xúc lẫn lộn giống như statcheck , một ứng dụng mới quét các nghiên cứu tâm lý để tìm lỗi, đã được công bố. Và cũng giống như người đồng nghiệp "hữu ích", chế độ tiết lộ đã khiến một số người lo lắng.

Hãy bắt đầu với những gì chính xác mà statcheck làm. Sam Schwarzkopf, một nhà khoa học thần kinh tại Đại học College London, người viết blog khoa học NeuroNeurotic , ví nó như một công cụ kiểm tra chính tả để thống kê. "Hầu hết các lỗi được gắn cờ bởi statcheck rất có thể là không quan trọng", ông giải thích qua email. "Vì vậy, có chút đau lòng khi nhìn thấy lỗi, nhưng nó thực sự không gây hại nhiều." Ví dụ, một lỗi đánh máy. Tuyệt vời để bắt, nhưng không phải là thảm khốc.

Tuy nhiên, khi statcheck đánh dấu các lỗi là "có khả năng thay đổi kết luận", điều đó giống như việc tìm ra lỗi đánh máy "sẽ thay đổi ý nghĩa của câu," Schwarzkopf nói. Nhưng điều đó không có nghĩa là những sai lầm thống kê này chắc chắn làm thay đổi kết quả.

Schwarzkopf nói: “Tôi cá rằng hầu hết những lỗi như vậy có lẽ là lỗi chính tả và không thực sự thay đổi kết luận. "Trong nhiều trường hợp, bạn có thể biết từ kết quả, con số hoặc biểu đồ, rằng kết luận là đúng và kiểm tra thống kê chỉ đơn giản là báo cáo sai."

Tất nhiên, sẽ có trường hợp có một sai số thực tế, có nghĩa là có một sai lầm với một phép tính thực tế, hoặc các con số là gian lận. Dù bằng cách nào, nó sẽ liên quan đến việc kiểm tra thủ công thực tế, kiểu cũ.

Vì vậy, nó âm thanh tuyệt vời, phải không? Một cách để các học giả kiểm tra nghiên cứu của họ trước khi gửi và giúp hướng tới kết quả chính xác hơn. Nhưng đợt triển khai lớn của statcheck gây ấn tượng hơn một chút: 50.000 bài báo trên PubPeer (một nền tảng trực tuyến cho phép các nhà nghiên cứu chia sẻ và thảo luận về các bài báo đã xuất bản) được phân tích bằng statcheck và do đó được gắn cờ với các báo cáo được tạo tự động - ngay cả khi báo cáo chỉ là nói rằng không có lỗi.

Không phải ai cũng vui mừng khi công việc của họ được phân tích và nhận xét một cách không mong muốn, đặc biệt là trong một diễn đàn nơi nhận xét về một bài báo thường có nghĩa là một lỗi được tìm thấy. Nói cách khác, một lá cờ lưu ý rằng tờ giấy đã được quét bởi statcheck có thể dẫn đến hiểu sai.

Và điều quan trọng cần nhớ là statcheck hoàn toàn không phải là một phần hoàn hảo của trí tuệ nhân tạo. "Vì statcheck là một thuật toán tự động, nó sẽ không bao giờ chính xác như kiểm tra thủ công", Michéle Nuijten cho biết qua email. Nuijten là một Tiến sĩ. sinh viên tại Đại học Tilburg ở Hà Lan và đã giúp tạo ra statcheck. "Do những sai lầm mà statcheck mắc phải, bạn luôn phải kiểm tra thủ công bất kỳ sự mâu thuẫn nào mà statcheck được gắn cờ, trước khi bạn đưa ra kết luận chắc chắn."

Cả Nuijten và Chris Hartgerink (nhà nghiên cứu đã quét và báo cáo trên các bài báo của PubPeer), đều rõ ràng rằng statcheck có lỗi và sai lầm . Hướng dẫn sử dụng statcheck cũng bao gồm danh sách chi tiết về những gì statcheck không thể thực hiện .

Điều mà Schwarzkopf cũng chỉ ra: Tìm lỗi trong số liệu thống kê là một thông tin quan trọng, nhưng nó không nhất thiết phải kể câu chuyện về dữ liệu. Bài báo báo cáo rằng một trong tám bài báo có một lỗi có thể ảnh hưởng đến kết luận thống kê, điều này có thể khiến tất cả chúng ta hoảng sợ rằng khoa học là sai, lên là xuống và không ai đáng tin cậy. Nhưng statcheck không cho chúng ta biết có bao nhiêu lỗi thực sự ảnh hưởng đến kết luận của các nghiên cứu . Nó chỉ đánh dấu sự mâu thuẫn tổng thể tiềm ẩn.

Schwarzkopf cảnh báo rằng chúng ta không cần phải lo lắng rằng tất cả những sai sót này đều có nghĩa là kết luận sai. Ông nói: “Phần lớn thậm chí một trong tám sai lầm này có thể là không quan trọng vì chúng là do lỗi chính tả chứ không phải do tính toán sai kết quả thực tế”. "Việc phát hiện ra những lỗi như vậy chắc chắn là rất tốt nhưng chúng không làm mất hiệu lực cách diễn giải của các phát hiện. Cách duy nhất để phân biệt lỗi là do lỗi chính tả hay do tính toán sai thực sự là tự xem xét dữ liệu và sao chép lại số liệu thống kê."

Nói cách khác, chúng ta cần đảm bảo rằng các tác giả và ấn phẩm đang kiểm tra (và sau đó kiểm tra lại) số liệu thống kê trước khi xuất bản và - quan trọng là - cũng đang nhân rộng kết quả.

Và mặc dù một số nhà khoa học không vui mừng khi công việc của họ được phân tích hoặc gắn cờ trên PubPeer, nhưng công bằng mà nói, các nhà nghiên cứu sẽ thấy thật nhẹ nhõm khi sử dụng công nghệ statcheck để kiểm tra lại công việc của chính họ, điều mà họ có thể dễ dàng thực hiện tạihttp://statcheck.io. 

BÂY GIỜ ĐÓ LÀ SỰ QUAN TÂM

Điều quan trọng cần lưu ý là statcheck chỉ được thiết kế để làm việc cho các bài báo tâm lý. Nuijten và các đồng nghiệp của cô hiện đang nghiên cứu tài trợ để mở rộng lĩnh vực này sang các lĩnh vực khác, như khoa học y sinh và kinh tế.