आप उस सहकर्मी को जानते हैं जो हमेशा आपकी मेज पर घूमता रहता है और जोर-जोर से आपको बता रहा है कि जिस रिपोर्ट को आप बदल रहे हैं उसमें उन्हें कोई त्रुटि मिली है? एक ओर, यह अच्छा है - बॉस को यह देखने की कोई आवश्यकता नहीं है कि आप अभी भी "उनके / वहाँ" को मिलाते हैं। दूसरी ओर ... क्या दर्द है।
पिछले कुछ महीनों में, वैज्ञानिकों ने स्टैटचेक के समान मिश्रित भावनाओं को महसूस किया है , एक नया एप्लिकेशन जो त्रुटियों के लिए मनोवैज्ञानिक अध्ययनों को स्कैन करता है, का अनावरण किया गया है। और "सहायक" सहकर्मी की तरह, यह अनावरण का तरीका है जिसने कुछ नसों को मारा है।
आइए शुरू करते हैं कि वास्तव में statcheck क्या करता है। सैम श्वार्जकोफ, यूनिवर्सिटी कॉलेज लंदन के एक न्यूरोसाइंटिस्ट, जो विज्ञान ब्लॉग न्यूरोन्यूरोटिक को कलमबद्ध करते हैं, इसकी तुलना आँकड़ों के लिए एक वर्तनी परीक्षक से करते हैं। "स्टैकचेक द्वारा फ़्लैग की गई अधिकांश त्रुटियां संभवतः अप्रासंगिक हैं," वे ईमेल के माध्यम से बताते हैं। "तो त्रुटि को देखना थोड़ा दर्दनाक है, लेकिन यह वास्तव में बहुत नुकसान नहीं करता है।" उदाहरण के लिए, एक टाइपो। पकड़ने के लिए बढ़िया, लेकिन भयानक नहीं।
हालाँकि, जब स्टैचचेक त्रुटियों को "संभावित रूप से निष्कर्ष बदलने" के रूप में चिह्नित करता है, तो यह एक टाइपो खोजने के समान है जो "वाक्य का अर्थ बदल देगा," श्वार्जकोफ कहते हैं। लेकिन इसका मतलब यह नहीं है कि ये सांख्यिकीय गलतियाँ निश्चित रूप से परिणाम बदल रही हैं।
"मैं शर्त लगाता हूं कि ऐसी अधिकांश त्रुटियां शायद टाइपो हैं और वास्तव में निष्कर्ष नहीं बदलती हैं, " श्वार्जकोफ कहते हैं। "कई मामलों में आप परिणामों से बता सकते हैं, या तो संख्या या ग्राफ़, कि निष्कर्ष सही हैं और सांख्यिकीय परीक्षण को केवल गलत तरीके से रिपोर्ट किया गया है।"
बेशक, ऐसे मामले होंगे जब कोई वास्तविक त्रुटि होगी, जिसका अर्थ होगा कि वास्तविक गणना में कोई गलती थी, या यह कि संख्याएं धोखाधड़ी हैं। किसी भी तरह से, इसमें वास्तविक मैनुअल, पुराने जमाने की जाँच शामिल होगी।
तो यह बहुत अच्छा लगता है, है ना? शिक्षाविदों के लिए प्रस्तुत करने से पहले अपने शोध की जांच करने और अधिक सटीक परिणामों की दिशा में काम करने में मदद करने का एक तरीका। लेकिन स्टैटचेक का बड़ा रोलआउट थोड़ा अधिक नाटकीय था: पबपीयर पर 50,000 पेपर (एक ऑनलाइन प्लेटफॉर्म जो शोधकर्ताओं को प्रकाशित पत्रों को साझा करने और चर्चा करने की अनुमति देता है) का विश्लेषण स्टैचैक का उपयोग करके किया गया था, और इस प्रकार स्वचालित रूप से जेनरेट की गई रिपोर्ट के साथ फ़्लैग किया गया था - भले ही रिपोर्ट सिर्फ थी कह रहे हैं कि कोई त्रुटि नहीं थी।
हर कोई अपने काम का विश्लेषण करने और अवांछित पर टिप्पणी करने के लिए रोमांचित नहीं था, खासकर एक ऐसे मंच में जहां एक पेपर पर एक टिप्पणी का मतलब आम तौर पर एक त्रुटि पाई जाती है। एक ध्वज यह नोट करता है कि कागज को स्टैचैक द्वारा स्कैन किया गया है, दूसरे शब्दों में गलत व्याख्या हो सकती है।
और यह याद रखना महत्वपूर्ण है कि स्टैचचेक किसी भी तरह से कृत्रिम बुद्धिमत्ता का एक आदर्श टुकड़ा नहीं है। "चूंकि स्टेटचेक एक स्वचालित एल्गोरिदम है, यह मैन्युअल जांच के रूप में कभी भी सटीक नहीं होगा, " ईमेल के माध्यम से मिशेल नुइज्टन कहते हैं। Nuijten एक पीएच.डी. नीदरलैंड में टिलबर्ग विश्वविद्यालय में छात्र और स्टेटचेक बनाने में मदद की। "स्टैकचेक की गलतियों के कारण, आपको मजबूत निष्कर्ष निकालने से पहले, आपको हमेशा किसी भी असंगतता स्टैटचेक को फ़्लैग किया गया मैन्युअल रूप से जांचना होगा।"
Nuijten और Chris Hartgerink (शोधकर्ता जिन्होंने PubPeer पेपर्स को स्कैन और रिपोर्ट किया) दोनों स्पष्ट थे कि स्टैचैक में बग और गलतियाँ थीं । स्टेटचेक मैनुअल में विस्तृत सूचियां भी शामिल हैं जो स्टेटचेक नहीं कर सकती हैं ।
जो श्वार्जकोफ भी बताता है: आंकड़ों में त्रुटियों का पता लगाना एक महान सिर-अप है, लेकिन यह जरूरी नहीं कि डेटा की कहानी बताता है। पेपर रिपोर्ट करता है कि आठ पेपरों में से एक में एक त्रुटि थी जिसने सांख्यिकीय निष्कर्ष को प्रभावित किया हो सकता है, जिससे हम सभी को घबराहट हो सकती है कि विज्ञान गलत है, ऊपर नीचे है, और किसी पर भरोसा नहीं किया जाना चाहिए। लेकिन स्टैटचेक हमें यह नहीं बताता कि वास्तव में कितनी त्रुटियों ने अध्ययन के निष्कर्षों को प्रभावित किया । यह सिर्फ संभावित सकल विसंगतियों को चिह्नित करता है।
श्वार्जकोफ ने चेतावनी दी है कि हमें घबराने की जरूरत नहीं है कि इन सभी त्रुटियों का मतलब गलत निष्कर्ष है। "आठ गलतियों में से एक में भी भारी बहुमत शायद अप्रासंगिक है क्योंकि वे परिणामों की वास्तविक गलत गणना के बजाय टाइपो के कारण हैं, " वे कहते हैं। "ऐसी त्रुटियों का पता लगाना निश्चित रूप से अच्छा है लेकिन वे निष्कर्षों की व्याख्याओं को अमान्य नहीं करते हैं। यह अंतर करने का एकमात्र तरीका है कि कोई त्रुटि टाइपो या सही गलत गणना के कारण है या नहीं, डेटा को स्वयं देखें और आंकड़ों को पुन: पेश करें।"
दूसरे शब्दों में, हमें यह सुनिश्चित करने की आवश्यकता है कि लेखक और प्रकाशन प्रकाशन से पहले आँकड़ों की जाँच (और फिर पुन: जाँच) कर रहे हैं और - महत्वपूर्ण रूप से - परिणामों की नकल भी कर रहे हैं।
और हालांकि कुछ वैज्ञानिक पबपीयर पर अपने काम का विश्लेषण या फ़्लैग करने के लिए रोमांचित नहीं थे, यह कहना उचित है कि शोधकर्ताओं को अपने स्वयं के काम को दोबारा जांचने के लिए स्टैचैक तकनीक का उपयोग करने में राहत मिलेगी, जिसे वे अब आसानी से कर सकते हैंhttp://statcheck.io.
अब यह दिलचस्प है
यह ध्यान रखना महत्वपूर्ण है कि स्टेटचेक केवल मनोवैज्ञानिक कागजात के लिए काम करने के लिए डिज़ाइन किया गया है। नुइजटेन और उनके सहयोगी वर्तमान में बायोमेडिकल साइंस और अर्थशास्त्र जैसे अन्य क्षेत्रों में स्टैटचेक का विस्तार करने के लिए वित्त पोषण पर काम कर रहे हैं।
