Che cos'è un "risultato non riproducibile"?
Per pubblicare un articolo di ricerca in una rivista, uno dei requisiti potrebbe essere la riproducibilità dei risultati.
Mi chiedo, in ambito accademico, come può esistere un risultato non riproducibile?
C'è qualche esempio classico per questo, in qualche ramo della ricerca accademica?
Risposte
È importante definire cosa significa effettivamente riproducibilità e in quale contesto viene utilizzata. La scienza si occupa di cose che possono essere riprodotte in linea di principio : se riuscissi a ricreare la stessa identica situazione, saresti in grado di ottenere lo stesso risultato.
Ma in pratica, questo non sempre significa che si può ricreare la situazione: Potreste aver misurato le onde sismiche di un grande terremoto in Indonesia. Oppure potresti aver visto i fotoni di una supernova vicina. Nessuna di queste condizioni può essere creata dagli esseri umani, quindi l'esperimento non può essere ripetuto nella pratica, anche se in linea di principio potrebbe esserlo. Una situazione relativa succede se è poco pratico per farlo: Se l'esperimento originale è stato fatto con un $ macchina di dieci miliardi di dollari (diciamo, un acceleratore di particelle, una reazione di fusione nucleare), allora sì che si potrebbe ripetere l'esperimento, ma probabilmente trovare te stesso nei guai finanziari se ci provassi. Ci sono anche risultati di ricerca validi che dovrebberonon essere riprodotti, anche se potessero: dire, qualunque cosa possiamo aver imparato dallo studio sulla sifilide di Tuskeegee o dall'esperimento della prigione di Stanford potrebbe essere scientificamente corretto, persino ripetibile, ma si può solo sperare che nessuno proverà mai a ripetere questi studi.
Infine, ci sono spesso vincoli pratici: se scatti una foto della turbolenza in un tubo, non sarai in grado di ricreare la stessa immagine perché la turbolenza è un processo caotico; allo stesso modo, se provi a fare esperimenti su una singola cellula e conti il numero di molecole di un tipo specifico, probabilmente scoprirai che dipende sensibilmente dalla temperatura, dall'ora del giorno, ecc. Ciò non significa che il la scienza è sbagliata: in entrambi i casi, le valutazioni statistiche dei risultati possono essere ancora valide, anche se non è possibile ricreare i numeri specifici.
Certo, ci sono anche esperimenti che davvero non possono essere riprodotti: qualcuno ha pubblicato i risultati di un esperimento che sembrava ragionevole a loro e ai revisori, ma il misuratore aveva un difetto meccanico e di conseguenza ogni numero nella pubblicazione è semplicemente sbagliato e l'effetto misurato in realtà non esiste. Questo naturalmente non dovrebbe accadere, ma non accadrà in pratica. Ci sono anche problemi statistici comuni negli studi che coinvolgono un piccolo numero di soggetti umani in cui la scelta casuale, involontaria o volontaria dei soggetti ha suggerito un effetto che, se ripetuto su una coorte più ampia e casuale, in realtà non esiste.
Wikipedia ha un eccellente articolo sull'attuale crisi di replicazione (o crisi di riproducibilità) e non posso sperare di migliorarlo. Ti consiglio di iniziare leggendo quell'articolo, i molti esempi inclusi e gli altri collegamenti a cui si fa riferimento.
La crisi della replicazione (o crisi della replicabilità o crisi della riproducibilità) è, dal 2020, una crisi metodologica in corso in cui è stato riscontrato che molti studi scientifici sono difficili o impossibili da replicare o riprodurre. La crisi della replicazione colpisce le scienze sociali e la medicina in modo più grave. La crisi ha radici di lunga data; la frase è stata coniata all'inizio degli anni 2010 come parte di una crescente consapevolezza del problema. La crisi della replicazione rappresenta un importante corpo di ricerca nel campo della metascienza ...
Glenn Begley e John Ioannidis hanno proposto queste cause:
- Generazione di nuovi dati / pubblicazioni a un ritmo senza precedenti.
- La maggior parte di queste scoperte non resisterà alla prova del tempo.
- La mancata adesione a una buona pratica scientifica e la disperazione di pubblicare o perire.
- Diverse parti interessate
Concludono che nessuna parte è l'unica responsabile e nessuna singola soluzione sarà sufficiente. In effetti, alcune previsioni di una crisi imminente nel meccanismo di controllo della qualità della scienza possono essere fatte risalire a diversi decenni ...
Il filosofo e storico della scienza Jerome R. Ravetz ha predetto nel suo libro del 1971 Scientific Knowledge and Its Social Problems che la scienza - nella sua progressione dalla "piccola" scienza composta da comunità isolate di ricercatori, alla "grande" scienza o "tecno-scienza" - subirebbe grossi problemi nel suo sistema interno di controllo della qualità. Ravetz ha riconosciuto che la struttura degli incentivi per gli scienziati moderni potrebbe diventare disfunzionale, ora nota come l'attuale sfida "pubblica o muori", creando incentivi perversi a pubblicare qualsiasi risultato, per quanto dubbio. Secondo Ravetz, la qualità nella scienza è mantenuta solo quando c'è una comunità di studiosi legati da un insieme di norme e standard condivisi, i quali sono tutti disposti e in grado di ritenersi reciprocamente responsabili.
Tieni presente che gli studi scientifici moderni hanno un aspetto probabilistico nel modo in cui è stato determinato il loro campione casuale. L'obiettivo dell'inferenza statistica è esprimere e chiarire questo fatto. Ad esempio: diciamo che c'è una malattia mortale, un ricercatore crea un farmaco che in verità non fa nulla, ma per fortuna lo dà alle sole 10 persone al mondo che si riprenderanno da sole. Allora quello studio sembrerà avere un successo incredibile e sicuramente verrà pubblicato, anche se nessuno sarà mai in grado di ricreare l'effetto. Questo si chiama Publication Bias e con sempre più studi scientifici condotti nel tempo, si teorizza che la maggior parte degli articoli pubblicati possa ora rientrare in questa categoria.
Informazioni sufficienti per riprodurre
Se guardiamo a un requisito del giornale affinché i risultati siano riproducibili, non si tratta di un risultato riproducibile in linea di principio, ma della possibilità di riprodurlo in base ai contenuti del tuo articolo .
Ad esempio, la carta può descrivere un risultato che si può riprodurre, ma che non è effettivamente riproducibili omettendo dettagli chiave del setup sperimentale o basandosi su dati che sono classificate o comunque non disponibili per gli altri. In tal caso, stai effettivamente chiedendo alla rivista, ai revisori e alla comunità più ampia (che potrebbe effettivamente tentare di riprodurre i risultati in un secondo momento) di accettare i tuoi risultati come veri sulla base di pura fede e buona volontà - e potrebbero rifiutarsi di farlo. Questa limitazione generalmente non è strettamente applicata a cose che sono molto difficili o molto costose da riprodurre (ad esempio, è necessario l'equivalente del Large Hadron Collider per replicare i risultati di LHC, ma la fisica vuole comunque pubblicare i risultati che escono da LHC anche se nessun altro ha un acceleratore di particelle comparabile), ma per le situazioni in cui la riproduzione pratica è plausibile, ha senso imporre agli autori di includere nel documento le informazioni necessarie per farlo.
Considera il data mining o la ricerca sull'apprendimento automatico. Normalmente, inventi un nuovo algoritmo, lo esegui contro concorrenti all'avanguardia su set di dati disponibili pubblicamente e se il tuo algoritmo funziona significativamente meglio, allora hai un documento. Supponendo che l'articolo descriva chiaramente l'algoritmo e il setup sperimentale, questi risultati sono riproducibili: se qualcuno dovesse ripetere i passaggi, dovrebbe arrivare alla stessa conclusione.
Oggigiorno, enormi aziende IT con dipartimenti di ricerca inviano documenti di ricerca anche a conferenze di data mining e machine learning. Immagina che Google inventi un nuovo algoritmo, lo esegua contro concorrenti all'avanguardia su set di dati disponibili pubblicamente e riferisca prestazioni significativamente migliori nel loro articolo. Suona bene, vero? Tuttavia, il nuovo algoritmo potrebbe essere computazionalmente costoso a un livello tale da proibire la riproducibilità: forse l'algoritmo ha bisogno dell'accesso ai server proprietari di Google per essere alimentato con una potenza di calcolo sufficiente per consentire all'algoritmo di finire prima che l'universo implode. Il documento è scritto esattamente allo stesso modo, con dettagli sufficienti in modo tale che se qualcuno dovesse ripetere i passaggi, dovrebbe arrivare alla stessa conclusione. Tuttavia, direi che questa non è ricerca riproducibile: il ricercatore medio dell'università media non sarà in grado di ripetere i passaggi, per mancanza di accesso alle strutture di calcolo.
La cosa complicata è che la ricerca potrebbe essere valida. Sfortunatamente, il revisore medio non ha modo di saperlo. Ma non è certo colpa di Google, quindi dovrebbero essere in grado di pubblicare i loro articoli. Ma non è realmente riproducibile. Quindi questa è un'area molto grigia.
Per pubblicare un articolo di ricerca in una rivista, uno dei requisiti potrebbe essere la riproducibilità dei risultati.
La tua supposizione è falsa. Solo alcuni tipi di riviste richiedono la riproducibilità.
Esempi classici di risultati non riproducibili includono:
- Casi di studio di circostanze uniche. Per le malattie rare, questi sono molto preziosi, ma si applicano anche a molti campi di ricerca non medici.
- Tutta l'astronomia osservativa (esiste un solo universo).
- Fluttuazioni statistiche.
- Esperimenti costosi.
- Errori.
Solo gli errori non dovrebbero essere pubblicati.
Per aggiungere ciò che altri hanno già scritto, la riproducibilità nell'editoria accademica si occupa principalmente della misura in cui hai descritto la tua metodologia di ricerca.
AGGIORNAMENTO: i risultati non riproducibili sono ampiamente disapprovati e sono il risultato di una descrizione non corretta dello studio. C'è spazio nella scienza per i rapporti sull'esperienza e le congetture, tuttavia queste dovrebbero essere inquadrate come tali.
Dì, hai a che fare con qualcosa di unico come una supernova che esplode. Non c'è modo di ricrearlo in alcun senso pratico. Tuttavia, puoi descrivere la stella (tipo, dimensione, distanza, composizione, ambiente, dettagli dell'esplosione, ecc. Ecc.) Per fornire al lettore dettagli sufficienti per capire cosa stai studiando.
Allo stesso modo, descrivi che tipo di strumenti (telescopi, rilevatori ecc.) Hai usato per raccogliere dati, che tipo di metodi hai usato per analizzare i dati e così via. Pertanto, il lettore può risalire alle tue conclusioni sui dati e sulle circostanze in cui sono stati raccolti i dati e sul fenomeno oggetto di indagine.
Pertanto, l'intero studio potrebbe non essere riproducibile, ma parti di esso sì. Ad esempio, utilizzando la stessa attrezzatura allo stesso modo, applicando gli stessi metodi di analisi dei dati, applica il tuo ragionamento per trarre conclusioni.