「再現不可能な結果」とは何ですか？
研究論文をジャーナルに掲載するための要件の1つは、結果の再現性です。
学界では、再現不可能な結果がどのように存在するのだろうかと思います。
学界の研究のどの分野でも、その古典的な例はありますか？
回答
再現性が実際に何を意味し、どのような状況で使用されるかを定義することが重要です。科学は原則として再現できるものを扱っています。まったく同じ状況を再現できれば、同じ結果を得ることができます。
しかし実際には、それは必ずしも状況を再現できることを意味するわけではありません。インドネシアで非常に大きな地震の地震波を測定した可能性があります。または、近くの超新星の光子を見たことがあるかもしれません。これらの条件はどちらも人間が作成することはできないため、原則としては可能ですが、実際には実験を繰り返すことはできません。それが現実的でない場合、関連する状況が発生します。元の実験が100億ドルのマシン（たとえば、粒子加速器、核融合反応）で行われた場合、はい、実験を繰り返すことができますが、おそらくあなたが試みた場合、あなた自身は経済的な問題に直面しています。すべきである有効な研究結果もありますたとえ可能であったとしても、再現することはできません。たとえば、Tuskeegee梅毒の研究やスタンフォード監獄実験から学んだことは、科学的に正しく、再現性があるかもしれませんが、誰もこれらの研究を繰り返そうとしないことを期待できます。
最後に、多くの場合、実際的な制約があります。パイプ内の乱流の写真を撮ると、乱流は混沌としたプロセスであるため、同じ写真を再現することはできません。同様に、単一のセルで実験を行って特定の種類の分子の数を数えようとすると、温度や時刻などに敏感に依存していることに気付くでしょう。それは、科学は間違っています：どちらの場合も、特定の数値を再現できない場合でも、結果の統計的評価は有効である可能性があります。
もちろん、実際には再現できない実験もあります。誰かが実験の結果を公開しましたが、測定装置に機械的な欠陥があり、その結果、公開されているすべての数値が間違っています。測定された効果は実際には存在しません。もちろんこれは起こるべきではありませんが、実際には起こります。被験者のランダム、非自発的、または自発的な選択が、より大きく、よりランダムなコホートで繰り返された場合、実際には存在しない効果を示唆する少数の人間の被験者を含む研究にも一般的な統計的問題があります。
ウィキペディアには、現在の複製の危機（または再現性の危機）に関する優れた記事があり、それを改善することは期待できません。その記事、含まれている多くの例、およびそこにある他の参照リンクを読むことから始めることをお勧めします。
複製の危機（または再現性の危機または再現性の危機）は、2020年の時点で進行中の方法論的危機であり、多くの科学的研究を複製または再現することが困難または不可能であることが判明しています。複製の危機は、社会科学と医学に最も深刻な影響を及ぼします。危機には長年のルーツがあります。このフレーズは、問題に対する意識の高まりの一環として、2010年代初頭に造られました。複製の危機は、メタサイエンスの分野における重要な研究機関です...
グレンベグリーとジョンイオアニディスはこれらの原因を提案しました：
- 前例のない速度での新しいデータ/出版物の生成。
- これらの発見の大部分は、時の試練に耐えられないでしょう。
- 優れた科学的実践に従わなかったことと、出版または消滅することへの絶望。
- 複数の多様な利害関係者
彼らは、いかなる当事者も単独で責任を負わず、単一の解決策では不十分であると結論付けています。実際、科学の品質管理メカニズムにおける差し迫った危機のいくつかの予測は、数十年前にさかのぼることができます...
科学の哲学者であり歴史家でもあるジェロームR.ラベッツは、1971年の著書 『科学知識とその社会問題』で、科学は、研究者の孤立したコミュニティで構成される「小さな」科学から「大きな」科学または「テクノサイエンス」へと発展すると予測しました。品質管理の内部システムに大きな問題が発生します。Ravetzは、現代の科学者のインセンティブ構造が機能不全になり、現在の「公開または消滅」チャレンジとして知られ、疑わしいとはいえ、調査結果を公開するためのひねくれたインセンティブを生み出す可能性があることを認識しました。Ravetzによれば、科学の質は、一連の共有された規範と基準によってリンクされた学者のコミュニティが存在する場合にのみ維持され、そのすべてが互いに責任を負い合うことをいとわない。
現代の科学的研究は、ランダムサンプルがどのように決定されたかに確率的な側面があることに留意してください。この事実を表現し、明確にすることが統計的推論の目標です。例：致命的な病気があるとすると、研究者は実際には何もしない薬を作成しますが、幸運なことに、自然に回復する世界でたった10人にそれを与えるだけです。そうすれば、その効果を再現できる人は誰もいないとしても、その研究は驚くべき成功を収め、確実に公開されるでしょう。これは出版バイアスと呼ばれ、時間の経過とともにますます多くの科学的研究が行われるようになり、出版された論文の大部分が現在このカテゴリーに含まれる可能性があると理論付けられています。
再現するのに十分な情報
結果が再現可能であるためのジャーナル要件を見ると、それは原則として結果が再現可能であるということではなく、あなたの論文の内容に基づいてそれを再現する可能性についてです。
たとえば、あなたの論文は、再現できるが、実験設定の重要な詳細を省略したり、分類されているか他の人が利用できないデータに依存したりすることによって、事実上再現できない結果を説明している場合があります。もしそうなら、あなたは効果的にジャーナル、レビュアー、そしてより広いコミュニティ（実際には後で結果を再現しようとするかもしれません）に純粋な信仰と善意に基づいてあなたの結果を真実として受け入れるように求めています-そして彼らはそうすることを拒否するかもしれません。この制限は通常、再現が非常に困難または非常に費用がかかるものには厳密には適用されません（たとえば、LHCの結果を複製するには、大型ハドロン衝突型加速器に相当するものが必要ですが、物理学では、他に誰もいない場合でも、LHCからの結果を公開したいと考えています。同等の粒子加速器）ですが、実際の複製が妥当である状況では、著者がそうするために必要な情報を論文に含めることを義務付けることは理にかなっています。
データマイニングまたは機械学習の研究を検討してください。通常、新しいアルゴリズムを発明し、公開されているデータセットで最先端の競合他社に対して実行します。アルゴリズムのパフォーマンスが大幅に向上している場合は、論文があります。論文がアルゴリズムと実験のセットアップを明確に説明していると仮定すると、これらの結果は再現可能です。誰かが手順を繰り返した場合、同じ結論に到達するはずです。
現在、研究部門を持つ大規模なIT企業は、データマイニングや機械学習の会議にも研究論文を提出しています。Googleが新しいアルゴリズムを発明し、公開されているデータセットで最先端の競合他社に対して実行し、論文で大幅に優れたパフォーマンスを報告していると想像してみてください。いいですね。ただし、新しいアルゴリズムは、再現性を妨げる程度に計算コストがかかる可能性があります。宇宙が爆縮する前にアルゴリズムを終了するのに十分な計算能力を供給するために、アルゴリズムはGoogle独自のサーバーにアクセスする必要があるかもしれません。論文はまったく同じ方法で書かれており、誰かが手順を繰り返した場合でも同じ結論に達するように十分に詳細に書かれています。しかし、これは再現性のある研究ではないと私は主張します。平均的な大学の平均的な研究者は、計算機能へのアクセスがないため、手順を繰り返すことができません。
トリッキーなことは、研究が非常に有効であるかもしれないということです。残念ながら、平均的なレビューアはこれを知る方法がありません。しかし、それはグーグルのせいではないので、彼らは彼らの論文を発表することができるはずです。しかし、それは実際には再現可能ではありません。したがって、これは非常に灰色の領域です。
研究論文をジャーナルに掲載するための要件の1つは、結果の再現性です。
あなたの仮定は間違っています。特定の種類のジャーナルのみが再現性を必要とします。
再現不可能な結果の典型的な例は次のとおりです。
- 独特の状況のケーススタディ。希少疾患の場合、これらは非常に価値がありますが、多くの非医療分野の研究にも当てはまります。
- すべての観測天文学（宇宙は1つだけです）。
- 統計的変動。
- 高価な実験。
- エラー。
エラーのみを公開しないでください。
他の人がすでに書いたことを追加するために、学術出版の再現性は、主にあなたがあなたの研究方法論をどのように記述したかの程度を扱います。
更新：再現性のない結果は大部分が嫌われており、研究を適切に説明していない結果です。科学には経験報告や推測のための場所がありますが、これらはそのように組み立てられるべきです。
たとえば、超新星が爆発するようなユニークなものを扱っているとします。実用的な意味でそれを再現する方法はありません。ただし、星（タイプ、サイズ、距離、構成、環境、爆発の詳細など）を記述して、読者に学習内容を理解するのに十分な詳細を提供することができます。
同様に、データの収集に使用したツール（望遠鏡、検出器など）の種類、データの分析に使用した方法の種類などについて説明します。したがって、読者はあなたの結論をデータとデータがどのように収集されたかの状況、そして調査されている現象にまでさかのぼることができます。
したがって、研究全体は再現可能ではないかもしれませんが、その一部は再現可能です。同様に、同じ機器を同じ方法で使用し、同じデータ分析方法を適用し、推論を適用して結論を導き出します。