代入は許容できないバイアスをもたらしますか？
私は最近、データセット内の欠落している値を置き換えるための現実的な値を「推測」する代入手法について知りました。これに関する私の大きな問題は、データがすでに持っているものと類似していると仮定してデータを推測していることです。これにより、データに含まれる可能性のあるパターンが強化され、重要でないパターンが重要なパターンに変わる可能性があります。この慣行はどのように受け入れられますか？何が足りないのですか？
私はこのトピックに比較的慣れていませんが、いくつかの調査を行いました。代入手法は、すべてのNAを固定の「現実的な」値に置き換えることから、観測値の平均値に置き換えること、欠落している値を推測することまで多岐にわたります。最近傍法または最尤法を使用します。これらの方法がどのように機能するかは理解していますが、データを作成しているという考えを揺るがすことはできません。代入手法は、複雑さや作成されたデータが実際にどれだけ近いかが異なりますが、それでもデータを作成しています。私にとって、この慣行は、実際のサンプルだけでなく、実際の改ざんされていないサンプルに基づいて母集団に関する現実的な推論を引き出すためのツールとして、統計のポイント全体を打ち負かします。イアン・マルコムを言い換えると、私の質問は、私たちがそれを行うことができるかどうかではなく、私たちがすべきかどうかについてです。
統計学者の傲慢さに対するテューキーの最初の原則は次のとおりです。
一部のデータと回答に対する切実な欲求の組み合わせは、特定のデータ本体から合理的な回答を抽出できることを保証するものではありません。
（「SunsetSalvo」、The American Statistician 40（1）、72-76、1986年2月から）
代入はそれに衝突しませんか？
私は、それが私の無知な話であるかもしれないことを理解しています。それは、統計学者がこの生き生きとしたものを読んでいるのかもしれません。もしそうなら、私に教えてください。また、関連する文献へのポインタをいただければ幸いです。これまでのところ、ロビンソンの「Rでの森林分析」の関連する章のみを読みました。乾杯！
回答
ここに明確な答えはありません。ただし、検証手順を使用して代入の効果を検証できるのは楽しいことです。データに決定を任せてください。
いくつかの値が欠落している場合、機能を破棄する必要がありますか？それとも観察？これらの観測値に他の機能の貴重な情報があり、アルゴリズムが欠落値を処理できない場合はどうなりますか？等々。
観測値や特徴を削除するような代入は、欠測値を処理する方法にすぎません。どちらが最適かという決定は、（相互）検証などの優れたマシン手順によってサポートされる必要があります。