ほぼ重複する行のジニ係数の計算
従業員が組織に滞在した期間に応じて各従業員に複数の行があるため、私のデータセットにはほぼ重複した行があります。したがって、従業員のAnnには3行、Bobには2行などがあります。データセットのほとんどの機能は時間の経過とともに変化しません。EmpIDと時間を削除し、他の機能の分類を実行しています。
一部の機能は時間の経過とともに変化しないため、繰り返されます。調査のために取得した3年間のデータで、従業員が組織に何年在籍していたかによって、3回繰り返されるものもあれば、2回繰り返されるものもあります。
いくつかはより多くの回数繰り返されるので、これはジニ係数の計算（またはエントロピー）に悪影響を及ぼしますか？これを行うことで、私は、あるべきではないときに長く滞在した従業員により多くの重みを与えていますか？たとえば、アンはFeature4を3回繰り返していますが、ダイアンは1回しか繰り返していません。従業員ごとに1行になるように、ロールアップすることを検討する必要がありますか？
分類のためにランダムフォレストを試しています。ジニはノードの選択/分割に使用されると思います。したがって、私の質問。
EmpID time Feature1 Feature2 Feature3 Feature4 Feature5 Feature6 Target
Ann 1 Commence Female 20 Ref-Yes 3.6 Good 0
Ann 2 Not Female 21 Ref-Yes 4.0 Good 0
Ann 3 Not Female 22 Ref-Yes 3.2 Good 0
Bob 2 Commence Male 19 Ref-No 2.6 Avg 0
Bob 3 Not Male 20 Ref-No 2.7 Avg 1
Cathy 2 Commence Female 24 Ref-No 1.6 Good 1
Diane 3 Commence Female 37 Ref-Yes 6.6 Very Good 1
回答
ここで使用されている表記法を使用します。 https://stats.stackexchange.com/a/44404/2719
このおもちゃのデータセットについて考えてみましょう。
EmpID Feature2 Feature4 Target
Ann Female Ref-Yes 0
Ann Female Ref-Yes 0
Bob Male Ref-No 0
Cathy Female Ref-No 1
あなたは計算することができます $\Delta$ 各機能のジニ不純物の場合： $$ \Delta(Feature2,Target) = 1 - (3/4)^2 - (1/4)^2 - 3/4\Big( 1 - (2/3)^2 - (1/3)^2\Big) - 1/4 \cdot 0 \approx 0.041 $$ $$ \Delta(Feature4,Target) = 1 - (3/4)^2 - (1/4)^2 - 1/2 \cdot 0 - 1/2 \Big( 1 - (1/2)^2 - (1/2)^2\Big) \approx 0.125 $$ これによれば、 $Feature4$ より良いようです $Feature2$。したがって、決定木帰納アルゴリズム（カートとランダムフォレストを含む）は、に基づいてノードを分割することを選択します。$Feature4$
重複を削除すると、Annこれはデータセットと$\Delta$：
EmpID Feature2 Feature4 Target
Ann Female Ref-Yes 0
Bob Male Ref-No 0
Cathy Female Ref-No 1
$$ \Delta(Feature2,Target) = 1 - (2/3)^2 - (1/3)^2 - 2/3\Big( 1 - (1/2)^2 - (1/2)^2\Big) - 1/3 \cdot 0 \approx 0.11 $$ $$ \Delta(Feature4,Target) = 1 - (2/3)^2 - (1/3)^2 - 1/3 \cdot 0 - 2/3\Big( 1 - (1/2)^2 - (1/2)^2\Big) \approx 0.11 $$ ザ・ $\Delta$ は同じです。これは、2つの特徴の予測力が同じであることを意味します。
一般に、そのような重複を残すと、混乱します $\Delta$ 計算。