Расчет индекса Джини для почти повторяющихся строк

Question

В моем наборе данных есть почти повторяющиеся строки, потому что для каждого сотрудника есть несколько строк в зависимости от того, как долго они остаются в организации. Таким образом, у сотрудника Энн 3 строки, у Боба 2 строки и т. Д. Большинство функций в наборе данных не меняются со временем. Я отбрасываю EmpID и время и провожу классификацию других функций.

Поскольку некоторые функции не меняются со временем, они повторяются. Некоторые повторяются трижды, некоторые - дважды, в зависимости от того, сколько лет сотрудник проработал в организации в трехлетних данных, взятых для исследования.

Повлияет ли это на расчет индекса Джини (или энтропию), поскольку некоторые из них повторяются большее количество раз? Делая это, я придаю больший вес сотруднику, который оставался дольше, когда мне не следовало? Например, у Анн функция Feature4 повторяется трижды, а у Дайаны - только один раз. Должен ли я рассмотреть возможность объединения так, чтобы у меня была одна строка на каждого сотрудника?

Я пробую случайный лес для классификации. Я считаю, что Джини используется для выбора / разделения узла. Отсюда мой вопрос.

EmpID   time  Feature1  Feature2    Feature3  Feature4  Feature5 Feature6 Target   
Ann     1     Commence  Female      20        Ref-Yes   3.6      Good        0  
Ann     2     Not       Female      21        Ref-Yes   4.0      Good        0
Ann     3     Not       Female      22        Ref-Yes   3.2      Good        0
Bob     2     Commence  Male        19        Ref-No    2.6      Avg         0
Bob     3     Not       Male        20        Ref-No    2.7      Avg         1
Cathy   2     Commence  Female      24        Ref-No    1.6      Good        1
Diane   3     Commence  Female      37        Ref-Yes   6.6      Very Good   1

Answer 1

Я буду использовать использованные здесь обозначения: https://stats.stackexchange.com/a/44404/2719

Давайте рассмотрим этот набор данных игрушек:

EmpID   Feature2    Feature4  Target   
Ann     Female      Ref-Yes   0  
Ann     Female      Ref-Yes   0
Bob     Male        Ref-No    0
Cathy   Female      Ref-No    1

Вы можете вычислить $\Delta$ для примеси Джини для каждой функции: $$ \Delta(Feature2,Target) = 1 - (3/4)^2 - (1/4)^2 - 3/4\Big( 1 - (2/3)^2 - (1/3)^2\Big) - 1/4 \cdot 0 \approx 0.041 $$ $$ \Delta(Feature4,Target) = 1 - (3/4)^2 - (1/4)^2 - 1/2 \cdot 0 - 1/2 \Big( 1 - (1/2)^2 - (1/2)^2\Big) \approx 0.125 $$ Согласно этому, $Feature4$ кажется лучше чем $Feature2$. Таким образом, алгоритм индукции дерева решений (включая тележку и случайный лес) выбрал бы разделение узла на основе$Feature4$

Если вы удалите дубликаты, Annэто будет набор данных, а$\Delta$:

EmpID   Feature2    Feature4  Target     
Ann     Female      Ref-Yes   0
Bob     Male        Ref-No    0
Cathy   Female      Ref-No    1

$$ \Delta(Feature2,Target) = 1 - (2/3)^2 - (1/3)^2 - 2/3\Big( 1 - (1/2)^2 - (1/2)^2\Big) - 1/3 \cdot 0 \approx 0.11 $$ $$ \Delta(Feature4,Target) = 1 - (2/3)^2 - (1/3)^2 - 1/3 \cdot 0 - 2/3\Big( 1 - (1/2)^2 - (1/2)^2\Big) \approx 0.11 $$ В $\Delta$ одинаковы, что означает, что предсказательная сила этих двух функций одинакова.

В общем, если вы оставите такие дубликаты, это испортит $\Delta$ расчеты.