NA (MNAR)로 데이터 세트 다루기
많은 (> 50 %) NA 값이있는 데이터 프레임이 있으며이를 처리 할 방법을 찾고 있습니다. 내가 찾은 바에 따르면 많은 사람들이 다중 대치와 같은 대치 또는 임의 포리스트 사용을 권장한다고 생각합니다 (rf는 NA를 중앙값으로 대체하여 결 측값을 처리합니다). 그러나 하위 데이터 세트로 내 상황을 설명하겠습니다.
basket.Africa.1 basket.US.10 basket.France.20
apple 1 0 1
orange NA 3 2
pear NA NA 2
peach 1 NA NA
banana 1 2 3
각 바구니는 기계로 스캔되고 (바구니에서 과일을 부으면 기계가 각 과일을 스캔합니다) 과일의 양이 기록됩니다. 따라서에는 사과 1 개, 복숭아 1 개, 바나나 1 개가 있습니다 basket.Africa.1. basket.Africa.1아프리카의 바구니 # 1 을 나타냅니다.
여기서 NA는 무작위로 누락되지 않으며 NA를 가질 수 없음을 의미합니다. 예를 들어, basket.Africa.1아프리카는 오렌지와 배를 생산하지 않기 때문에 주황색과 배의 NA가 있으므로 오렌지와 배의 수가 NA입니다.
즉, 0 basket.US.10(이 바구니는 미국산)은 누락 된 값을 의미하지 않지만 대신이 바구니에 사과를 넣을 수 있지만이 특정 바구니에는 사과가 없습니다 (미국 바구니 # 10) .
내 목표는 데이터 세트 (5 개국 (아프리카, 미국, 프랑스, 중국, 호주)의 서로 다른 바구니로 구성된 최대 100 개의 열과 서로 다른 과일로 구성된 최대 10 개의 행)을 사용하고 대답 : 임의의 바구니가 주어지면 어떻게 할 수 있습니까? 이 바구니가 어느 국가에 속하는지 결정합니다.
NA에 값이 없어야하므로 NA에 대한 값을 채우는 것이 적절하지 않다고 생각합니다! 나는 또한 다중 대치를 시도하지만 내 데이터에는 너무 많은 결측 값이 포함되어 있으므로이 방법도 작동하지 않습니다 ...
답변
일부 사람들이이 데이터가 MNAR (Missing Not At Random)이라고 말하는 이유를 이해할 수 있지만, 설계 상 누락되었다고 말하는 것이 좋습니다. 때때로 사용되는 또 다른 용어는 구조적 누락입니다.
이를 처리하는 방법은 적합한 모델에 따라 크게 달라집니다. 한 가지 접근 방식은 아무것도하지 않고 NA를 유지하는 것입니다. 일부 모델은 평균 또는 중앙값과 같은 값을 대치하므로 원하지 않지만 NA를 무시 / 삭제해도 괜찮을 수 있습니다. 효과가있을 수있는 또 다른 접근 방식은 이러한 데이터에 대해 고유 한 코딩을 사용하는 것입니다 (예 : 그렇지 않으면 불가능할 수있는 -1) (수를 관찰하는 것처럼 보이기 때문에). 분명히 그것은 포아송이나 음 이항 회귀와 같은 로그 변환을 사용하는 모델은 의문의 여지가 없지만 작동 할 수있는 다른 많은 것, 아마도 트리 기반 일 것임을 의미합니다. 이것은 이상적이지 않으므로 다른 방법과 모델을 사용하여 성능을 탐색합니다.
NA에 값이 없어야하므로 NA에 대한 값을 채우는 것이 적절하지 않다고 생각합니다!
이 진술의 근거는 무엇입니까? 제공 한 다음 예를 고려하십시오.
예를 들어, basket.Africa.1에는 주황색과 배의 NA가 있습니다. 아프리카는 오렌지와 배를 생산하지 않기 때문에 오렌지와 배의 수가 NA입니다.
글쎄요, 만약 당신이 바구니를 봤다면 : 이것에서 배와 오렌지의 관찰 된 빈도는 무엇입니까? 그들은 0입니다-NA를 그것으로 채우십시오.
NA를 사용하여 '결과는 불가능합니다'를 코딩하려는 노력이 필요하지 않을 수 있습니다. 주어진 상황에서 발생할 수없는 이벤트가 관찰 된 빈도에서 거의 확실하게 표시되기 때문입니다.