빅 데이터 분석-문제 정의
이 튜토리얼을 통해 우리는 프로젝트를 개발할 것입니다. 이 튜토리얼의 각 후속 장에서는 미니 프로젝트 섹션에서 더 큰 프로젝트의 일부를 다룹니다. 이것은 실제 문제에 대한 노출을 제공하는 응용 튜토리얼 섹션으로 생각됩니다. 이 경우 프로젝트의 문제 정의부터 시작합니다.
프로젝트 설명
이 프로젝트의 목표는 이력서 (CV) 텍스트를 입력으로 사용하여 사람들의 시간당 급여를 예측하는 기계 학습 모델을 개발하는 것입니다.
위에 정의 된 프레임 워크를 사용하면 문제를 간단하게 정의 할 수 있습니다. 우리는 정의 할 수 있습니다 X = {X 1 , X 2 , ..., X의 N } 이력서의 각 기능을 할 수있는 사용자의 가장 간단한 방법으로 가능 시간이 단어가 나타납니다의 양으로. 그런 다음 응답은 실제 가치가 있으며 개인의 시간당 급여를 달러로 예측하려고합니다.
이 두 가지 고려 사항은 제시된 문제를 감독 회귀 알고리즘으로 해결할 수 있다는 결론을 내리기에 충분합니다.
문제 정의
Problem Definition아마도 빅 데이터 분석 파이프 라인에서 가장 복잡하고 간과 된 단계 중 하나 일 것입니다. 데이터 제품이 해결할 문제를 정의하려면 경험이 필수입니다. 대부분의 데이터 과학자 지망자는이 단계에서 경험이 거의 또는 전혀 없습니다.
대부분의 빅 데이터 문제는 다음과 같은 방식으로 분류 할 수 있습니다.
- 감독 분류
- 감독 회귀
- 비지도 학습
- 순위 배우기
이제이 네 가지 개념에 대해 자세히 알아 보겠습니다.
감독 분류
특징 행렬 X = {x 1 , x 2 , ..., x n }이 주어지면 y = {c 1 , c 2 , ..., c n } 로 정의 된 다른 클래스를 예측하는 모델 M을 개발합니다 . 예 : 보험 회사 고객의 거래 데이터가 주어지면 고객이 이탈할지 여부를 예측하는 모델을 개발할 수 있습니다. 후자는 이진 분류 문제로, 두 개의 클래스 또는 대상 변수 (churn 및 churn 아님)가 있습니다.
다른 문제는 둘 이상의 클래스를 예측하는 것과 관련이 있습니다. 숫자 인식에 관심이있을 수 있으므로 응답 벡터는 다음과 같이 정의됩니다. y = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9} , 최첨단 모델은 컨볼 루션 신경망이되고 특징 행렬은 이미지의 픽셀로 정의됩니다.
감독 회귀
이 경우 문제 정의는 이전 예제와 다소 유사합니다. 차이는 응답에 달려 있습니다. 회귀 문제에서 반응 y ∈ ℜ, 이는 반응이 실수 값임을 의미합니다. 예를 들어, 우리는 이력서의 말뭉치가 주어진 개인의 시간당 급여를 예측하는 모델을 개발할 수 있습니다.
비지도 학습
경영진은 종종 새로운 통찰력에 목 말라합니다. 세분화 모델은 마케팅 부서가 다양한 세그먼트에 대한 제품을 개발할 수 있도록 이러한 통찰력을 제공 할 수 있습니다. 알고리즘을 생각하는 것보다 세분화 모델을 개발하는 좋은 방법은 원하는 세분화와 관련된 기능을 선택하는 것입니다.
예를 들어, 통신 회사에서 휴대폰 사용을 기준으로 클라이언트를 분류하는 것은 흥미 롭습니다. 여기에는 세분화 목표와 관련이없는 기능을 무시하고 해당 기능 만 포함하는 것이 포함됩니다. 이 경우 한 달 동안 사용 된 SMS 수, 인바운드 및 아웃 바운드 시간 (분) 등으로 기능을 선택합니다.
순위 배우기
이 문제는 회귀 문제로 간주 될 수 있지만 특별한 특성이 있으며 별도의 치료가 필요합니다. 문제는 주어진 쿼리에서 가장 관련성이 높은 순서를 찾으려는 문서 모음을 포함합니다. 지도 학습 알고리즘을 개발하기 위해서는 질의가 주어 졌을 때 순서가 얼마나 관련이 있는지 레이블을 지정해야합니다.
지도 학습 알고리즘을 개발하려면 훈련 데이터에 레이블을 지정해야합니다. 즉, 예를 들어 이미지에서 숫자를 인식하는 모델을 학습하려면 상당한 양의 예제에 손으로 레이블을 지정해야합니다. 이 프로세스의 속도를 높일 수있는 웹 서비스가 있으며 Amazon Mechanical Turk와 같이이 작업에 일반적으로 사용됩니다. 학습 알고리즘은 더 많은 데이터가 제공 될 때 성능을 향상시키는 것으로 입증되었으므로 적절한 양의 예제에 레이블을 지정하는 것은지도 학습에서 실질적으로 필수입니다.