빅 데이터 분석-데이터 분석 도구

데이터 과학자가 데이터를 효과적으로 분석 할 수있는 다양한 도구가 있습니다. 일반적으로 데이터 분석의 엔지니어링 측면은 데이터베이스에 중점을두고 데이터 과학자는 데이터 제품을 구현할 수있는 도구에 중점을 둡니다. 다음 섹션에서는 데이터 과학자가 실제로 가장 자주 사용하는 통계 패키지에 초점을 맞춘 다양한 도구의 장점에 대해 설명합니다.

R 프로그래밍 언어

R은 통계 분석에 중점을 둔 오픈 소스 프로그래밍 언어입니다. 통계 기능 측면에서 SAS, SPSS와 같은 상용 도구와 경쟁합니다. C, C ++ 또는 Fortran과 같은 다른 프로그래밍 언어에 대한 인터페이스로 간주됩니다.

R의 또 다른 장점은 사용 가능한 많은 오픈 소스 라이브러리입니다. CRAN에는 무료로 다운로드 할 수있는 6000 개 이상의 패키지가 있습니다.Github 사용 가능한 다양한 R 패키지가 있습니다.

성능 측면에서 R은 사용 가능한 라이브러리가 많고 코드의 느린 섹션이 컴파일 된 언어로 작성되므로 집약적 인 작업에는 느립니다. 그러나 깊은 for 루프를 작성해야하는 작업을 수행하려는 경우 R이 최선의 대안이 아닙니다. 데이터 분석 목적으로 다음과 같은 멋진 라이브러리가 있습니다.data.table, glmnet, ranger, xgboost, ggplot2, caret 더 빠른 프로그래밍 언어에 대한 인터페이스로 R을 사용할 수 있습니다.

데이터 분석을위한 Python

Python은 범용 프로그래밍 언어이며 다음과 같은 데이터 분석 전용 라이브러리를 많이 포함합니다. pandas, scikit-learn, theano, numpy 과 scipy.

R에서 사용할 수있는 대부분의 작업은 Python에서도 수행 할 수 있지만 R이 사용하기 더 쉽다는 것을 알았습니다. 대규모 데이터 세트로 작업하는 경우 일반적으로 Python이 R보다 더 나은 선택입니다. Python은 데이터를 한 줄씩 정리하고 처리하는 데 매우 효과적으로 사용할 수 있습니다. 이것은 R에서 가능하지만 스크립팅 작업을 위해 Python만큼 효율적이지 않습니다.

머신 러닝의 경우 scikit-learn중간 크기의 데이터 세트를 문제없이 처리 할 수있는 많은 양의 알고리즘을 사용할 수있는 멋진 환경입니다. R의 동등한 라이브러리 (캐럿)와 비교하면scikit-learn 더 깨끗하고 일관된 API가 있습니다.

줄리아

Julia는 기술 컴퓨팅을위한 높은 수준의 고성능 동적 프로그래밍 언어입니다. 구문은 R 또는 Python과 매우 유사하므로 이미 R 또는 Python으로 작업중인 경우 Julia에서 동일한 코드를 작성하는 것이 매우 간단해야합니다. 이 언어는 매우 새롭고 지난 몇 년 동안 크게 성장 했으므로 현재로서는 확실히 옵션입니다.

신경망과 같이 계산 집약적 인 알고리즘 프로토 타이핑에는 Julia를 권장합니다. 연구를위한 훌륭한 도구입니다. 프로덕션에서 모델을 구현하는 측면에서 아마도 Python에는 더 나은 대안이 있습니다. 그러나 R, Python 및 Julia에서 모델을 구현하는 엔지니어링을 수행하는 웹 서비스가 있기 때문에 이것은 문제가되지 않습니다.

SAS

SAS는 비즈니스 인텔리전스에 여전히 사용되고있는 상용 언어입니다. 사용자가 다양한 응용 프로그램을 프로그래밍 할 수있는 기본 언어가 있습니다. 비전문가 사용자에게 프로그래밍없이 신경망 라이브러리와 같은 복잡한 도구를 사용할 수있는 기능을 제공하는 몇 가지 상용 제품이 포함되어 있습니다.

상용 도구의 명백한 단점 외에도 SAS는 대규모 데이터 세트로 확장되지 않습니다. 중간 크기의 데이터 세트조차도 SAS에 문제가 발생하여 서버가 중단됩니다. 소규모 데이터 세트로 작업하고 사용자가 전문 데이터 과학자가 아닌 경우에만 SAS를 권장합니다. 고급 사용자를 위해 R 및 Python은보다 생산적인 환경을 제공합니다.

SPSS

SPSS는 현재 통계 분석을위한 IBM의 제품입니다. 주로 설문 조사 데이터를 분석하는 데 사용되며 프로그래밍 할 수없는 사용자에게는 괜찮은 대안입니다. SAS만큼 사용하기 쉽지만 모델 구현 측면에서 모델 점수를 매기기위한 SQL 코드를 제공하므로 더 간단합니다. 이 코드는 일반적으로 효율적이지 않지만 SAS는 각 데이터베이스에 대해 개별적으로 모델을 평가하는 제품을 판매하는 반면 시작입니다. 소규모 데이터와 경험이없는 팀의 경우 SPSS는 SAS만큼 좋은 옵션입니다.

그러나 소프트웨어는 다소 제한적이며 숙련 된 사용자는 R 또는 Python을 사용하여 훨씬 더 생산적입니다.

Matlab, 옥타브

Matlab 또는 오픈 소스 버전 (Octave)과 같은 다른 도구를 사용할 수 있습니다. 이러한 도구는 주로 연구에 사용됩니다. 기능 측면에서 R 또는 Python은 Matlab 또는 Octave에서 사용할 수있는 모든 작업을 수행 할 수 있습니다. 제품이 제공하는 지원에 관심이있는 경우에만 제품 라이센스를 구입하는 것이 합리적입니다.