애자일 데이터 과학-SparkML

"SparkML"또는 "MLLib"라고도하는 기계 학습 라이브러리는 분류, 회귀, 클러스터링 및 협업 필터링을 포함한 일반적인 학습 알고리즘으로 구성됩니다.

Agile 용 SparkML을 배우는 이유는 무엇입니까?

Spark는 기계 학습 알고리즘 및 애플리케이션을 구축하기위한 사실상의 플랫폼이되고 있습니다. 개발자는 Spark 프레임 워크에서 확장 가능하고 간결한 방식으로 머신 알고리즘을 구현하기 위해 Spark에서 작업합니다. 이 프레임 워크를 통해 머신 러닝의 개념, 유틸리티 및 알고리즘을 배웁니다. Agile은 항상 짧고 빠른 결과를 제공하는 프레임 워크를 선택합니다.

ML 알고리즘

ML 알고리즘에는 분류, 회귀, 클러스터링 및 협업 필터링과 같은 일반적인 학습 알고리즘이 포함됩니다.

풍모

여기에는 기능 추출, 변환, 차원 축소 및 선택이 포함됩니다.

파이프 라인

파이프 라인은 기계 학습 파이프 라인을 구성, 평가 및 조정하기위한 도구를 제공합니다.

인기있는 알고리즘

다음은 몇 가지 인기있는 알고리즘입니다.

• 기본 통계

• Regression

• Classification

• 추천 시스템

• Clustering

• 차원 감소

• 특징 추출

• Optimization

추천 시스템

추천 시스템은 사용자가 주어진 항목에 대해 제안하는 "등급"및 "선호도"를 예측하는 정보 필터링 시스템의 하위 클래스입니다.

추천 시스템은 다음과 같이 사용되는 다양한 필터링 시스템을 포함합니다.

협업 필터링

여기에는 과거의 행동과 다른 사용자가 내린 유사한 결정을 기반으로 모델을 구축하는 것이 포함됩니다. 이 특정 필터링 모델은 사용자가 관심을 갖고있는 항목을 예측하는 데 사용됩니다.

콘텐츠 기반 필터링

여기에는 유사한 속성을 가진 새 항목을 추천하고 추가하기 위해 항목의 개별 특성 필터링이 포함됩니다.

다음 장에서는 특정 문제를 해결하고 애자일 방법론 관점에서 예측 성능을 개선하기위한 추천 시스템 사용에 중점을 둘 것입니다.