アジャイルデータサイエンス-SparkML
「SparkML」または「MLLib」とも呼ばれる機械学習ライブラリは、分類、回帰、クラスタリング、協調フィルタリングなどの一般的な学習アルゴリズムで構成されています。
なぜアジャイルのためのSparkMLを学ぶのですか？
Sparkは、機械学習アルゴリズムとアプリケーションを構築するための事実上のプラットフォームになりつつあります。開発者は、Sparkフレームワークにスケーラブルで簡潔な方法でマシンアルゴリズムを実装するためにSparkに取り組んでいます。このフレームワークを使用して、機械学習の概念、そのユーティリティ、およびアルゴリズムを学習します。アジャイルは常にフレームワークを選択します。これにより、短時間で迅速な結果が得られます。
MLアルゴリズム
MLアルゴリズムには、分類、回帰、クラスタリング、協調フィルタリングなどの一般的な学習アルゴリズムが含まれます。
特徴
これには、特徴抽出、変換、次元削減、および選択が含まれます。
パイプライン
パイプラインは、機械学習パイプラインを構築、評価、調整するためのツールを提供します。
人気のあるアルゴリズム
以下はいくつかの一般的なアルゴリズムです-
基本統計
Regression
Classification
レコメンデーションシステム
Clustering
次元削減
特徴抽出
Optimization
レコメンデーションシステム
レコメンデーションシステムは、ユーザーが特定のアイテムに提案する「評価」と「好み」の予測を求める情報フィルタリングシステムのサブクラスです。
レコメンデーションシステムには、次のように使用されるさまざまなフィルタリングシステムが含まれます。
協調フィルタリング
これには、過去の行動や他のユーザーによる同様の決定に基づいたモデルの構築が含まれます。この特定のフィルタリングモデルは、ユーザーが取り込みたいアイテムを予測するために使用されます。
コンテンツベースのフィルタリング
これには、同様のプロパティを持つ新しいアイテムを推奨および追加するために、アイテムの個別の特性のフィルタリングが含まれます。
以降の章では、特定の問題を解決し、アジャイル手法の観点から予測パフォーマンスを向上させるためのレコメンデーションシステムの使用に焦点を当てます。