ビッグデータ分析-方法論

方法論の点では、ビッグデータ分析は実験計画の従来の統計的アプローチとは大きく異なります。分析はデータから始まります。通常、応答を説明する方法でデータをモデル化します。このアプローチの目的は、応答の動作を予測すること、または入力変数が応答にどのように関連するかを理解することです。通常、統計実験計画では、実験が開発され、その結果としてデータが取得されます。これにより、独立性、正規性、ラ​​ンダム化などの特定の仮定が成り立つ統計モデルで使用できる方法でデータを生成できます。

ビッグデータ分析では、データが提示されます。お気に入りの統計モデルを満たす実験を設計することはできません。分析の大規模なアプリケーションでは、データをクリーンアップするためだけに大量の作業（通常は作業の80％）が必要になるため、機械学習モデルで使用できます。

実際の大規模アプリケーションで従うべき独自の方法論はありません。通常、ビジネス上の問題が定義されたら、使用する方法論を設計するための調査段階が必要です。ただし、一般的なガイドラインは言及するのに関連しており、ほとんどすべての問題に適用されます。

ビッグデータ分析で最も重要なタスクの1つは statistical modeling、教師ありおよび教師なしの分類または回帰の問題を意味します。データがクリーンアップされて前処理され、モデリングに使用できるようになったら、妥当な損失メトリックを使用してさまざまなモデルを評価する際に注意を払う必要があります。モデルが実装されたら、さらに評価と結果を報告する必要があります。予測モデリングの一般的な落とし穴は、モデルを実装するだけで、そのパフォーマンスを測定しないことです。