Big Data Analytics - Methodik

In Bezug auf die Methodik unterscheidet sich die Big-Data-Analyse erheblich vom traditionellen statistischen Ansatz des experimentellen Designs. Analytics beginnt mit Daten. Normalerweise modellieren wir die Daten so, dass eine Antwort erklärt wird. Ziel dieses Ansatzes ist es, das Antwortverhalten vorherzusagen oder zu verstehen, wie sich die Eingabevariablen auf eine Antwort beziehen. Normalerweise wird in statistischen Versuchsplänen ein Experiment entwickelt und als Ergebnis werden Daten abgerufen. Auf diese Weise können Daten auf eine Weise generiert werden, die von einem statistischen Modell verwendet werden kann, bei dem bestimmte Annahmen wie Unabhängigkeit, Normalität und Randomisierung gelten.

In der Big-Data-Analyse werden uns die Daten präsentiert. Wir können kein Experiment entwerfen, das unser bevorzugtes statistisches Modell erfüllt. Bei umfangreichen Analyseanwendungen ist nur zum Bereinigen der Daten ein großer Arbeitsaufwand (normalerweise 80% des Aufwands) erforderlich, sodass er von einem maschinellen Lernmodell verwendet werden kann.

Wir haben keine einzigartige Methodik für echte Großanwendungen. Normalerweise ist nach der Definition des Geschäftsproblems eine Forschungsphase erforderlich, um die zu verwendende Methodik zu entwerfen. Es sind jedoch allgemeine Richtlinien zu erwähnen, die für fast alle Probleme gelten.

Eine der wichtigsten Aufgaben in der Big Data-Analyse ist statistical modelingDies bedeutet überwachte und unbeaufsichtigte Klassifizierungs- oder Regressionsprobleme. Sobald die Daten bereinigt und vorverarbeitet sind und für die Modellierung zur Verfügung stehen, sollte sorgfältig darauf geachtet werden, verschiedene Modelle mit angemessenen Verlustmetriken zu bewerten. Sobald das Modell implementiert ist, sollten weitere Bewertungen und Ergebnisse gemeldet werden. Eine häufige Gefahr bei der prädiktiven Modellierung besteht darin, das Modell nur zu implementieren und niemals seine Leistung zu messen.