Big Data Analytics - Metodologia

Pod względem metodologicznym analiza dużych zbiorów danych znacznie różni się od tradycyjnego statystycznego podejścia do projektowania eksperymentów. Analiza zaczyna się od danych. Zwykle modelujemy dane w sposób wyjaśniający odpowiedź. Celem tego podejścia jest przewidywanie zachowania w odpowiedzi lub zrozumienie, w jaki sposób zmienne wejściowe odnoszą się do odpowiedzi. Zwykle w statystycznych projektach eksperymentów eksperyment jest opracowywany, a w rezultacie pobierane są dane. Pozwala to na generowanie danych w sposób, który może być wykorzystany przez model statystyczny, w którym obowiązują pewne założenia, takie jak niezależność, normalność i randomizacja.

W analizie dużych zbiorów danych przedstawiane są dane. Nie możemy zaprojektować eksperymentu, który spełniałby nasz ulubiony model statystyczny. W zastosowaniach analitycznych na dużą skalę potrzeba dużej ilości pracy (zwykle 80% wysiłku) tylko do czyszczenia danych, więc może być wykorzystana przez model uczenia maszynowego.

Nie mamy unikalnej metodologii do naśladowania w rzeczywistych zastosowaniach na dużą skalę. Zwykle po zdefiniowaniu problemu biznesowego potrzebny jest etap badań w celu zaprojektowania metodologii, która ma zostać zastosowana. Jednak istotne są ogólne wytyczne, o których należy wspomnieć i które mają zastosowanie do prawie wszystkich problemów.

Jednym z najważniejszych zadań w analizie dużych zbiorów danych jest statistical modeling, czyli nadzorowane i nienadzorowane problemy klasyfikacyjne lub regresyjne. Po wyczyszczeniu i wstępnym przetworzeniu danych, dostępnych do modelowania, należy dołożyć starań, aby ocenić różne modele z rozsądnymi miernikami strat, a następnie, po wdrożeniu modelu, należy przedstawić dalszą ocenę i wyniki. Częstą pułapką w modelowaniu predykcyjnym jest po prostu wdrożenie modelu i nigdy nie mierzenie jego wydajności.