Big Data Analytics - Datenanalyse-Tools

Es gibt eine Vielzahl von Tools, mit denen ein Datenwissenschaftler Daten effektiv analysieren kann. Normalerweise konzentriert sich der technische Aspekt der Datenanalyse auf Datenbanken, Datenwissenschaftler auf Tools, die Datenprodukte implementieren können. Im folgenden Abschnitt werden die Vorteile verschiedener Tools erläutert, wobei der Schwerpunkt auf statistischen Paketen liegt, die Datenwissenschaftler in der Praxis am häufigsten verwenden.

R Programmiersprache

R ist eine Open-Source-Programmiersprache mit Schwerpunkt auf statistischer Analyse. In Bezug auf statistische Funktionen ist es mit kommerziellen Tools wie SAS und SPSS konkurrenzfähig. Es wird angenommen, dass es eine Schnittstelle zu anderen Programmiersprachen wie C, C ++ oder Fortran ist.

Ein weiterer Vorteil von R ist die große Anzahl verfügbarer Open Source-Bibliotheken. In CRAN gibt es mehr als 6000 Pakete, die kostenlos und in heruntergeladen werden könnenGithub Es gibt eine Vielzahl von R-Paketen.

In Bezug auf die Leistung ist R für intensive Operationen langsam, da aufgrund der großen Anzahl verfügbarer Bibliotheken die langsamen Abschnitte des Codes in kompilierten Sprachen geschrieben sind. Wenn Sie jedoch Vorgänge ausführen möchten, bei denen für Schleifen tief geschrieben werden muss, ist R nicht die beste Alternative. Für Datenanalysezwecke gibt es nette Bibliotheken wiedata.table, glmnet, ranger, xgboost, ggplot2, caret die es ermöglichen, R als Schnittstelle zu schnelleren Programmiersprachen zu verwenden.

Python zur Datenanalyse

Python ist eine Allzweck-Programmiersprache und enthält eine erhebliche Anzahl von Bibliotheken, die sich der Datenanalyse widmen, wie z pandas, scikit-learn, theano, numpy und scipy.

Das meiste, was in R verfügbar ist, kann auch in Python ausgeführt werden, aber wir haben festgestellt, dass R einfacher zu verwenden ist. Wenn Sie mit großen Datenmengen arbeiten, ist Python normalerweise die bessere Wahl als R. Python kann sehr effektiv verwendet werden, um Daten Zeile für Zeile zu bereinigen und zu verarbeiten. Dies ist von R aus möglich, aber für Skriptaufgaben nicht so effizient wie Python.

Für maschinelles Lernen scikit-learnist eine schöne Umgebung, die eine große Anzahl von Algorithmen zur Verfügung hat, die problemlos mittelgroße Datensätze verarbeiten können. Im Vergleich zu Rs äquivalenter Bibliothek (Caret),scikit-learn hat eine sauberere und konsistentere API.

Julia

Julia ist eine leistungsstarke dynamische Programmiersprache für das technische Rechnen. Die Syntax ist R oder Python sehr ähnlich. Wenn Sie also bereits mit R oder Python arbeiten, sollte es recht einfach sein, denselben Code in Julia zu schreiben. Die Sprache ist ziemlich neu und hat in den letzten Jahren erheblich zugenommen, daher ist sie im Moment definitiv eine Option.

Wir würden Julia für rechenintensive Prototyping-Algorithmen wie neuronale Netze empfehlen. Es ist ein großartiges Werkzeug für die Forschung. In Bezug auf die Implementierung eines Modells in der Produktion hat Python wahrscheinlich bessere Alternativen. Dies wird jedoch immer weniger problematisch, da es Webdienste gibt, die die Implementierung von Modellen in R, Python und Julia durchführen.

SAS

SAS ist eine Handelssprache, die immer noch für Business Intelligence verwendet wird. Es verfügt über eine Basissprache, mit der der Benutzer eine Vielzahl von Anwendungen programmieren kann. Es enthält einige kommerzielle Produkte, mit denen Nicht-Experten komplexe Tools wie eine neuronale Netzwerkbibliothek verwenden können, ohne programmieren zu müssen.

Abgesehen von dem offensichtlichen Nachteil kommerzieller Tools lässt sich SAS nicht gut auf große Datenmengen skalieren. Selbst mittelgroße Datasets haben Probleme mit SAS und führen zum Absturz des Servers. Nur wenn Sie mit kleinen Datenmengen arbeiten und die Benutzer keine erfahrenen Datenwissenschaftler sind, ist SAS zu empfehlen. Für fortgeschrittene Benutzer bieten R und Python eine produktivere Umgebung.

SPSS

SPSS ist derzeit ein Produkt von IBM für statistische Analysen. Es wird hauptsächlich zur Analyse von Umfragedaten verwendet und ist für Benutzer, die nicht programmieren können, eine anständige Alternative. Es ist wahrscheinlich so einfach zu verwenden wie SAS, aber in Bezug auf die Implementierung eines Modells ist es einfacher, da es einen SQL-Code zum Bewerten eines Modells bereitstellt. Dieser Code ist normalerweise nicht effizient, aber es ist ein Anfang, während SAS das Produkt verkauft, das Modelle für jede Datenbank separat bewertet. Für kleine Datenmengen und ein unerfahrenes Team ist SPSS eine ebenso gute Option wie SAS.

Die Software ist jedoch eher begrenzt, und erfahrene Benutzer sind mit R oder Python um Größenordnungen produktiver.

Matlab, Oktave

Es gibt andere Tools wie Matlab oder seine Open Source-Version (Octave). Diese Werkzeuge werden hauptsächlich für Forschungszwecke verwendet. In Bezug auf die Funktionen können R oder Python alles tun, was in Matlab oder Octave verfügbar ist. Es ist nur dann sinnvoll, eine Lizenz für das Produkt zu kaufen, wenn Sie an der Unterstützung interessiert sind, die sie bieten.