Der Datenanalyseprozess

Hallo.

Den größten Teil dieses Jahres habe ich Stunden damit verbracht, mich mit der Datenanalyse vertraut zu machen. Es wurden unzählige Stipendien angeboten und ich konnte zwei davon ergattern. Bisher habe ich eines abgeschlossen und ein Zertifikat erhalten, das derzeit meinen Lebenslauf ziert.

Als fortgeschrittener Datenanalyst habe ich endlich das Gefühl, dass ich das Selbstvertrauen habe, etwas Wertvolles mit aufstrebenden Datenanalysten wie mir zu teilen. Heute beginnen wir also mit den Grundlagen; der Datenanalyseprozess.

Ich habe den Datenanalyseprozess in fünf Schritte gegliedert: Fragen, Streiten, Untersuchen, Schlussfolgerungen ziehen und Kommunizieren. Quelle

Nachfolgend finden Sie eine Übersicht über die wichtigsten Punkte, aber Sie können gerne weitere hinzufügen oder sie in den Kommentarabschnitten erläutern. Wir werden jeden Schritt in den kommenden Beiträgen in einem projektbasierten Format üben und Sie werden den gesamten Prozess im Handumdrehen erledigen.

Schritt 1: Stellen Sie Fragen

Entweder man bekommt Daten und stellt darauf aufbauend Fragen oder man stellt zuerst Fragen und sammelt darauf aufbauend später Daten. In beiden Fällen helfen Ihnen gute Fragen, sich auf relevante Teile Ihrer Daten zu konzentrieren und Ihre Analyse auf aussagekräftige Erkenntnisse auszurichten.

Die Datenerfassung kann auf verschiedene Arten erfolgen:

• Herunterladen von Dateien, die leicht verfügbar sind.
• Sammeln von Daten von einer API oder Web Scraping.
• Abrufen von Daten aus bestehenden Datenbanken.

Sie erhalten die benötigten Daten in einer Form, mit der Sie in drei Schritten arbeiten können: sammeln, auswerten, bereinigen. Sie sammeln die Daten, die Sie zur Beantwortung Ihrer Fragen benötigen, bewerten Ihre Daten, um Probleme in der Qualität oder Struktur Ihrer Daten zu identifizieren, und bereinigen Ihre Daten, indem Sie Daten ändern, ersetzen oder entfernen, um sicherzustellen, dass Ihr Datensatz von höchster Qualität ist und auch wie möglich strukturiert.

Schritt 3: EDA (explorative Datenanalyse) durchführen

Sie untersuchen und ergänzen Ihre Daten, um das Potenzial Ihrer Analysen, Visualisierungen und Modelle zu maximieren. Beim Erkunden geht es darum, Muster in Ihren Daten zu finden, Beziehungen in Ihren Daten zu visualisieren und eine Intuition darüber aufzubauen, womit Sie arbeiten. Nach der Erkundung können Sie beispielsweise Ausreißer entfernen und bessere Features aus Ihren Daten erstellen, was auch als Feature Engineering bezeichnet wird.

Schritt 4: Schlussfolgerungen ziehen (oder sogar Vorhersagen treffen)

Dieser Schritt wird normalerweise mit maschinellem Lernen oder Inferenzstatistiken angegangen, die sich auf einem fortgeschritteneren Niveau befinden. Aber wenn Sie gerade erst anfangen, werden Sie sich hauptsächlich darauf konzentrieren, Schlussfolgerungen mit deskriptiven Statistiken zu ziehen.

Die deskriptive Statistik konzentriert sich auf die Beschreibung der physikalischen Eigenschaften eines Datensatzes (einer Population oder Stichprobe).

Inferenzstatistik konzentriert sich auf Vorhersagen oder Verallgemeinerungen über einen größeren Datensatz, basierend auf einer Stichprobe dieser Daten. Quelle .

Schritt 5: Kommunizieren Sie Ihre Ergebnisse

Häufig müssen Sie die Bedeutung der Erkenntnisse, die Sie gefunden haben, rechtfertigen und vermitteln. Oder wenn Ihr Endziel darin besteht, ein System zu bauen, müssen Sie normalerweise teilen, was Sie gebaut haben, erklären, wie Sie Designentscheidungen getroffen haben, und berichten, wie gut es funktioniert. Es gibt viele Möglichkeiten, Ihre Ergebnisse zu kommunizieren; Berichte, Präsentationen, Blogbeiträge, E-Mails, Präsentationen oder sogar Gespräche. Datenvisualisierung wird immer sehr wertvoll sein.

Ich hoffe, dieser kurze Leitfaden hilft Ihnen auf Ihrem Weg zur Datenanalyse. Folgen Sie mir auf meiner Reise, während ich Projekte durchführe, und teilen Sie, was ich dabei lerne.