Le processus d'analyse des données

Bonjour.

Pendant la plus grande partie de cette année, j'ai passé des heures à essayer de maîtriser l'analyse des données. Il y a eu d'innombrables bourses d'études proposées et j'ai réussi à en obtenir deux. Jusqu'à présent, j'en ai terminé un et j'ai obtenu un certificat qui orne actuellement mon CV.

En tant qu'analyste de données intermédiaire, j'ai enfin l'impression d'avoir la confiance nécessaire pour partager quelque chose de précieux avec des analystes de données en herbe comme moi. Alors aujourd'hui, nous allons commencer par les bases; le processus d'analyse des données.

J'ai organisé le processus d'analyse des données en cinq étapes : questionner, débattre, explorer, tirer des conclusions et communiquer. Source

Vous trouverez ci-dessous un examen des points clés, mais n'hésitez pas à en ajouter davantage ou à les exposer dans les sections de commentaires. Nous pratiquerons chaque étape dans les prochains articles dans un format basé sur un projet et vous maîtriserez l'ensemble du processus en un rien de temps.

Étape 1 : Poser des questions

Soit vous recevez des données et posez des questions en fonction de celles-ci, soit vous posez d'abord des questions et recueillez des données en fonction de celles-ci plus tard. Dans les deux cas, de bonnes questions vous aident à vous concentrer sur les parties pertinentes de vos données et à orienter votre analyse vers des informations significatives.

L'acquisition de données peut se faire de plusieurs façons :

• Téléchargement de fichiers facilement disponibles.
• Collecte de données à partir d'une API ou d'un web scraping.
• Extraire des données de bases de données existantes.

Vous obtenez les données dont vous avez besoin sous une forme avec laquelle vous pouvez travailler en trois étapes : recueillir, évaluer, nettoyer. Vous rassemblez les données dont vous avez besoin pour répondre à vos questions, évaluez vos données pour identifier tout problème dans la qualité ou la structure de vos données, et nettoyez vos données en modifiant, remplaçant ou supprimant des données pour vous assurer que votre ensemble de données est de la plus haute qualité et aussi bien- structuré que possible.

Étape 3 : Effectuer l'EDA (analyse exploratoire des données)

Vous explorez puis augmentez vos données pour maximiser le potentiel de vos analyses, visualisations et modèles. L'exploration implique de trouver des modèles dans vos données, de visualiser les relations dans vos données et de créer une intuition sur ce avec quoi vous travaillez. Après avoir exploré, vous pouvez faire des choses comme supprimer les valeurs aberrantes et créer de meilleures fonctionnalités à partir de vos données, également appelées ingénierie des fonctionnalités.

Étape 4 : Tirer des conclusions (ou même faire des prédictions)

Cette étape est généralement abordée avec l'apprentissage automatique ou les statistiques inférentielles qui sont à un niveau plus avancé. Mais lorsque vous débutez, vous vous concentrerez principalement sur l'élaboration de conclusions avec des statistiques descriptives.

Les statistiques descriptives se concentrent sur la description des caractéristiques physiques d'un ensemble de données (une population ou un échantillon).

Les statistiques inférentielles se concentrent sur la réalisation de prédictions ou de généralisations sur un ensemble de données plus large, sur la base d'un échantillon de ces données. Source .

Étape 5 : Communiquez vos résultats

Vous avez souvent besoin de justifier et de donner un sens aux idées que vous avez trouvées. Ou, si votre objectif final est de construire un système, vous devez généralement partager ce que vous avez construit, expliquer comment vous avez pris des décisions de conception et signaler ses performances. Il existe de nombreuses façons de communiquer vos résultats ; rapports, diapositives, articles de blog, e-mails, présentations ou même conversations. La visualisation des données sera toujours très précieuse.

J'espère que ce petit guide vous aidera dans votre parcours d'analyse de données. Suivez-moi dans mon parcours pendant que je réalise des projets et partagez ce que j'apprends en cours de route.