Процесс анализа данных

Привет.

Большую часть этого года я часами пытался научиться анализировать данные. Было предложено бесчисленное количество стипендий, и мне удалось получить две из них. На данный момент я закончил один и получил сертификат, который в настоящее время украшает мое резюме.

Как аналитик данных среднего уровня, я, наконец, чувствую, что у меня есть уверенность, чтобы поделиться чем-то ценным с начинающими аналитиками данных, такими как я. Итак, сегодня мы начнем с основ; процесс анализа данных.

Я разбил процесс анализа данных на пять этапов: задавать вопросы, спорить, исследовать, делать выводы и общаться. Источник

Ниже приводится обзор ключевых моментов, но не стесняйтесь добавлять или разъяснять их в разделах комментариев. Мы будем практиковать каждый шаг в следующих постах в формате, основанном на проекте, и вы быстро справитесь со всем процессом.

Шаг 1: Задавайте вопросы

Либо вы получаете данные и задаете вопросы на их основе, либо вы сначала задаете вопросы, а потом собираете данные на их основе. В обоих случаях хорошие вопросы помогут вам сосредоточиться на соответствующих частях ваших данных и направить ваш анализ на осмысленные идеи.

Сбор данных может происходить несколькими способами:

• Загрузка файлов, которые легко доступны.
• Сбор данных из API или веб-скрейпинга.
• Вытягивание данных из существующих баз данных.

Вы получаете необходимые данные в форме, с которой можно работать в три этапа: сбор, оценка, очистка. Вы собираете данные, которые вам нужны, чтобы ответить на ваши вопросы, оцениваете свои данные, чтобы выявить любые проблемы с качеством или структурой ваших данных, и очищаете свои данные, изменяя, заменяя или удаляя данные, чтобы гарантировать, что ваш набор данных имеет самое высокое качество, а также: максимально структурировано.

Шаг 3: Выполните EDA (исследовательский анализ данных)

Вы исследуете, а затем дополняете свои данные, чтобы максимально использовать потенциал ваших анализов, визуализаций и моделей. Исследование включает в себя поиск закономерностей в ваших данных, визуализацию взаимосвязей в ваших данных и построение интуитивных представлений о том, с чем вы работаете. После изучения вы можете делать такие вещи, как удаление выбросов и создание лучших функций из ваших данных, также известных как разработка функций.

Шаг 4: Сделайте выводы (или даже сделайте прогнозы)

К этому шагу обычно приближаются с помощью машинного обучения или логической статистики, которая находится на более продвинутом уровне. Но когда вы только начинаете, вы в основном сосредоточитесь на выводах с помощью описательной статистики.

Описательная статистика фокусируется на описании физических характеристик набора данных (населения или выборки).

Логическая статистика фокусируется на прогнозировании или обобщении более крупного набора данных на основе выборки этих данных. Источник .

Шаг 5: Сообщите о своих результатах

Вам часто нужно обосновывать и доносить смысл догадок, которые вы обнаружили. Или, если вашей конечной целью является создание системы, вам обычно нужно поделиться тем, что вы создали, объяснить, как вы пришли к проектным решениям, и сообщить, насколько хорошо она работает. Есть много способов сообщить о своих результатах; отчеты, слайды, сообщения в блогах, электронные письма, презентации или даже разговоры. Визуализация данных всегда будет очень ценной.

Я надеюсь, что это краткое руководство поможет вам в вашем путешествии по анализу данных. Следуйте за мной в моем путешествии, когда я делаю проекты, и делитесь тем, что я узнаю на этом пути.