Análisis de datos: proceso
El análisis de datos es un proceso de recopilación, transformación, limpieza y modelado de datos con el objetivo de descubrir la información requerida. Los resultados así obtenidos se comunican, sugiriendo conclusiones y apoyando la toma de decisiones. La visualización de datos se utiliza a veces para representar los datos para facilitar el descubrimiento de patrones útiles en los datos. Los términos Modelado de datos y Análisis de datos significan lo mismo.
El proceso de análisis de datos consta de las siguientes fases que son de naturaleza iterativa:
- Especificación de requisitos de datos
- Recopilación de datos
- Procesamiento de datos
- Limpieza de datos
- Análisis de los datos
- Communication
Especificación de requisitos de datos
Los datos necesarios para el análisis se basan en una pregunta o un experimento. Con base en los requisitos de quienes dirigen el análisis, se identifican los datos necesarios como insumos para el análisis (por ejemplo, población de personas). Se pueden especificar y obtener variables específicas con respecto a una población (por ejemplo, edad e ingresos). Los datos pueden ser numéricos o categóricos.
Recopilación de datos
La recopilación de datos es el proceso de recopilar información sobre variables específicas identificadas como requisitos de datos. El énfasis está en garantizar una recopilación de datos precisa y honesta. La recopilación de datos garantiza que los datos recopilados sean precisos de modo que las decisiones relacionadas sean válidas. La recopilación de datos proporciona tanto una línea de base para medir como un objetivo para mejorar.
Los datos se recopilan de varias fuentes que van desde las bases de datos de la organización hasta la información en las páginas web. Los datos así obtenidos, pueden no estar estructurados y pueden contener información irrelevante. Por lo tanto, los datos recopilados deben someterse a procesamiento y limpieza de datos.
Procesamiento de datos
Los datos que se recopilan deben procesarse u organizarse para su análisis. Esto incluye estructurar los datos según sea necesario para las herramientas de análisis relevantes. Por ejemplo, es posible que los datos deban colocarse en filas y columnas en una tabla dentro de una hoja de cálculo o una aplicación estadística. Puede que sea necesario crear un modelo de datos.
Limpieza de datos
Los datos procesados y organizados pueden estar incompletos, contener duplicados o contener errores. La limpieza de datos es el proceso de prevención y corrección de estos errores. Hay varios tipos de limpieza de datos que dependen del tipo de datos. Por ejemplo, mientras se limpian los datos financieros, ciertos totales pueden compararse con números publicados confiables o umbrales definidos. Asimismo, se pueden utilizar métodos de datos cuantitativos para la detección de valores atípicos que posteriormente se excluirían del análisis.
Análisis de los datos
Los datos que se procesan, organizan y limpian estarán listos para el análisis. Se encuentran disponibles varias técnicas de análisis de datos para comprender, interpretar y derivar conclusiones basadas en los requisitos. La visualización de datos también se puede utilizar para examinar los datos en formato gráfico, para obtener información adicional sobre los mensajes dentro de los datos.
Los modelos de datos estadísticos como la correlación y el análisis de regresión se pueden utilizar para identificar las relaciones entre las variables de datos. Estos modelos que son descriptivos de los datos son útiles para simplificar el análisis y comunicar los resultados.
El proceso puede requerir limpieza de datos adicional o recopilación de datos adicional y, por lo tanto, estas actividades son de naturaleza iterativa.
Comunicación
Los resultados del análisis de datos deben informarse en el formato requerido por los usuarios para respaldar sus decisiones y acciones futuras. Los comentarios de los usuarios pueden resultar en un análisis adicional.
Los analistas de datos pueden elegir técnicas de visualización de datos, como tablas y gráficos, que ayudan a comunicar el mensaje de manera clara y eficiente a los usuarios. Las herramientas de análisis brindan la posibilidad de resaltar la información requerida con códigos de color y formato en tablas y gráficos.