การวิเคราะห์ข้อมูลขนาดใหญ่ - การสำรวจข้อมูล

Exploratory data analysisเป็นแนวคิดที่พัฒนาโดย John Tuckey (1977) ซึ่งประกอบด้วยมุมมองใหม่ของสถิติ ความคิดของ Tuckey คือในสถิติแบบดั้งเดิมข้อมูลไม่ได้ถูกสำรวจแบบกราฟิกเป็นเพียงการใช้เพื่อทดสอบสมมติฐาน ความพยายามครั้งแรกที่จะพัฒนาเครื่องมือที่ทำในสแตนฟอโครงการนี้ก็ถูกเรียกว่าprim9 เครื่องมือนี้สามารถแสดงภาพข้อมูลในเก้ามิติได้ดังนั้นจึงสามารถให้มุมมองข้อมูลหลายตัวแปรได้

ในช่วงไม่กี่วันที่ผ่านมาการวิเคราะห์ข้อมูลเชิงสำรวจเป็นสิ่งที่จำเป็นและรวมอยู่ในวงจรชีวิตของการวิเคราะห์ข้อมูลขนาดใหญ่ ความสามารถในการค้นหาข้อมูลเชิงลึกและสามารถสื่อสารได้อย่างมีประสิทธิภาพในองค์กรนั้นมาจากความสามารถด้าน EDA ที่แข็งแกร่ง

จากแนวคิดของ Tuckey Bell Labs ได้พัฒนาไฟล์ S programming languageเพื่อให้อินเทอร์เฟซแบบโต้ตอบสำหรับการทำสถิติ แนวคิดของ S คือการให้ความสามารถด้านกราฟิกที่ครอบคลุมด้วยภาษาที่ใช้งานง่าย ในโลกปัจจุบันในบริบทของ Big DataR ที่ขึ้นอยู่กับ S ภาษาโปรแกรมเป็นซอฟต์แวร์ยอดนิยมสำหรับการวิเคราะห์

โปรแกรมต่อไปนี้แสดงให้เห็นถึงการใช้การวิเคราะห์ข้อมูลเชิงสำรวจ

ต่อไปนี้เป็นตัวอย่างของการวิเคราะห์ข้อมูลเชิงสำรวจ รหัสนี้ยังมีอยู่ในpart1/eda/exploratory_data_analysis.R ไฟล์.

library(nycflights13) 
library(ggplot2) 
library(data.table) 
library(reshape2)  

# Using the code from the previous section 
# This computes the mean arrival and departure delays by carrier. 
DT <- as.data.table(flights) 
mean2 = DT[, list(mean_departure_delay = mean(dep_delay, na.rm = TRUE), 
   mean_arrival_delay = mean(arr_delay, na.rm = TRUE)), 
   by = carrier]  

# In order to plot data in R usign ggplot, it is normally needed to reshape the data 
# We want to have the data in long format for plotting with ggplot 
dt = melt(mean2, id.vars = ’carrier’)  

# Take a look at the first rows 
print(head(dt))  

# Take a look at the help for ?geom_point and geom_line to find similar examples 
# Here we take the carrier code as the x axis 
# the value from the dt data.table goes in the y axis 

# The variable column represents the color 
p = ggplot(dt, aes(x = carrier, y = value, color = variable, group = variable)) +
   geom_point() + # Plots points 
   geom_line() + # Plots lines 
   theme_bw() + # Uses a white background 
   labs(list(title = 'Mean arrival and departure delay by carrier', 
      x = 'Carrier', y = 'Mean delay')) 
print(p)  

# Save the plot to disk 
ggsave('mean_delay_by_carrier.png', p,  
   width = 10.4, height = 5.07)

รหัสควรสร้างภาพดังต่อไปนี้ -