Büyük Veri Analitiği - Veri Keşfi

Exploratory data analysisJohn Tuckey (1977) tarafından geliştirilen ve yeni bir istatistik perspektifinden oluşan bir kavramdır. Tuckey'nin fikri, geleneksel istatistikte verilerin grafiksel olarak araştırılmaması, sadece hipotezleri test etmek için kullanılmasıydı. Bir araç geliştirmek için ilk girişim Stanford'da yapıldı, projeye prim9 adı verildi . Araç, verileri dokuz boyutta görselleştirebildi, bu nedenle verilerin çok değişkenli bir perspektifini sağlayabildi.

Son günlerde keşifsel veri analizi bir zorunluluktur ve büyük veri analitiği yaşam döngüsüne dahil edilmiştir. Bir organizasyonda içgörü bulma ve bunu etkili bir şekilde iletişim kurma yeteneği, güçlü EDA yetenekleriyle beslenir.

Bell Labs, Tuckey'nin fikirlerine dayanarak, S programming languageistatistik yapmak için etkileşimli bir arayüz sağlamak için. S'nin amacı, kullanımı kolay bir dille kapsamlı grafik yetenekleri sağlamaktı. Günümüz dünyasında, Büyük Veri bağlamında,R bu dayanmaktadır S programlama dili, analitik için en popüler yazılımdır.

Aşağıdaki program, keşifsel veri analizinin kullanımını göstermektedir.

Aşağıda, keşif amaçlı veri analizine bir örnek verilmiştir. Bu kod şu adreste de mevcuttur:part1/eda/exploratory_data_analysis.R dosya.

library(nycflights13) 
library(ggplot2) 
library(data.table) 
library(reshape2)  

# Using the code from the previous section 
# This computes the mean arrival and departure delays by carrier. 
DT <- as.data.table(flights) 
mean2 = DT[, list(mean_departure_delay = mean(dep_delay, na.rm = TRUE), 
   mean_arrival_delay = mean(arr_delay, na.rm = TRUE)), 
   by = carrier]  

# In order to plot data in R usign ggplot, it is normally needed to reshape the data 
# We want to have the data in long format for plotting with ggplot 
dt = melt(mean2, id.vars = ’carrier’)  

# Take a look at the first rows 
print(head(dt))  

# Take a look at the help for ?geom_point and geom_line to find similar examples 
# Here we take the carrier code as the x axis 
# the value from the dt data.table goes in the y axis 

# The variable column represents the color 
p = ggplot(dt, aes(x = carrier, y = value, color = variable, group = variable)) +
   geom_point() + # Plots points 
   geom_line() + # Plots lines 
   theme_bw() + # Uses a white background 
   labs(list(title = 'Mean arrival and departure delay by carrier', 
      x = 'Carrier', y = 'Mean delay')) 
print(p)  

# Save the plot to disk 
ggsave('mean_delay_by_carrier.png', p,  
   width = 10.4, height = 5.07)

Kod, aşağıdaki gibi bir görüntü oluşturmalıdır -