Big Data Analytics - Pengumpulan Data

Pengumpulan data memainkan peran terpenting dalam siklus Big Data. Internet menyediakan sumber data yang hampir tidak terbatas untuk berbagai topik. Pentingnya area ini bergantung pada jenis bisnis, tetapi industri tradisional dapat memperoleh beragam sumber data eksternal dan menggabungkannya dengan data transaksionalnya.

Misalnya, anggaplah kita ingin membangun sistem yang merekomendasikan restoran. Langkah pertama adalah mengumpulkan data, dalam hal ini, ulasan restoran dari berbagai situs web dan menyimpannya dalam database. Karena kami tertarik pada teks mentah, dan akan menggunakannya untuk analitik, tidaklah relevan di mana data untuk mengembangkan model akan disimpan. Ini mungkin terdengar kontradiktif dengan teknologi utama data besar, tetapi untuk mengimplementasikan aplikasi data besar, kita hanya perlu membuatnya berfungsi secara real time.

Proyek Mini Twitter

Setelah masalah ditentukan, tahap berikutnya adalah mengumpulkan data. Ide miniproyek berikut adalah mengerjakan pengumpulan data dari web dan menyusunnya untuk digunakan dalam model pembelajaran mesin. Kami akan mengumpulkan beberapa tweet dari twitter rest API menggunakan bahasa pemrograman R.

Pertama-tama buat akun twitter, lalu ikuti petunjuk di twitteRsketsa paket untuk membuat akun pengembang twitter. Ini adalah ringkasan dari instruksi tersebut -

Pergi ke https://twitter.com/apps/new dan masuk.
Setelah mengisi info dasar, buka tab "Pengaturan" dan pilih "Baca, Tulis, dan Akses pesan langsung".
Pastikan untuk mengklik tombol simpan setelah melakukan ini
Di tab "Detail", catat kunci konsumen dan rahasia konsumen Anda
Dalam sesi R Anda, Anda akan menggunakan kunci API dan nilai rahasia API
Terakhir jalankan skrip berikut. Ini akan menginstaltwitteR paket dari repositori di github.

install.packages(c("devtools", "rjson", "bit64", "httr"))  

# Make sure to restart your R session at this point 
library(devtools) 
install_github("geoffjentry/twitteR")

Kami tertarik untuk mendapatkan data yang menyertakan string "big mac" dan mencari tahu topik mana yang menonjol tentang hal ini. Untuk melakukan ini, langkah pertama adalah mengumpulkan data dari twitter. Di bawah ini adalah skrip R kami untuk mengumpulkan data yang dibutuhkan dari twitter. Kode ini juga tersedia di file bda / part1 / collect_data / collect_data_twitter.R.

rm(list = ls(all = TRUE)); gc() # Clears the global environment
library(twitteR)
Sys.setlocale(category = "LC_ALL", locale = "C")

### Replace the xxx’s with the values you got from the previous instructions

# consumer_key = "xxxxxxxxxxxxxxxxxxxx"
# consumer_secret = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"

# access_token = "xxxxxxxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"

# access_token_secret= "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"

# Connect to twitter rest API
setup_twitter_oauth(consumer_key, consumer_secret, access_token, access_token_secret)

# Get tweets related to big mac
tweets <- searchTwitter(’big mac’, n = 200, lang = ’en’)
df <- twListToDF(tweets)

# Take a look at the data
head(df)

# Check which device is most used
sources <- sapply(tweets, function(x) x$getStatusSource())
sources <- gsub("</a>", "", sources)
sources <- strsplit(sources, ">")
sources <- sapply(sources, function(x) ifelse(length(x) > 1, x[2], x[1]))
source_table = table(sources)
source_table = source_table[source_table > 1]
freq = source_table[order(source_table, decreasing = T)]
as.data.frame(freq)

#                       Frequency
# Twitter for iPhone       71
# Twitter for Android      29
# Twitter Web Client       25
# recognia                 20