R - Dados da web

Muitos sites fornecem dados para consumo por seus usuários. Por exemplo, a Organização Mundial da Saúde (OMS) fornece relatórios sobre informações médicas e de saúde na forma de arquivos CSV, txt e XML. Usando programas R, podemos extrair programaticamente dados específicos de tais sites. Alguns pacotes em R que são usados para retirar dados da web são - "RCurl", XML "e" stringr ". Eles são usados para se conectar aos URLs, identificar os links necessários para os arquivos e baixá-los para o ambiente local.

Instale pacotes R

Os pacotes a seguir são necessários para o processamento de URLs e links para os arquivos. Se eles não estiverem disponíveis em seu ambiente R, você pode instalá-los usando os seguintes comandos.

install.packages("RCurl")
install.packages("XML")
install.packages("stringr")
install.packages("plyr")

Dados de entrada

Iremos visitar os dados meteorológicos do URL e baixar os arquivos CSV usando R para o ano de 2015.

Exemplo

Vamos usar a função getHTMLLinks()para reunir os URLs dos arquivos. Então usaremos a funçãodownload.file()para salvar os arquivos no sistema local. Como aplicaremos o mesmo código repetidamente para vários arquivos, criaremos uma função a ser chamada várias vezes. Os nomes dos arquivos são passados como parâmetros na forma de um objeto de lista R para esta função.

# Read the URL.
url <- "http://www.geos.ed.ac.uk/~weather/jcmb_ws/"

# Gather the html links present in the webpage.
links <- getHTMLLinks(url)

# Identify only the links which point to the JCMB 2015 files. 
filenames <- links[str_detect(links, "JCMB_2015")]

# Store the file names as a list.
filenames_list <- as.list(filenames)

# Create a function to download the files by passing the URL and filename list.
downloadcsv <- function (mainurl,filename) {
   filedetails <- str_c(mainurl,filename)
   download.file(filedetails,filename)
}

# Now apply the l_ply function and save the files into the current R working directory.
l_ply(filenames,downloadcsv,mainurl = "http://www.geos.ed.ac.uk/~weather/jcmb_ws/")

Verifique o download do arquivo

Depois de executar o código acima, você pode localizar os seguintes arquivos no diretório de trabalho R atual.

"JCMB_2015.csv" "JCMB_2015_Apr.csv" "JCMB_2015_Feb.csv" "JCMB_2015_Jan.csv"
   "JCMB_2015_Mar.csv"