Big Data Analytics - Text Analytics
Neste capítulo, usaremos os dados coletados na parte 1 do livro. Os dados contêm um texto que descreve perfis de freelancers e a taxa por hora que eles cobram em dólares americanos. A ideia da seção a seguir é se adequar a um modelo que, dadas as habilidades de um freelancer, possamos prever seu salário por hora.
O código a seguir mostra como converter o texto bruto que neste caso possui as habilidades de um usuário em uma matriz de saco de palavras. Para isso, usamos uma biblioteca R chamada tm. Isso significa que para cada palavra do corpus criamos uma variável com a quantidade de ocorrências de cada variável.
library(tm)
library(data.table)
source('text_analytics/text_analytics_functions.R')
data = fread('text_analytics/data/profiles.txt')
rate = as.numeric(data$rate)
keep = !is.na(rate)
rate = rate[keep]
### Make bag of words of title and body
X_all = bag_words(data$user_skills[keep])
X_all = removeSparseTerms(X_all, 0.999)
X_all
# <<DocumentTermMatrix (documents: 389, terms: 1422)>>
# Non-/sparse entries: 4057/549101
# Sparsity : 99%
# Maximal term length: 80
# Weighting : term frequency - inverse document frequency (normalized) (tf-idf)
### Make a sparse matrix with all the data
X_all <- as_sparseMatrix(X_all)
Agora que temos o texto representado como uma matriz esparsa, podemos ajustar um modelo que fornecerá uma solução esparsa. Uma boa alternativa para este caso é usar o LASSO (mínimo operador de retração e seleção absoluta). Este é um modelo de regressão que pode selecionar os recursos mais relevantes para prever o destino.
train_inx = 1:200
X_train = X_all[train_inx, ]
y_train = rate[train_inx]
X_test = X_all[-train_inx, ]
y_test = rate[-train_inx]
# Train a regression model
library(glmnet)
fit <- cv.glmnet(x = X_train, y = y_train,
family = 'gaussian', alpha = 1,
nfolds = 3, type.measure = 'mae')
plot(fit)
# Make predictions
predictions = predict(fit, newx = X_test)
predictions = as.vector(predictions[,1])
head(predictions)
# 36.23598 36.43046 51.69786 26.06811 35.13185 37.66367
# We can compute the mean absolute error for the test data
mean(abs(y_test - predictions))
# 15.02175
Agora temos um modelo que, dado um conjunto de habilidades, é capaz de prever o salário por hora de um freelancer. Se mais dados forem coletados, o desempenho do modelo melhorará, mas o código para implementar esse pipeline será o mesmo.