Scikit Learn - Árvores de Decisão Randomizadas
Este capítulo o ajudará a entender as árvores de decisão aleatórias no Sklearn.
Algoritmos de árvore de decisão aleatória
Como sabemos que um DT é geralmente treinado pela divisão recursiva dos dados, mas sendo propenso a overfit, eles foram transformados em florestas aleatórias ao treinar muitas árvores em várias subamostras dos dados. osklearn.ensemble módulo está seguindo dois algoritmos baseados em árvores de decisão aleatórias -
O algoritmo Random Forest
Para cada recurso em consideração, ele calcula a combinação ideal local de recurso / divisão. Na floresta aleatória, cada árvore de decisão do conjunto é construída a partir de uma amostra retirada com substituição do conjunto de treinamento e, em seguida, obtém a previsão de cada uma delas e, por fim, seleciona a melhor solução por meio de votação. Ele pode ser usado tanto para tarefas de classificação como de regressão.
Classificação com floresta aleatória
Para criar um classificador de floresta aleatório, o módulo Scikit-learn fornece sklearn.ensemble.RandomForestClassifier. Ao construir o classificador de floresta aleatório, os principais parâmetros que este módulo usa são‘max_features’ e ‘n_estimators’.
Aqui, ‘max_features’é o tamanho dos subconjuntos aleatórios de recursos a serem considerados ao dividir um nó. Se escolhermos o valor desse parâmetro como nenhum, ele considerará todos os recursos em vez de um subconjunto aleatório. Por outro lado,n_estimatorsé o número de árvores na floresta. Quanto maior o número de árvores, melhor será o resultado. Mas também levará mais tempo para calcular.
Exemplo de implementação
No exemplo a seguir, estamos construindo um classificador de floresta aleatório usando sklearn.ensemble.RandomForestClassifier e também verificando sua precisão usando cross_val_score módulo.
from sklearn.model_selection import cross_val_score
from sklearn.datasets import make_blobs
from sklearn.ensemble import RandomForestClassifier
X, y = make_blobs(n_samples = 10000, n_features = 10, centers = 100,random_state = 0) RFclf = RandomForestClassifier(n_estimators = 10,max_depth = None,min_samples_split = 2, random_state = 0)
scores = cross_val_score(RFclf, X, y, cv = 5)
scores.mean()Resultado
0.9997Exemplo
Também podemos usar o conjunto de dados sklearn para construir o classificador Random Forest. Como no exemplo a seguir, estamos usando o conjunto de dados da íris. Também encontraremos sua pontuação de precisão e matriz de confusão.
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report, confusion_matrix, accuracy_score
path = "https://archive.ics.uci.edu/ml/machine-learning-database
s/iris/iris.data"
headernames = ['sepal-length', 'sepal-width', 'petal-length', 'petal-width', 'Class']
dataset = pd.read_csv(path, names = headernames)
X = dataset.iloc[:, :-1].values
y = dataset.iloc[:, 4].values
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.30)
RFclf = RandomForestClassifier(n_estimators = 50)
RFclf.fit(X_train, y_train)
y_pred = RFclf.predict(X_test)
result = confusion_matrix(y_test, y_pred)
print("Confusion Matrix:")
print(result)
result1 = classification_report(y_test, y_pred)
print("Classification Report:",)
print (result1)
result2 = accuracy_score(y_test,y_pred)
print("Accuracy:",result2)Resultado
Confusion Matrix:
[[14 0 0]
[ 0 18 1]
[ 0 0 12]]
Classification Report:
precision recall f1-score support
Iris-setosa 1.00 1.00 1.00 14
Iris-versicolor 1.00 0.95 0.97 19
Iris-virginica 0.92 1.00 0.96 12
micro avg 0.98 0.98 0.98 45
macro avg 0.97 0.98 0.98 45
weighted avg 0.98 0.98 0.98 45
Accuracy: 0.9777777777777777Regressão com Floresta Aleatória
Para criar uma regressão de floresta aleatória, o módulo Scikit-learn fornece sklearn.ensemble.RandomForestRegressor. Ao construir um regressor de floresta aleatório, ele usará os mesmos parâmetros usados porsklearn.ensemble.RandomForestClassifier.
Exemplo de implementação
No exemplo a seguir, estamos construindo um regressor de floresta aleatório usando sklearn.ensemble.RandomForestregressor e também prever novos valores usando o método predict ().
from sklearn.ensemble import RandomForestRegressor
from sklearn.datasets import make_regression
X, y = make_regression(n_features = 10, n_informative = 2,random_state = 0, shuffle = False)
RFregr = RandomForestRegressor(max_depth = 10,random_state = 0,n_estimators = 100)
RFregr.fit(X, y)Resultado
RandomForestRegressor(
bootstrap = True, criterion = 'mse', max_depth = 10,
max_features = 'auto', max_leaf_nodes = None,
min_impurity_decrease = 0.0, min_impurity_split = None,
min_samples_leaf = 1, min_samples_split = 2,
min_weight_fraction_leaf = 0.0, n_estimators = 100, n_jobs = None,
oob_score = False, random_state = 0, verbose = 0, warm_start = False
)Uma vez ajustados, podemos prever a partir do modelo de regressão da seguinte forma -
print(RFregr.predict([[0, 2, 3, 0, 1, 1, 1, 1, 2, 2]]))Resultado
[98.47729198]Métodos Extra-Árvore
Para cada recurso em consideração, ele seleciona um valor aleatório para a divisão. A vantagem de usar métodos de árvore extras é que isso permite reduzir um pouco mais a variância do modelo. A desvantagem de usar esses métodos é que aumenta ligeiramente o viés.
Classificação com Método Extra-Árvore
Para criar um classificador usando o método Extra-tree, o módulo Scikit-learn fornece sklearn.ensemble.ExtraTreesClassifier. Ele usa os mesmos parâmetros usados porsklearn.ensemble.RandomForestClassifier. A única diferença está na maneira, discutida acima, eles constroem árvores.
Exemplo de implementação
No exemplo a seguir, estamos construindo um classificador de floresta aleatório usando sklearn.ensemble.ExtraTreeClassifier e também verificando sua precisão usando cross_val_score módulo.
from sklearn.model_selection import cross_val_score
from sklearn.datasets import make_blobs
from sklearn.ensemble import ExtraTreesClassifier
X, y = make_blobs(n_samples = 10000, n_features = 10, centers=100,random_state = 0)
ETclf = ExtraTreesClassifier(n_estimators = 10,max_depth = None,min_samples_split = 10, random_state = 0)
scores = cross_val_score(ETclf, X, y, cv = 5)
scores.mean()Resultado
1.0Exemplo
Também podemos usar o conjunto de dados sklearn para construir o classificador usando o método Extra-Tree. Como no exemplo a seguir, estamos usando o conjunto de dados Pima-Indian.
from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import ExtraTreesClassifier
path = r"C:\pima-indians-diabetes.csv"
headernames = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(path, names=headernames)
array = data.values
X = array[:,0:8]
Y = array[:,8]
seed = 7
kfold = KFold(n_splits=10, random_state=seed)
num_trees = 150
max_features = 5
ETclf = ExtraTreesClassifier(n_estimators=num_trees, max_features=max_features)
results = cross_val_score(ETclf, X, Y, cv=kfold)
print(results.mean())Resultado
0.7551435406698566Regressão com Método Extra-Árvore
Para criar um Extra-Tree regressão, o módulo Scikit-learn fornece sklearn.ensemble.ExtraTreesRegressor. Ao construir um regressor de floresta aleatório, ele usará os mesmos parâmetros usados porsklearn.ensemble.ExtraTreesClassifier.
Exemplo de implementação
No exemplo a seguir, estamos aplicando sklearn.ensemble.ExtraTreesregressore nos mesmos dados que usamos ao criar o regressor de floresta aleatório. Vamos ver a diferença na saída
from sklearn.ensemble import ExtraTreesRegressor
from sklearn.datasets import make_regression
X, y = make_regression(n_features = 10, n_informative = 2,random_state = 0, shuffle = False)
ETregr = ExtraTreesRegressor(max_depth = 10,random_state = 0,n_estimators = 100)
ETregr.fit(X, y)Resultado
ExtraTreesRegressor(bootstrap = False, criterion = 'mse', max_depth = 10,
max_features = 'auto', max_leaf_nodes = None,
min_impurity_decrease = 0.0, min_impurity_split = None,
min_samples_leaf = 1, min_samples_split = 2,
min_weight_fraction_leaf = 0.0, n_estimators = 100, n_jobs = None,
oob_score = False, random_state = 0, verbose = 0, warm_start = False)Exemplo
Uma vez ajustados, podemos prever a partir do modelo de regressão da seguinte forma -
print(ETregr.predict([[0, 2, 3, 0, 1, 1, 1, 1, 2, 2]]))Resultado
[85.50955817]