Tendo todas as minhas previsões inclinadas para um lado para a classificação binária

Question

Eu estava treinando um modelo que contém 8 recursos que nos permitem prever a probabilidade de um quarto ser vendido.

• Região: a região à qual o quarto pertence (um número inteiro, com um valor entre 1 e 10)

• Data: a data da estadia (um número inteiro entre 1‐365, aqui consideramos apenas a solicitação de um dia)

• Dia da semana: Dia da semana (um número inteiro entre 1-7)

• Apartamento: se o quarto é um apartamento inteiro (1) ou apenas um quarto (0)

• #beds: O número de camas no quarto (um número inteiro entre 1-4)

• Revisão: revisão média do vendedor (uma variável contínua entre 1 e 5)

• Qualidade da imagem: Qualidade da imagem da sala (uma variável contínua entre 0 e 1)

• Preço: o preço histórico publicado do quarto (uma variável contínua)

• Aceitar: se esta postagem for aceita (alguém a pegou, 1) ou não (0) no final *

A coluna Aceitar é o "y". Portanto, esta é uma classificação binária.

---

1. Eu fiz OneHotEncoderpara os dados categóricos.
2. Eu apliquei normalização aos dados.
3. Eu modifiquei os seguintes RandomRofrestparâmetros:

• Max_depth: Pico em 16
• n_estimators: Pico em 300
• min_samples_leaf: Pico em 2
• max_features: Não tem efeito na AUC.

A AUC atingiu um pico de 0,7889. O que mais posso fazer para aumentá-lo?

---

Aqui está o meu código

import pandas as pd
import numpy as np
from sklearn.model_selection import cross_val_score
from sklearn.preprocessing import OneHotEncoder
from sklearn.pipeline import make_pipeline
from sklearn.compose import make_column_transformer
from sklearn.model_selection import train_test_split
df_train = pd.read_csv('case2_training.csv')

# Exclude ID since it is not a feature
X, y = df_train.iloc[:, 1:-1], df_train.iloc[:, -1]
y = y.astype(np.float32)

# Split the data
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.05,shuffle=False)

ohe = OneHotEncoder(sparse = False)
column_trans = make_column_transformer(
(OneHotEncoder(),['Region','Weekday','Apartment']),remainder='passthrough')
X_train = column_trans.fit_transform(X_train)
X_test = column_trans.fit_transform(X_test)

# Normalization
from sklearn.preprocessing import MaxAbsScaler
mabsc = MaxAbsScaler()

X_train = mabsc.fit_transform(X_train)
X_test = mabsc.transform(X_test)

X_train = X_train.astype(np.float32)
X_test = X_test.astype(np.float32)

from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import roc_auc_score

RF =  RandomForestClassifier(min_samples_leaf=2,random_state=0, n_estimators=300,max_depth = 16,n_jobs=-1,oob_score=True,max_features=i)
cross_val_score(RF,X_train,y_train,cv=5,scoring = 'roc_auc').mean()
RF.fit(X_train, y_train)
yhat = RF.predict_proba(X_test)

print("AUC:",roc_auc_score(y_test, yhat[:,-1]))

# Run the prediction on the given test set.
testset = pd.read_csv('case2_testing.csv')
testset = testset.iloc[:, 1:] # exclude the 'ID' column
testset = column_trans.fit_transform(testset)
testset = mabsc.transform(testset)


yhat_2 = RF.predict_proba(testset)
final_prediction = yhat[:,-1]

Entretanto, todas as probabilidades de 'final_prediction` estão abaixo de 0,45, basicamente, o modelo acredita que todas as amostras são 0. Alguém pode ajudar?

Answer 1

Você está usando column_trans.fit_transformno conjunto de teste, isso substitui completamente os recursos que foram ajustados durante o treinamento. Basicamente, os dados agora estão em um formato que seu modelo treinado não entende.

Depois de instalado no conjunto de treinamento, basta usar em column_trans.transformseguida.