Имея все мои прогнозы, склонные к одной стороне для двоичной классификации

Question

Я обучал модель, которая содержит 8 функций, которые позволяют нам предсказать вероятность продажи комнаты.

• Регион: регион, к которому принадлежит комната (целое число, принимающее значение от 1 до 10).

• Дата: дата пребывания (целое число от 1 до 365, здесь мы рассматриваем только однодневный запрос).

• День недели: день недели (целое число от 1 до 7).

• Квартира: Будь то вся квартира (1) или просто комната (0)

• #beds: количество кроватей в комнате (целое число от 1 до 4).

• Обзор: средний отзыв продавца (непрерывная переменная от 1 до 5).

• Качество изображения: качество изображения комнаты (непрерывная переменная от 0 до 1).

• Цена: историческая заявленная цена комнаты (непрерывная переменная).

• Принять: будет ли этот пост принят (кто-то принял его, 1) или нет (0) в конце *

Столбец Принять - это буква «y». Следовательно, это бинарная классификация.

---

1. Я сделал OneHotEncoderдля категоричных данных.
2. Я применил к данным нормализацию.
3. Я изменил следующие RandomRofrestпараметры:

• Max_depth: Пик в 16
• n_estimators: Максимум 300
• min_samples_leaf: Максимум 2
• max_features: Не влияет на AUC.

Пик AUC составил 0,7889. Что еще можно сделать, чтобы его увеличить?

---

Вот мой код

import pandas as pd
import numpy as np
from sklearn.model_selection import cross_val_score
from sklearn.preprocessing import OneHotEncoder
from sklearn.pipeline import make_pipeline
from sklearn.compose import make_column_transformer
from sklearn.model_selection import train_test_split
df_train = pd.read_csv('case2_training.csv')

# Exclude ID since it is not a feature
X, y = df_train.iloc[:, 1:-1], df_train.iloc[:, -1]
y = y.astype(np.float32)

# Split the data
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.05,shuffle=False)

ohe = OneHotEncoder(sparse = False)
column_trans = make_column_transformer(
(OneHotEncoder(),['Region','Weekday','Apartment']),remainder='passthrough')
X_train = column_trans.fit_transform(X_train)
X_test = column_trans.fit_transform(X_test)

# Normalization
from sklearn.preprocessing import MaxAbsScaler
mabsc = MaxAbsScaler()

X_train = mabsc.fit_transform(X_train)
X_test = mabsc.transform(X_test)

X_train = X_train.astype(np.float32)
X_test = X_test.astype(np.float32)

from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import roc_auc_score

RF =  RandomForestClassifier(min_samples_leaf=2,random_state=0, n_estimators=300,max_depth = 16,n_jobs=-1,oob_score=True,max_features=i)
cross_val_score(RF,X_train,y_train,cv=5,scoring = 'roc_auc').mean()
RF.fit(X_train, y_train)
yhat = RF.predict_proba(X_test)

print("AUC:",roc_auc_score(y_test, yhat[:,-1]))

# Run the prediction on the given test set.
testset = pd.read_csv('case2_testing.csv')
testset = testset.iloc[:, 1:] # exclude the 'ID' column
testset = column_trans.fit_transform(testset)
testset = mabsc.transform(testset)


yhat_2 = RF.predict_proba(testset)
final_prediction = yhat[:,-1]

Однако все вероятности от final_prediction ниже 0,45, в основном модель считает, что все выборки равны 0. Может ли кто-нибудь помочь?

Answer 1

Вы используете column_trans.fit_transformтестовый набор, это полностью заменяет функции, которые были установлены во время обучения. В основном данные теперь находятся в формате, который ваша обученная модель не понимает.

После установки на тренировочном наборе для тренировки просто используйте его column_trans.transformпотом.