Зачем использовать перекрестную проверку для регрессионного анализа?
В своей работе я пытаюсь подогнать полиномиальную логистическую регрессию с целью прогнозирования. В настоящее время я применяю перекрестную проверку с помощью повторяющихся стратифицированных K-сгибов, но у меня все еще есть вопросы по методу, на который я раньше не видел ответа.
Имеет ли смысл использовать перекрестную проверку для проверки регрессии в этом случае, когда я не настраиваю никаких гиперпараметров? Я много видел, что cross val наиболее полезен для настройки гиперпараметров.
Я прогнал свою модель (регрессию с теми же предикторами) с 10-кратным повторением 3 раза, и я получил действительно хорошие показатели в каждом сгибе (ROC 0,95, микро-средняя точность-отзыв 0,94 и многое другое в этих направлениях), которые предполагают мои модель правильно распознает и способна хорошо предсказывать. Могу ли я быть уверен, что моя регрессия не переоснащается? То есть переменные, которые я выбрал для прогона в качестве предикторов, не будут соответствовать данным.
Наконец, я не уверен, смогу ли я технически закончить свой анализ на этом, или я смогу затем создать «окончательную модель» со всеми теми же предикторами и обучить большую часть (если не все) данных. Я предполагаю, что если компания действительно хочет запустить эту модель, ей понадобится «окончательная подгонка», чтобы предсказать, правильно? Должен ли я использовать еще один сплит тестового поезда для этой окончательной модели?
Ваша помощь очень ценится!
Ответы
Перекрестная проверка может использоваться для многих задач: настройка гиперпараметров, насколько стабильна ваша ошибка вне выборки, но я бы сказал, что она наиболее полезна для сравнения различных моделей.
Например, если у вас есть две модели и вы запускаете перекрестную проверку на обеих из них, вы можете сравнить производительность разных складок и посмотреть, превосходит ли одна модель другую. Сделав это, скажем, в 10 раз, вы получите более надежную оценку производительности вне выборки по сравнению с использованием только одного набора тестов (т. Е. 1-кратной проверки).
Вы можете обнаружить, что более сложная модель может получить среднюю AUC 0,97 или, может быть, переобучу и даст вам худшую AUC, равную 0,9. Вы можете сказать, подходит ли модель больше, если вы действительно сравните ее вне образца с более простой моделью.
По вашему последнему вопросу: после того, как вы нашли лучшую модель, выполняющую перекрестную проверку, и вы решили, что эта модель будет использоваться в производственной среде, вы должны обучить модель на всех доступных данных, чтобы получить наиболее точные оценки. возможно.