Функции стоимости
Функция стоимости, иногда называемая функцией потерь или целевой функцией, представляет собой измерение разницы между истинными и прогнозируемыми результатами обучающего примера. Целью обучения модели является уменьшение среднего значения функции потерь во всех случаях обучения.
Типичные функции потерь для задач регрессии включают среднеквадратичную ошибку (MSE), бинарную кросс-энтропию для задач бинарной классификации и категориальную кросс-энтропию для задач мультиклассовой классификации. Тип выходных данных модели и характер проблемы будут влиять на выбор функции потерь. В подробной статье о линейной регрессии мы перечислили несколько функций стоимости, которые используются в линейной регрессии и аналогичны вышеупомянутой функции стоимости MSE. Пожалуйста, ознакомьтесь со ссылкой на эту статью, чтобы узнать больше о функциях стоимости.
Линейная регрессия в деталяхКроме того, бинарная перекрестная энтропия для задачи бинарной классификации была подробно объяснена в статье «Логистическая регрессия в глубине». Вы можете проверить эту функцию стоимости в этой ссылке.
Подробно о логистической регрессииВ этой статье мы рассмотрим категориальную кросс-энтропию (CCE) и обсудим основы функции стоимости. Кроме того, мы будем говорить о расхождении Кульбака-Лейблера (KL) или потере шарнира.
Категориальная кросс-энтропия (CCE)
В задачах классификации с несколькими классами, где цель состоит в том, чтобы предсказать один из нескольких классов, категориальная кросс-энтропия (CCE) является часто используемой функцией потерь. CCE вычисляет среднее расхождение между фактическими метками классов и ожидаемым распределением вероятностей по всем классам. Учитывая набор предсказанных вероятностей класса y_pred и истинных меток класса y_true, категориальная кросс-энтропийная потеря определяется как:
где:
- Вектор y_i — это представление истинной метки класса в горячем кодировании. Со значением 1 для истинного класса и 0 для всех остальных классов,
- вектор yhat_i — прогнозируемые вероятности классов, выдаваемые моделью,
- и J — целевая функция, которую мы пытаемся минимизировать или максимизировать .
Максимизация вероятности истинных меток класса в свете ожидаемых вероятностей классов сравнима с минимизацией категориальной кросс-энтропийной потери. Это делает его подходящим вариантом для обучения моделей классификации, таких как регрессия softmax и нейронные сети с активацией softmax, которые прогнозируют вероятности классов.
Очень важно помнить, что категориальная кросс-энтропийная потеря подходит только для задач, связанных со многими классами классификации, в которых каждый образец может быть отнесен только к одному классу. Другая функция потерь, такая как бинарная кросс-энтропия, больше подходит для задач классификации с несколькими метками, когда образец может принадлежать к многочисленным классам.
Кульбак-Лейблер (KL)
Относительная энтропия, иногда называемая дивергенцией Кульбака-Лейблера (KL), представляет собой показатель для сравнения двух вероятностных распределений. В машинном обучении он часто используется как функция потерь, особенно в генеративных моделях, таких как вариационные автоэнкодеры (VAE) и генеративно-состязательные сети (GAN).
Учитывая два распределения вероятностей p и q, расхождение KL между p и q определяется как:
где:
- где i - индекс выборки,
- Дивергенция KL измеряет ожидаемое значение логарифмической разницы между истинным распределением p и аппроксимированным распределением q .
Потеря шарнира
Применяется при разработке линейных классификаторов с помощью машин опорных векторов (SVM). Он используется для классификации с максимальной маржой и штрафует модель, когда она предсказывает неправильный класс, при этом серьезность штрафа обратно пропорциональна разрыву между прогнозируемым и истинным классом. Однако из-за другой темы о моделях SVM эта функция потерь будет рассмотрена в отдельной статье (будет опубликована).
Большинство моделей машинного обучения обучаются с использованием оптимизации на основе градиента , при которой параметры модели обновляются таким образом, чтобы минимизировать потери на основе градиентов функции потерь по отношению к этим параметрам. Процедура оптимизации будет стабильной и эффективной, если вы выберете функцию потерь, которая является дифференцируемой и имеет корректный градиент. Таким образом, крайне важно протестировать различные функции потерь и выбрать ту, которая лучше всего работает в проверочном наборе, поскольку выбранная вами функция потерь может повлиять на поведение модели. Эта процедура, известная как настройка гиперпараметров , может иметь решающее значение для максимизации производительности модели. Поэтому, если вы хотите узнать больше о методах оптимизации на основе градиента, ознакомьтесь с этой статьей.
Различные функции потерь по-разному реагируют на выбросы . Например, среднеквадратическая ошибка (MSE) более чувствительна к выбросам, чем средняя абсолютная ошибка (MAE). Чтобы предотвратить непропорциональное влияние на модель нескольких экстремальных примеров, может потребоваться использовать функцию потерь, которая менее чувствительна к выбросам, в зависимости от характера проблемы. В некоторых случаях может быть необходимо добавить член регуляризации к функции потерь, чтобы предотвратить переоснащение. Этого можно добиться, добавив штрафной член, который препятствует тому, чтобы модель имела слишком много параметров или слишком большую сложность. Общие методы регуляризации включают регуляризацию L1 и L2, отсев и раннюю остановку. Или в некоторых случаях распределение классов в обучающей выборке можетбыть несбалансированным , что означает, что один класс имеет значительно больше примеров, чем другой. Это может вызвать проблемы для некоторых функций потерь, поскольку в них может доминировать класс большинства и игнорировать класс меньшинства. Чтобы решить эту проблему, может потребоваться использовать функцию потерь, которая придает больший вес классу меньшинства, или проводить избыточную или недостаточную выборку обучающего набора, чтобы сбалансировать распределение классов.

![В любом случае, что такое связанный список? [Часть 1]](https://post.nghiatu.com/assets/images/m/max/724/1*Xokk6XOjWyIGCBujkJsCzQ.jpeg)



































