Funkcje kosztów

Funkcja kosztu, czasami określana jako funkcja straty lub funkcja celu, jest miarą różnicy między rzeczywistymi a przewidywanymi wynikami przykładu szkoleniowego. Celem uczenia modelu jest zmniejszenie średniej wartości funkcji straty we wszystkich przypadkach szkoleniowych.

Typowe funkcje strat w przypadku problemów z regresją obejmują błąd średniokwadratowy (MSE), binarną entropię krzyżową w przypadku problemów z klasyfikacją binarną oraz kategoryczną entropię krzyżową w przypadku problemów z klasyfikacją wieloklasową. Rodzaj danych wyjściowych wytwarzanych przez model i charakter problemu będą miały wpływ na wybór funkcji strat. W artykule na temat dogłębnej regresji liniowej wymieniliśmy kilka funkcji kosztu, które są używane w regresji liniowej i są podobne do wspomnianej wcześniej funkcji kosztu MSE. Sprawdź odnośnik do tego artykułu, aby dowiedzieć się więcej o funkcjach kosztów.

Ponadto binarna entropia krzyżowa dla problemu klasyfikacji binarnej została szczegółowo wyjaśniona w artykule Logistic Regression in Depth. Możesz sprawdzić tę funkcję kosztu w tym odwołaniu.

W tym artykule przyjrzymy się kategorycznej entropii krzyżowej (CCE) i omówimy podstawy funkcji kosztu. Ponadto porozmawiamy o rozbieżności Kullbacka-Leiblera (KL) lub utracie zawiasów.

Kategoryczna entropia krzyżowa (CCE)

W problemach klasyfikacji wieloklasowej, gdzie celem jest przewidzenie jednej z kilku klas, często stosowaną funkcją straty jest kategorialna entropia krzyżowa (CCE). CCE oblicza średnią rozbieżność między rzeczywistymi etykietami klas a oczekiwanym rozkładem prawdopodobieństwa we wszystkich klasach. Biorąc pod uwagę zestaw przewidywanych prawdopodobieństw klas y_pred i prawdziwych etykiet klas y_true, kategoryczna utrata entropii krzyżowej jest zdefiniowana jako:

Gdzie:

• Wektor y_i to zakodowana na gorąco reprezentacja prawdziwej etykiety klasy. Z wartością 1 dla prawdziwej klasy i 0 dla wszystkich innych klas,
• wektor yhat_i to przewidywane prawdopodobieństwa klas generowane przez model,
• a J jest funkcją celu, którą staramy się zminimalizować lub zmaksymalizować .

Maksymalizacja prawdopodobieństwa prawdziwych etykiet klas w świetle przewidywanych prawdopodobieństw klas jest porównywalna do minimalizacji kategorycznej utraty entropii krzyżowej. To sprawia, że ​​jest to odpowiednia opcja do trenowania modeli klasyfikacji, takich jak regresja softmax i sieci neuronowe z aktywacją softmax, która prognozuje prawdopodobieństwa klas.

Należy pamiętać, że kategorialna utrata entropii krzyżowej jest odpowiednia tylko dla zagadnień obejmujących wiele klas klasyfikacji, w których każda próbka może być przypisana tylko do jednej klasy. Inna funkcja strat, taka jak binarna entropia krzyżowa, jest bardziej odpowiednia w przypadku problemów z klasyfikacją wielu etykiet, gdy próbka może należeć do wielu klas.

Kullback-Leibler (KL)

Względna entropia, czasami nazywana dywergencją Kullbacka-Leiblera (KL), jest miarą służącą do porównywania dwóch rozkładów prawdopodobieństwa. W uczeniu maszynowym jest często używana jako funkcja strat, zwłaszcza w modelach generatywnych, takich jak autoenkodery wariacyjne (VAE) i generatywne sieci przeciwstawne (GAN).

Biorąc pod uwagę dwa rozkłady prawdopodobieństwa p i q, rozbieżność KL między p i q jest zdefiniowana jako:

Gdzie:

• gdzie i jest indeksem próbki,
• Dywergencja KL mierzy oczekiwaną wartość różnicy logarytmicznej między rozkładem prawdziwym p a rozkładem przybliżonym q .

Utrata zawiasu

Zastosowane podczas opracowywania klasyfikatorów liniowych za pomocą maszyn wektorów nośnych (SVM). Jest stosowany do klasyfikacji z maksymalnym marginesem i nakłada karę na model, gdy przewiduje niewłaściwą klasę, przy czym dotkliwość kary jest odwrotnie skorelowana z luką między przewidywaną a prawdziwą klasą. Jednak ze względu na inny temat dotyczący modeli SVM, ta funkcja straty zostanie omówiona w osobnym artykule (do opublikowania).

Większość modeli uczenia maszynowego jest trenowana przy użyciu optymalizacji opartej na gradiencie , w której parametry modelu są aktualizowane w sposób minimalizujący straty w oparciu o gradienty funkcji strat w odniesieniu do tych parametrów. Procedura optymalizacji będzie stabilna i efektywna, jeśli wybierzemy funkcję straty, która jest różniczkowalna i ma gradient, który zachowuje się właściwie. Dlatego bardzo ważne jest przetestowanie różnych funkcji strat i wybranie tej, która najlepiej sprawdza się na zbiorze walidacyjnym, ponieważ wybrana funkcja strat może mieć wpływ na zachowanie modelu. Ta procedura, znana jako dostrajanie hiperparametrów , może mieć kluczowe znaczenie dla maksymalizacji wydajności modelu. Dlatego jeśli chcesz dowiedzieć się więcej o technikach optymalizacji opartych na gradiencie, zapoznaj się z tym artykułem.

Różne funkcje strat różnie reagują na wartości odstające . Na przykład średni błąd kwadratowy (MSE) jest bardziej podatny na wartości odstające niż średni błąd bezwzględny (MAE). Aby zapobiec nieproporcjonalnemu wpływowi kilku skrajnych przykładów na model, może być konieczne zastosowanie funkcji straty, która jest mniej wrażliwa na wartości odstające, w zależności od natury problemu. W niektórych przypadkach może być konieczne dodanie składnika regularyzującego do funkcji straty, aby zapobiec przeuczeniu. Można to zrobić, dodając termin kary, który zniechęca model do posiadania zbyt wielu parametrów lub zbyt dużej złożoności. Typowe techniki regularyzacji obejmują regularyzację L1 i L2, porzucenie i wczesne zatrzymanie. Lub w niektórych przypadkach rozkład klas w zbiorze uczącym możebyć niezrównoważony , co oznacza, że ​​jedna klasa ma znacznie więcej przykładów niż inna. Może to powodować problemy w przypadku niektórych funkcji utraty, ponieważ mogą one być zdominowane przez klasę większościową i ignorować klasę mniejszościową. Aby temu zaradzić, może być konieczne użycie funkcji utraty, która nadaje większą wagę klasie mniejszościowej, lub nadpróbkowanie lub niedopróbkowanie zbioru uczącego w celu zrównoważenia rozkładu klas.

Jeśli podoba Ci się artykuł, pamiętaj, aby mnie obserwować, aby śledzić moje nowe artykuły.