다중 클래스 로지스틱 회귀에 대한 범주 형 교차 엔트로피 업데이트 규칙을 파생하는 방법
비슷한 게시물이 있다는 것을 알고 있습니다. 교차 엔트로피 손실의 벡터화
그러나 몇 시간 동안 그것을 살펴 보았지만 나는 그들이 말하려는 것을 여전히 이해하지 못합니다.
다중 클래스 로지스틱 회귀에서 교차 엔트로피 함수를 사용하기위한 업데이트 규칙을 찾으려고합니다.
이것이 의미하는 바가 무엇인지 혼란 스럽습니다. 이것은 전체 데이터 세트에 대한 비용입니까 아니면 단일 예제에 대한 비용입니까? y와 yhat이 스칼라이고 합산이 단일 예제를 통과하는지 또는 y와 yhat이 벡터이고 i 인덱싱이 전체 집합을 통과한다는 것을 의미하는지 확실하지 않습니다.
전체 교육 세트를 거치고 있다고 가정 할 때 모든 세타에서 어떻게 파생합니까? 벡터화하고 모든 가중치에 대한 일반적인 업데이트 규칙을 만드는 방법은 무엇입니까?
답변 해주셔서 감사합니다. 펜과 종이로 오랫동안 시도해 보았지만 아직받지 못했습니다.
고마워, A
답변
이것은 전체 교육 세트에 대한 것이 아닙니다. 하나의 예입니다.$i$클래스 인덱스를 나타냅니다. 그래서 만약 당신이$n$ 클래스, $\mathbf y$ 과 $\mathbf{ \hat y}$ 아르 $n\times 1$ 실제 벡터. $\mathbf y$ 은 실측 값이므로 샘플에 대한 올바른 클래스에 해당하는 인덱스가있는 이진 벡터가됩니다. $1$ 그리고 다른 사람 $0$.
기울기를 찾으려면 하나의 샘플 만 가정 한 다음 각 훈련 샘플에 대한 기울기를 더하면됩니다. 따라서 단순화를 위해이 공식을 사용하여 차별화를 수행합니다.$\frac{\partial L}{\partial \theta}$, 어디 $y=\sigma( \theta^Tx+b)$.