임의의 데이터 연결을 만들기 위해 신경망을 어떻게 가르 칠 수 있습니까?
다음과 같은 형식의 키와 값 쌍이 있다고 가정 해 보겠습니다. $(x_1, y_1), \dots, (x_N, y_N)$. 그런 다음 신경망에 키와 값을 제공합니다.$(x_i, y_i)$. 예를 들면$x_i$ 수 $4$ 과 $y_i$ 수 $3$,하지만 반드시 그럴 필요는 없습니다.
신경망이 출력하도록 가르치는 방법이 있습니까? $y_i$ 변수를받을 때마다 $x_i$?
그런데 우리 뇌는이 기능을 어떻게 수행합니까?
답변
요컨대 : 암기는 학습이 아닙니다
먼저 Supervised Learning 에서 신경망의 고전적인 사용을 상기시켜 봅시다 .
- 당신은 세트가 있습니다 $(x_{train}, y_{train}) \in X \times Y$ 쌍, 그리고 당신은 일반 매핑 법칙을 추출하려고 $X$ ...에 $Y$
- 신경망 함수를 사용합니다. $f_{\theta} : x \rightarrow f_{\theta}(x)$,와 함께 $\theta$ 네트의 가중치 (파라미터).
- 당신은 최적화 $f_{\theta}$ 손실 함수로 표시되는 예측 오류를 최소화합니다.
이것이 귀하의 질문을 해결할 수 있습니까? 글쎄, 나는 그렇게 생각하지 않는다. 이 체계를 사용하면 신경망 이 세트에서 적절한 매핑을 학습 합니다.$X$ 세트에 $Y$하지만이 매핑은 손실 함수에 따라 적합합니다. $(x_{train}, y_{train})$ 한 쌍.
데이터의 작은 부분에 잘못 레이블이 지정되었다고 상상해보십시오. 적절하게 훈련 된 네트는 관련 기능을 추출하는 방법을 학습하므로 레이블을 올바르게 예측합니다. 따라서 그물은 당신의 쌍을 기억하지 않고 데이터에서 일반 법칙을 추론하며이 법칙은 각각을 존중하지 않을 수 있습니다$(x_{train}, y_{train})$. 따라서 고전적인 감독 딥 러닝은$(x_{train}, y_{train})$ 한 쌍.
그러나 너무 많은 매개 변수가있는 네트를 사용하여 기억할 수 있습니다 . 그것은 과적 합입니다 !
- 이 경우 너무 많은 매개 변수로 네트를 설정합니다. 그것은 당신의 그물에 너무 많은 자유도를 제공하고 그물은 이러한 DoF를 사용하여 각각에 정확하게 맞습니다.$(x_{train}, y_{train})$ 훈련 중에 먹이는 쌍.
- 그러나 입력의 경우 $x$ 훈련 중에 본 적이없는 $f_{\theta}(x)$의미가 없습니다. 이것이 우리가 과적 합 된 네트가 학습하지 않았고 많은 DL 실무자가 과적 합을 두려워하는 이유입니다.
그러나 기억 만하고 배우지 않으려면 과적 합 된 그물이 해결책이 될 수 있습니다. 암기에 대한 다른 해결책은 Expert Systems 일 수 있습니다 . 저는 그것들을 설명 할만큼 충분히 알지 못하지만 원하면 확인할 수 있습니다.
뇌는 어떻습니까?
이 질문에 답하는 문제는 우리가 뇌가 어떻게 작동하는지 실제로 알지 못한다는 것입니다. 신경망과 뇌에 대해 논의하는 이 기사를 적극 권장 합니다 .
시작해야 할 몇 가지 생각 :
- 뇌는 엄청나게 엄청난 양의 매개 변수 를 가지고 있으며 가소성이 뛰어납니다. 그런 의미에서 우리는 과적 합 된 신경망과 유사점을 그릴 수 있습니다. 그래서 뇌도 과적 합할 수 있고, 따라서이 의미로 기억할 수 있습니다.
- 우리의 두뇌는 피드 포워드 네트워크가 아닙니다. 어떤 레이어도 구분할 수 없으며 특정 정보가 처리된다는 것을 알고있는 일부 거친 영역 만 있습니다. 이것은 신경망과 뇌 사이의 평행선을 어렵게 만듭니다.
- 우리 뇌가 어떻게 자체적으로 업데이트되는지는 여전히 불분명합니다. 예를 들어 역 전파가 없습니다. 우리의 과적 합 된 네트워크는 또한 업데이트 프로세스에서 비롯됩니다 (예를 들어 손실에 정규화를 추가하면 과소 적합을 방지하는 데 도움이 됨).하지만 이것이 뇌에서 어떻게 작동하는지 알지 못하기 때문에 병렬을 그리는 또 다른 장애물입니다!
- 좀 더 개인적인 생각 : 두뇌는 배우고 암기 할 수 있습니다 ( "규칙을 증명하는 예외" 모토는 제 생각에 보여줍니다). 학습과 암기는 신경망의 반의어입니다 ...