3-2. 다층 퍼셉트론

XOR 문제를 해결해주는 것의 답은, 기존의 고정관념을 깬 기발한 방법에서 생겨났다.
바로 직선을 그리는 종이를 휘게 만들어서 직선을 그리는 것이다.

바로 위같이 말인데, 이렇게 종이를 휘게 한 후, 한 직선을 그리면, 이것으로 XOR문제를 해결할 수가 있게 된다.
마찬가지로, 함수의 그래프에서도, 위같이 좌표 평면을 휘는 것과 같은 변화를 주어서 문제를 해결할 수 있다.
근데, XOR문제같이 입력했을 때 출력이 나오도록 하려면, 한 번의 계산으로 처리되어야 하는데, 그러면 좌표평면을 휘게 해주는 부분을 넣어주면 되며, 이것을 숨어있는 층, 은닉층(hidden layer) 이라 부른다.

이렇게 다층 퍼셉트론과, 은닉층을 도식으로 나타낸다면 아래와 같다.

이렇게 입력층(input layer)와 출력층(output layer) 사이에 숨어있는 은닉층을 시그모이드 함수 같은 활성화 함수로 만들어주면, 해결이 되게 된다.
함수의 출력결과가 바로 출력층으로 나오지 않고, 은닉층의 입력층으로 전달 받아서 다시 은닉층의 출력층으로 반환하는 작업을 중간에 수행하는 것이다.