Perceptron(퍼셉트론)

퍼셉트론이란?

퍼셉트론은 1957년에 고안된 알고리즘으로, 신경망(Neural Network)의 기원이 되는 알고리즘이다.

퍼셉트론은 선형 분류 기법으로 입력(input)과 가중치(weight)를 곱해 활성함수를 적용하여 결과 값을 출력하는 방식이다.

퍼셉트론은 선형 분류방식이기 때문에 OR, AND와 같은 분류에만 적용 가능하고 XOR 같은 분류에는 적용이 불가능하다는 단점이 발견되면서 한동안 외면받았다(퍼셉트론 XOR 문제).

그러다 1986년에 중간층이라는 개념이 도입되면서 다층 퍼셉트론(MLP, Multi-Layer PErceptron)이 제시되었다.

 

하지만, 퍼셉트론의 계층을 계속 쌓아갈수록 학습하기가 어려운 문제가 있었는데 이를 Backpropagtion Algorithm이 나오면서 해결되었다.

Backpropagtion Algorithm은 Forwardpropagtion을 진행한 후에 예측값과 정답값의 오차를 후방으로 보내면서 다시 학습시키는 방식이다.

 

현재 사용하는 딥러닝 방식은 이러한 퍼셉트론 방식을 여러 개의 노드와 레이어로 확장한 것이다.

퍼셉트론은 Perception과 Neuron의 합성어이다.

• Perception : 무언가를 인지하는 능력
• Neuron : 감각 입력 정보를 의미있는 정보로 바꿔주는 뇌에 있는 신경 세포

즉, 퍼셉트론은 뉴런과 같이 다수의 신호를 입력으로 받아 하나의 신호로 출력하는 것이다.

아래는 퍼셉트론의 원리를 그림으로 그린 것이다.

입력값에 가중치를 적용하여 계산한 값을 확인하여 결과로 전달

퍼셉트론 구성요소

• Input(입력값): 흔히 머신러닝에서 말하는 feature 값
• Weights(가중치): 입력값들의 중요도
• Output: 결과값

퍼셉트론 원리

1. 퍼셉트론은 인풋을 받아 가중치에 따라 가중합(weighted sum)을 계산한다.
2. 그 값이 특정 기준을 만족하면(activation function) 1, 아니면 0으로 결과를 돌려준다.
3. activation function: 무수히 많은 activation function이 있지만, 주로 Step Function, Sigmoid activation function을 주로 사용한다.

퍼셉트론 학습

임의의 가중치를 선언하고 최소 제곱 법을 이용하여 오차를 구한 뒤 이 오차가 최소인 지점으로 가중치를 업데이트해가며 조금씩 이동

인공 뉴런과 퍼셉트론의 차이는 활성함수이다.

 

참조: https://wikidocs.net/book/2788