인공신경망 초기 모델, ADALINE(아달라인) 이해, 손실함수(Loss Function) MSE (Mean Squared Error)

신경세포의 초기 모델로 불리는 아달라인 ADALINE 은 스탠포드 대학의 버나드 위드로 Bernard Widrow 와그의 제자 테드 호프 Ted Hoff 가1960년에 개발한 모델입니다.

 

 

ADALINE은 Adaptive Linear Neuron의 줄임말로 최적의 리니어 뉴런을 찾는것이라고 이해하면 될 것 같습니다.

 

퍼셉트론 모델의 경우에는 순입력 함수의 리턴값을 임계값을 기준으로 1과 -1로 분류를 합니다.

Error라고 표현된 부분이 실제값과 예측값이 차이가 되고 이를 통해 w(가중치)를 업데이트 하게 됩니다.

Adaline은 순입력함수의 리턴값과 실제 결과값(Error)의 오차가 최소화 되도록 가중치를 조정하게 됩니다.

 

이때 Gradient 방식을 사용해서 가중치를 업데이트 하게 됩니다.

 

Percptron vs Adaline

Perceptron	Adaline
Linear Classfier	Linear Regression
Discrete Output Value	Continous Value

 

Loss Function For Adaline (손실함수)

Adaline 모델에서 활성화 함수를 거치 예측값과 실제 결과값의 차이를 구하기 위해서 손실함수를 사용하게 됩니다.

 

손실함수는 MES(Mean Squared Error)를 활용하여 계산을 해주게 됩니다.

 

 

1/2은 나중에 미분을 쉽게 하기 위해서 넣은 값이고, 편차의 제곱을 통해서 양의 값으로 만들어 주게됩니다.

MES가 가장 작은 값이 나올수 있도록 계산을 해주게 되는데, 손실함수는 2차 함수 이기 때문에 기울기가 0에 수렴하는 경우 가장 최소값을 갖게 됩니다.

양의 2차함수의 극소값은 기울기가 0이 되는 지점이죠.

 

 

위와 같이 기울기가 0인 지점을 찾아가는 방법을 경사하강법이라고 하고 경사하강법을 이용하여 가중치(weight,w)를 조금씩 조정하면서 이동을 하게 됩니다.