Introduction

Neuron
뇌를 연구하는 학자들은 인간의 두뇌가 많은 수의 신경세포로 구성되어 있는 것을 발견했다. 인간의 두뇌는 단위적인 연산을 수행하는 작은 신경세포들의 결합으로 복잡한 추론과 수리적인 계산을 수행한다. 이때, 연산의 단위가 되는 신경세포(neuron)가 하는 일은 그렇게 복잡하지 않다. 신경세로가 하는 일은 단지 외부로부터의 입력을 받아서 특정한 출력을 내는 것이다.
신경세포가 반응하는 조건은 외부로부터 일정 이상의 입력이 들어왔을 때 출력을 낸다. 또한 하나의 신경세포가 낼 수 있는 출력은 한정되어 있으므로 특정 값을 넘어갈 수 없다. 이러한 신경세포의 동작은 아래와 같은 함수들로 묘사된다.
∙시그모이드 함수 (Sigmoid Function)
시그모이드 함수는 신경망의 임계 함수적인 동작을 잘 표현할 뿐만 아니라 미분가능하고 수학적으로 편리한 특성을 가지므로, 오류 역전파 신경망(MLP)에서 중요한 위치를 차지하고 있다.
∙스텝 함수 (Step Function)
간단한 형태의 함수지만 대부분의 경우 잘 동작한다. 오류 역전파 신경망(MLP)이외의 신경망에 활용된다.
∙램프 함수 (Ramp …(생략)