2022년 2학기 방송통신대 딥러닝의통계적이해 출석수업대체과제물)다층신경망의 학습과정을 정리 Teachable Machine 을 이용하여 머신러닝 모형을 만들고 그 결과를 갭처하여 정리 구글 Colab을 이용하여 MNIST에 대한 완전연결신경망 등

1. 다층신경망의 학습과정을 정리하시오. (6점)

퍼셉트론은 입력층 하나와 출력층 하나로 구성된 단층신경망이다. 반면 다층신경망은 입력층과 출력층 사이에 중간 계산층으로 은닉층(hidden layer)가 1개 이상 존재한다. 모든 계산층이 자신의 계산 결과를 입력에서 출력으로의 순방향으로만 전달하는 구조의 다층 신경망을 순방향 신경망이라고 한다. 순방향 신경망에서는 한 층의 모든 노드는 다음 층의 모든 노드와 연결된다.

신경망에서 학습이란 뉴런 간 연결별 가중치들을 조정해가는 과정이다. 이때 신경망의 가중치들은 경사하강법으로 계산된다. 입력 데이터들은 은닉층을 거칠 때마다 가중합은 활성화함수로 그 값이 변화되어 다음 층으로 전달되면서 최종적으로 출력층에 도달한다. 신경망의 최종 목표는 시험 데이터에서 신경망을 통한 결괏값과 실젯값이 같아지도록 하는 것이므로, 출력층 값과 실젯값을 비교해 손실함수 J(w)의 값을 계산하고, 이를 기반으로 경사하강법을 통해 반복적으로 가중치들을 갱신한다.

손실함수로는 평균제곱오차와 교차 엔트로피 등이 사용된다. 가중치의 초깃값은 학습속도를 높이는 데 중요한데, 주로 0 근처의 작은 …