인공지능) 1. 역전파와 순전파에 대해서 설명 2. 손실함수는 어떤 특성을 갖는가 3. 옵티마이저가 무엇인지 설명 4. 위의 4가지의 연관관계를 5줄 이내로 설명

1. 역전파, 순전파란

인공지능에서 역전파와 순전파는 신경망의 학습 과정에서 핵심적인 역할을 하는 두 가지 주요 단계이다. 순전파는 입력 데이터를 신경망의 각 층을 통해 전달하여 최종 출력을 생성하는 과정이다. 이 과정에서 각 뉴런은 입력 값에 가중치를 곱하고 활성화 함수를 적용하여 다음 층으로 신호를 전달한다. 순전파의 결과로 얻어진 출력 값은 실제 정답과 비교하여 손실을 계산하는 데 사용된다. 이 손실 값은 모델의 성능을 평가하고, 학습할 다음 단계인 역전파에 중요한 정보를 제공한다. 역전파는 출력에서부터 시작하여 입력에 이르는 방향으로 오류를 전파하는 과정이다. 네트워크의 출력이 실제 정답과 얼마나 차이가 나는지를 측정한 손실 값을 기반으로, 출력층에서부터 시작하여 각 층의 가중치를 조정하기 위한 그래디언트를 계산한다. 이 단계에서 경량화된 체인 룰을 통해 각 뉴런의 가중치가 손실에 기여한 정도를 알 수 있으며, 이 정보를 사용하여 가중치를 업데이트하는 데 필요한 방향과 크기를 결정한다. 역전파 과정은 네트워크의 가중치를 지속적으로 조정하여 손실을 최소화하는 방향으로 진행되며, 이로 인해 신경망이 점차적으…