교차엔트로피, 소프트맥스 함수 조사 보고서

1. 교차엔트로피 오차란

교차엔트로피 오차는 주로 머신러닝, 특히 분류 문제에서 모델의 성능을 평가하기 위해 사용되는 손실 함수이다. 이 개념은 정보 이론에서 유래되었으며, 실제 확률 분포와 예측 확률 분포 간의 차이를 측정하는 데 유용하다. 교차엔트로피는 서로 다른 두 확률 분포 간의 유사성을 정량화하는 방법으로 이해할 수 있다. 특히, 분류 모델이 주어진 입력에 대해 올바른 클래스를 얼마나 잘 예측하는지를 평가하는 데 적합하다. 교차엔트로피의 수식은 다음과 같다. 주어진 데이터 포인트에 대한 실제 레이블이 \(y \)이고, 모델이 예측한 확률 분포가 \(\hat{y} \)일 때, 이들의 교차엔트로피는 다음과 같이 정의된다. 교차엔트로피는 일반적으로 두 확률 분포 \(P \)와 \(Q \)에 대해 \(H(P, Q) = -\sum_{i} P(i) \log(Q(i)) \)의 형식을 가진다. 여기서 \(P \)는 실제 레이블의 분포, \(Q \)는 모델의 예측 분포이다. 분류 문제에서 사용될 때, 실제 레이블이 원핫 인코딩된 형태로 표현된다. 예를 들어, 이미지가 고양이인지 개인지 분류하는 이진 분류 문제에서, 고양이는 [1, 0]으로, 개는 [0, 1]로 표현될 수 있다. 모델이 예측한 확률 분포가…