KL Divergence

1. KL Divergence

KL Divergence는 정보 이론과 통계적 학습에서 중요한 개념으로, 두 확률 분포 간의 차이를 측정하는 데 사용된다. 주로 두 분포 P와 Q가 있을 때, KL Divergence는 P가 Q를 얼마나 잘 나타내는지를 수치적으로 몇 가지 중요한 속성으로 정의할 수 있다. KL Divergence는 `Kullback-Leibler Divergence`의 약자로, 솔로몬 훌리엮과 리온 커백이 최초로 제안한 개념이며, 두 분포 P와 Q의 예측력 차이를 정량적으로 설명할 수 있는 유용한 지표이다. KL Divergence는 확률 분포 P가 특정한 사건에 대해 분포 Q로 얼마나 벗어나는지를 판단하는 데 사용된다. 수학적으로는 다음과 같이 정의된다. P와 Q가 각각의 사건에 대한 확률 분포라면, KL Divergence는 다음의 수식으로 표현된다. \[D_{KL}(P || Q) = \sum_{x} P(x) \log \frac{P(x)}{Q(x)} \] 여기서 x는 사건의 모든 가능한 실현을 나타내며, P(x)는 사건 x에 대한 분포 P의 확률, Q(x)는 사건 x에 대한 분포 Q의 확률을 나타낸다. 이 식은 P가 Q와 얼마나 다른지를 측정하는 데 필수적인 요소로 작용한다. KL Divergence는 항상 0 이상의 값을 가지며, P와 Q가 일치할 경우 KL Divergence는 0이 된…