KL Divergence

1. KL Divergence 정의

Q1. KL Divergence의 정의
Kullback-Leibler Divergence(KL Divergence)는 두 확률 분포 간의 차이를 정량적으로 나타내는 척도이다. 이는 주어진 확률 분포 P와 P를 근사하는 또 다른 확률 분포 Q 사이의 차이를 측정하는데 사용된다. 수학적으로는 P와 Q가 각각 확률 질량 함수 또는 확률 밀도 함수일 때, KL Divergence는 다음과 같이 정의된다. D_KL(P||Q) = Σ P(x) log(P(x)/Q(x)) 또는 적분 형태로 표현하면 D_KL(P||Q) = ∫ p(x) log(p(x)/q(x)) dx이다. 여기서 P와 Q는 각각의 확률 분포를 나타내며, p(x)와 q(x)는 각각의 확률 밀도 또는 질량 함수를 의미한다. 이때, 로그는 보통 자연로그를 사용하며, 값이 무한대로 수렴하는 경우에도 정의되어 있기 때문에 두 분포가 서로 겹치지 않거나 Q가 P를 충분히 잘 근사하지 못할 경우 KL Divergence 값은 매우 높게 나타난다. 예를 들어, 암 환자와 건강한 사람의 혈액 검사지수의 확률 분포가 각각 P와 Q로 주어진다고 할 때, 이 두 분포 간의 KL Divergence는 암 환자 그룹의 의료 데이터를 기반으로 건강한 사람과의 차이를 수치로 나타내는 역할을 한다. 이는 의료 진단이나 치료 전략 …