정보 엔트로피 주제 탐구 PDF

1. 정보 엔트로피의 개념

정보 엔트로피는 정보 이론에서 중요한 개념으로, 어떤 메시지나 데이터의 불확실성과 무질서를 정량적으로 나타내는 지표이다. 이는 클로드 섀넌이 1948년에 제시한 개념으로, 불확실성을 수치로 표현할 수 있어서 통신 시스템에서 효율적인 데이터 압축과 전송을 가능하게 한다. 정보 엔트로피는 수학적으로 확률 분포에 기반하며, 특정 사건이 발생할 확률이 낮을수록 그 사건이 정보를 전달하는 가치가 높아지고, 엔트로피 값도 커지게 된다. 예를 들어, 동전 던지기 실험을 생각하면, 앞면과 뒷면이 나올 확률이 각각 0.5일 때 엔트로피는 최대치인 1 비트가 된다. 이는 균등한 두 사건이 가장 예측하기 어려운 경우이기 때문이다. 반면, 어떤 사건이 99% 확률로 일어난다면 그 사건은 거의 확실하다고 볼 수 있어 엔트로피는 낮아지고, 0.1 비트 정도로 감소한다. 통계조사에 의하면, 미국의 가구들이 사용하는 휴대폰의 평균 문자 메시지 수는 하루 94통에 달하며, 이 메시지들 간의 내용을 분석한 엔트로피는 약 6 비트로 나타났는데, 이는 메시지 내용이 꽤 다양한 정보를 담고 있음을 보여준다. 또한, 데이터 압축 기법인 JPEG와 MP3는 …