[교양2] 엔트로피 3장

1. 엔트로피의 개념

엔트로피는 무질서 또는 불확실성을 나타내는 개념으로, 열역학과 정보이론에서 중요한 역할을 한다. 열역학에서는 엔트로피가 시스템 내의 무질서 정도를 나타내며, 엔트로피 값이 높아질수록 시스템의 상태는 더 무질서하고 예측하기 어렵게 된다. 예를 들어, 이상적인 가스를 밀봉된 용기 내에 두고 가로질러 놓았을 때 온도와 압력 조건이 일정하면 가스 입자는 아무런 규칙 없이 움직이는데, 이 때의 엔트로피는 시간에 따라 증가한다. 이는 시간에 따라 가스의 상태가 점점 더 무질서해지고 있음을 보여준다. 통계 역학에서는 엔트로피를 미시적 상태의 가능성 또는 배치 수로 정의하며, 러더퍼드와 클라우지우스의 연구를 통해 수학적으로 표현되었다. 정보이론에서는 엔트로피를 메시지 또는 데이터의 불확실성으로 설명하는데, 특히 셔넌의 정의에 따르면, 하나의 메시지가 갖는 평균 정보량 또는 불확실성을 수치로 나타내며, 이는 비트 단위로 표현된다. 예를 들어, 8개의 서로 다른 문자가 있을 때, 균등 확률로 선택된다면 각각의 문자가 나올 확률은 1/8로서, 엔트로피는 로그2(8)=3비트로 계산된다. 또한 엔트로피는 일상생활에서도 관…