엔트로피 요약 정리

1. 엔트로피의 개념

엔트로피는 물리학과 정보이론에서 모두 중요한 개념이다. 열역학에서는 시스템의 무질서 또는 무작위성의 정도를 나타내는 척도로, 엔트로피가 높을수록 시스템은 더 무질서하고 예측하기 어려운 상태에 있다. 예를 들어, 가득 찬 연소실에서 연료가 완전히 소모되어 연소가 완료된 뒤에는 연소 전보다 더 높은 엔트로피 상태에 있다고 볼 수 있다. 이는 자연적인 과정이 자발적으로 무질서 방향으로 진행된다는 열역학 법칙을 반영한다. 통계역학적 관점에서는 엔트로피는 미시적 상태의 수와 관련이 있다. 특정 거시적 상태를 구성하는 미시적 상태의 수가 많을수록 그 상태의 엔트로피는 높아진다. 예를 들어, 1리터의 정제수가 100도에서 끓기 시작하는 온도 범위 내에서 과열된 상태와 안정된 상태를 비교했을 때, 안정된 상태가 더 낮은 엔트로피를 갖는다. 정보이론에서는 엔트로피가 정보의 불확실성을 나타내는 척도로서, 클로드 셰넌이 제시하였다. 한 예로, 1000개의 동전을 던질 때 각각의 동전이 앞면이 나올 확률이 0.5일 경우, 엔트로피는 최대이며 이는 약 0.693 비트에 해당한다. 이는 동전 던지기의 결과를 예측하는 것이 가장 어려…