02. 놀라운 소식일수록 왜 정보가 많을까

매일 해가 떴다는 소식은 중요할 수 있지만 놀랍지는 않다. 반면 한여름 도시에 눈이 내렸다는 소식은 예상하기 어려워 더 많은 새 정보를 준다. 정보이론은 이 직관을 사건의 확률과 비트라는 수로 바꾼다.

자기정보량은 드문 사건에 더 큰 값을 준다

확률 p인 사건의 정보량을 I=-log₂p로 놓으면 확률이 낮을수록 정보량이 커진다. 확률이 1인 사건은 새 불확실성을 없애지 않으므로 정보량이 0이다. 독립 사건이 함께 일어날 확률은 곱해지고 정보량은 더해지는 로그의 성질도 얻는다. 이 정보량은 문장의 지혜나 사회적 가치가 아니라 확률 모형 안의 놀라움을 잰다.

엔트로피는 가능한 메시지의 평균 정보량이다

각 사건의 정보량에 그 사건의 확률을 곱해 더한 값이 섀넌 엔트로피다. 결과가 거의 확정되어 있으면 엔트로피가 낮고, 같은 수의 결과가 고르게 가능하면 높다. 어떤 확률 분포를 가정했는지에 따라 값이 달라진다. 데이터 한 묶음의 실제 압축 길이가 언제나 엔트로피와 정확히 같다는 뜻은 아니다.

부호화는 기호를 비트열에 대응시킨다

자주 나오는 기호에 짧은 부호, 드문 기호에 긴 부호를 주면 평균 길이를 줄일 수 있다. 접두어 부호는 어느 부호도 다른 부호의 앞부분이 되지 않게 해 구분 기호 없이 차례로 해독할 수 있다. 허프만 부호는 알려진 기호 확률에서 기호별 정수 길이 접두어 부호의 평균 길이를 최소화한다.

통계 부호화와 지각 부호화는 줄이는 근거가 다르다

무손실 부호화는 중복을 찾아 원본을 정확히 복원하고, 지각 부호화는 사람이 덜 민감한 성분을 버릴 수 있다. 오디오 코덱은 두 층을 연결하지만 ‘정보량이 적다’와 ‘사람에게 덜 들린다’를 같은 문장으로 만들지 않는다. 무엇을 보존해야 하는지가 부호 설계의 조건이다.