데이터 압축·엔트로피·오류정정

통신은 적은 비트로 보내고 싶지만 잡음 때문에 일부 비트가 뒤집힐 수 있다. 압축은 중복을 줄이고 오류정정은 의도적으로 중복을 더한다. 반대처럼 보이는 두 기술은 효율과 신뢰성을 서로 다른 단계에서 다룬다.

기호 확률과 반복 패턴을 이용해 평균 부호 길이를 줄이되 원본을 정확히 복원한다. 허프만·산술·사전 기반 부호는 서로 다른 방식으로 중복을 이용한다. 엔트로피는 주어진 확률 모형에서 평균 부호 길이의 근본 기준을 제공하지만 유한 데이터의 헤더·모형 비용까지 없애지는 않는다.