물리 엔트로피와 정보이론 엔트로피

1. 개요

물리 엔트로피와 정보이론 엔트로피는 같은 이름을 쓰지만 뿌리가 다른 두 개념이다.¹ 물리 쪽 엔트로피는 엔트로피에서 다루듯 열과 입자가 흩어진 정도, 그리고 계가 놓일 수 있는 경우의 수와 확률을 가리킨다. 반면 정보이론에서 말하는 엔트로피는 부호화를 다루는 지문에 등장하며 데이터에 담긴 불확실성과 정보의 양을 뜻한다. 이름만 같을 뿐 정의가 다르므로, 한쪽의 규칙을 다른 쪽 지문에 그대로 옮기면 함정에 걸린다. 물리 엔트로피는 열역학-법칙의 제2법칙, 제1법칙인 에너지-보존-법칙, 그리고 열기관과-효율의 한계와 한 몸으로 얽혀 있고, 그 미시적 그림은 분자의 운동을 다루는 기체운동론과 이어진다.

2. 상세

2.1. 물리 엔트로피 — 흩어짐과 경우의 수

물리에서 엔트로피는 에너지가 얼마나 퍼졌는지, 또 입자가 배열될 수 있는 가짓수가 얼마나 되는지를 나타낸다. 거시적으로는 온도와 주고받은 열로, 미시적으로는 배열의 경우의 수로 읽힌다. 잉크가 물에 번지거나 기체가 빈 공간으로 팽창하는 현상이 그 전형으로, 자연이 경우의 수가 많은 쪽으로 흘러가는 방향을 보여 준다. 값이 커진다는 것은 계가 더 넓게 흩어지고 더 일어나기 쉬운 배열로 옮겨 갔다는 뜻이며, 이 엔트로피는 열역학 법칙의 지배를 받는다.²

2.2. 정보이론 엔트로피 — 불확실성과 정보량

정보이론에서 엔트로피는 전혀 다른 것을 잰다. 여기서는 어떤 데이터가 얼마나 예측하기 어려운지, 곧 불확실성과 그에 담긴 정보의 양을 가리킨다. 이 개념은 부호화를 다루는 지문에서 모습을 드러낸다. 다루는 재료가 열이나 입자가 아니라 데이터라는 점만 분명히 해 두면, 물리 쪽 서술과 뒤섞일 일이 없다.³

2.3. 같은 단어, 다른 정의

두 엔트로피가 헷갈리는 까닭은 오직 이름이 같기 때문이다. 물리 엔트로피는 열과 입자를 대상으로 삼고, 정보이론 엔트로피는 데이터를 대상으로 삼는다. 다루는 대상이 다르니 성립하는 규칙도 다르다. 물리 지문에서 통하던 '흩어지는 쪽으로 증가한다' 같은 서술을 정보 지문의 엔트로피에 그대로 붙이면 어긋난 판단으로 이어진다.

2.4. 지문의 정의로만 판단한다

그래서 독해의 첫 걸음은 지금 읽는 지문이 물리인지 정보인지를 가르는 일이다. 종류를 정한 뒤에는 그 지문이 스스로 내린 정의 안에서만 판단해야 한다. '엔트로피'라는 단어 하나에 반응해 배경지식을 성급히 꺼내 드는 순간이 오히려 함정이 된다. 밖에서 끌어온 배경지식이나 다른 지문의 규칙을 섞으면, 같은 단어에 홀려 엉뚱한 선지를 고르게 된다.⁴

3. 수능에서는 이렇게 나온다

평가원은 같은 이름에 속지 않는지를 확인한다. 용어 동음이의 구분형은 물리 지문과 부호화 지문에 각각 나온 '엔트로피'를 두고, 이를 같은 개념으로 읽지는 않는지 시험한다. 선지는 한 지문의 엔트로피에 성립하는 성질을 다른 지문의 엔트로피에 슬쩍 옮겨 붙여 오답을 유도한다. 두 개념을 갈라 두고 각 지문의 정의에 붙어 읽으면 이런 비틀기를 피할 수 있다. 구체적인 출제 이력은 아래 위젯을 참조하라.

4. 헷갈리기 쉬운 것들

흔한 오해	왜 어긋났나	바르게 이해하기
물리 엔트로피와 정보 엔트로피는 같은 것이다	글자만 같을 뿐, 열과 입자를 대상으로 한 개념과 데이터의 정보량을 대상으로 한 개념은 뿌리가 다르다	지문이 물리인지 정보인지부터 가르고 그 안의 정의로 판단한다
물리에서 통하는 규칙은 정보 지문에도 통한다	대상이 열·입자에서 데이터로 바뀌면 성립하는 규칙도 달라진다	한 지문의 성질을 다른 지문의 엔트로피에 옮겨 붙이지 않는다
엔트로피라는 말이 나오면 늘 물리 개념이다	부호화를 다루는 지문에서는 정보이론의 엔트로피로 쓰인다	단어가 아니라 지문의 종류로 어느 개념인지 판정한다

5. 관련 개념

• 엔트로피 — 물리 쪽 엔트로피의 거시·미시 두 관점을 정리한 문서
• 열역학-법칙 — 물리 엔트로피가 따르는 제2법칙의 방향성
• 에너지-보존-법칙 — 물리 엔트로피와 짝을 이루는 제1법칙, 에너지의 양
• 열기관과-효율 — 물리 엔트로피 증가가 효율 한계로 드러나는 응용
• 기체운동론 — 물리 엔트로피의 미시 관점과 이어지는 분자 운동 이론

각주

1. 정의와 설명은 평가원 기출 기반 배경지식 자료(과학·물리·열역학·엔트로피)의 합성 서술을 재서술한 것이다. ↩

2. 물리 엔트로피는 '열·입자·확률'이라는 세 열쇳말로 붙들어 두면 좋다. 이 신호가 보이는 지문이라면 물리 쪽 엔트로피로 읽으면 된다. ↩

3. 정보이론 엔트로피는 '데이터·불확실성·부호화'라는 열쇳말과 함께 나온다. 이 신호가 보이면 물리 법칙을 끌어오지 말고 그 지문의 정의만 따라간다. ↩

4. 같은 단어가 두 지문에 나올 때는 '어느 지문의 정의인가'를 매번 되물어야 한다. 배경지식이 오히려 오독을 부르기 쉬운 자리가 바로 이 동음이의 지점이다. ↩