물리 엔트로피와 정보이론 엔트로피
물리 엔트로피와 정보이론 엔트로피는 이름이 같지만 서로 다른 개념이다. 물리 쪽은 열과 입자가 흩어진 정도와 그 확률을 가리키고, 정보이론 쪽은 데이터에 담긴 불확실성과 정보의 양을 뜻한다. 수능 독서는 두 지문에 같은 단어가 나올 때 이를 하나의 개념으로 오독하지 않는지를 확인한다.
균등한 경우 두 엔트로피가 모두 크지만, 세는 대상과 단위는 서로 다르다
물리 모형 · N=8 입자의 좌·우 분포
정보 모형 · 독립 이진 기호
물리 모형은 미시상태의 수를 세어 S/k_B로, 정보 모형은 기호 확률을 세어 bit/기호로 나타낸다. 봉우리 모양이 닮아도 세는 대상과 단위는 다르다.
왼쪽 좌표 그래프는 구별되는 입자 8개를 좌우 두 칸에 나눌 때 왼쪽 입자 수가 0개 또는 8개이면 해당 거시분포의 미시상태 수가 1이라 물리 엔트로피가 0이고 4개씩 나뉘면 조합 수가 70이라 볼츠만 상수로 나눈 엔트로피가 약 4.25로 최대가 되는 대칭 관계를 보여 주며, 오른쪽 좌표 그래프는 독립 이진 기호에서 기호 1의 확률이 0 또는 1이면 Shannon 엔트로피가 0비트이고 0.5이면 기호당 1비트로 최대가 되는 대칭 관계를 보여 준다
텍스트로 자세히 설명
왼쪽 패널은 구별되는 입자 N=8개가 좌·우 두 칸 중 하나에 있을 수 있고 모든 미시상태가 같은 확률이라는 설명용 공간 분포 모형이다. 왼쪽 칸 입자 수를 k라 하면 그 거시분포에 속한 미시상태 수는 Ω=C(8,k)=1·8·28·56·70·56·28·8·1이고, S/k_B=ln Ω는 0·2.079·3.332·4.025·4.248·4.025·3.332·2.079·0이다. k=4의 개별 미시상태 하나가 더 유력하다는 뜻이 아니라, 4대4 거시분포에 속하는 서로 다른 미시상태가 가장 많다는 뜻이다. 이 작은 모형은 실제 물질의 에너지 준위, 입자 상호작용, 양자 통계와 전체 열역학 엔트로피를 포함하지 않는다. 오른쪽 패널은 기억이 없고 서로 독립인 이진 정보원에서 기호 1의 확률을 p, 기호 0의 확률을 1−p로 둔다. H₂(p)=−p log₂p−(1−p)log₂(1−p)는 p=0·0.1·0.2·0.3·0.4·0.5·0.6·0.7·0.8·0.9·1에서 0·0.469·0.722·0.881·0.971·1·0.971·0.881·0.722·0.469·0 bit/기호다. 이는 기호 확률 분포의 평균 불확실성이며 한 유한 문자열의 실제 압축 길이, 통신로의 잡음·용량, 메시지의 의미나 의미의 중요도를 직접 재는 값이 아니다. 두 패널의 대칭적인 봉우리는 수학적 닮음을 보여 주지만 물리 엔트로피와 정보 엔트로피를 아무 조건 없이 서로 바꿔 쓸 수 있다는 뜻이 아니다. 아래 천공카드 사진은 기호가 물리 매체에 기록된 실제 사례일 뿐이다. 이 그래프와 정보 엔트로피는 천공카드 사진에서 측정한 값이 아니다. 한 장의 구멍 무늬만으로는 기호의 확률 분포를 알 수 없다. 두 개념의 대상·정의·읽기 단서는 이어지는 도식에서 구분한다.
같은 엔트로피라도 물리는 입자 배열, 정보는 데이터 불확실성을 잰다
물리: 열·입자의 흩어짐과 배열 경우의 수
정보이론: 데이터의 불확실성과 정보량
물리 지문은 열·입자·배열 확률을, 정보 지문은 데이터·불확실성·부호화를 단서로 정의를 선택한다.
물리 엔트로피는 입자가 퍼질 수 있는 공간과 배열 확률을 대상으로 하고 정보이론 엔트로피는 반복되어 다음 기호가 뚜렷한 데이터와 여러 기호가 가능해 불확실한 데이터를 대상으로 하는 비교
텍스트로 자세히 설명
첫 패널은 물리적 계의 입자들이 더 넓은 공간에 배열될 수 있는 모습을 그려 물리 엔트로피가 열, 입자, 배열 확률을 다룸을 보여 준다. 둘째 패널은 A가 반복되어 다음 기호를 쉽게 예측하는 데이터와 다음 기호로 A, B, C가 모두 가능한 데이터 가지를 대비해 정보이론 엔트로피가 데이터의 불확실성과 정보량을 다룸을 보여 준다. 두 패널은 같은 단어를 쓰지만 서로 다른 정의다.
구멍 위치로 문자를 기록한 IBM식 천공카드
청회색 IBM식 천공카드의 1번부터 80번 열과 0번부터 9번 행 곳곳에 흰 직사각형 구멍이 뚫려 있고 위쪽에는 숫자·영문자·특수문자 부호가 나열된 실제 사진
텍스트로 자세히 설명
가로로 긴 청회색 카드에 1번부터 80번까지 열 번호가 인쇄되어 있고, 각 열에는 0부터 9까지 숫자 행과 위쪽 두 보조 행이 놓여 있다. 여러 열의 서로 다른 높이에 직사각형 구멍이 뚫려 있으며, 카드 맨 위에는 0~9, A~Z와 특수문자에 대응하는 천공 조합이 차례로 보인다. 이 사진은 추상적인 기호가 종이라는 물리 매체의 구멍 위치로 부호화될 수 있음을 보여 주지만, 한 장의 천공카드만으로 정보 엔트로피를 측정한 사진이 아니다. Shannon 엔트로피 H₂(p)를 계산하려면 기호의 확률 분포가 필요하고, 카드에서 구멍이 많아 보이는 정도나 문자의 의미적 중요도는 그 값과 같지 않다. 또한 압축된 문자열 길이, 통신로 잡음과 용량, 물리계의 열역학적 엔트로피를 이 사진만으로 추론할 수 없다. 8개 입자의 좌우 분포별 S/k_B=ln C(8,k)와 독립 이진 기호 확률별 H₂(p)는 앞의 그래프에서, 물리계의 미시상태와 정보원의 기호 가지가 서로 다른 대상을 가리킨다는 점은 앞의 도식에서 읽는다. 그래프의 확률과 엔트로피 값은 이 카드에서 측정한 값이 아니다.
목차
1. 개요
물리 엔트로피와 정보이론 엔트로피는 같은 이름을 쓰지만 뿌리가 다른 두 개념이다.1 물리 쪽 엔트로피는 엔트로피에서 다루듯 열과 입자가 흩어진 정도, 그리고 계가 놓일 수 있는 경우의 수와 확률을 가리킨다. 반면 정보이론에서 말하는 엔트로피는 부호화를 다루는 지문에 등장하며 데이터에 담긴 불확실성과 정보의 양을 뜻한다. 이름만 같을 뿐 정의가 다르므로, 한쪽의 규칙을 다른 쪽 지문에 그대로 옮기면 함정에 걸린다. 물리 엔트로피는 열역학-법칙의 제2법칙, 제1법칙인 에너지-보존-법칙, 그리고 열기관과-효율의 한계와 한 몸으로 얽혀 있고, 그 미시적 그림은 분자의 운동을 다루는 기체운동론과 이어진다.
2. 상세
2.1. 물리 엔트로피 — 흩어짐과 경우의 수
물리에서 엔트로피는 에너지가 얼마나 퍼졌는지, 또 입자가 배열될 수 있는 가짓수가 얼마나 되는지를 나타낸다. 거시적으로는 온도와 주고받은 열로, 미시적으로는 배열의 경우의 수로 읽힌다. 잉크가 물에 번지거나 기체가 빈 공간으로 팽창하는 현상이 그 전형으로, 자연이 경우의 수가 많은 쪽으로 흘러가는 방향을 보여 준다. 값이 커진다는 것은 계가 더 넓게 흩어지고 더 일어나기 쉬운 배열로 옮겨 갔다는 뜻이며, 이 엔트로피는 열역학 법칙의 지배를 받는다.2
2.2. 정보이론 엔트로피 — 불확실성과 정보량
정보이론에서 엔트로피는 전혀 다른 것을 잰다. 여기서는 어떤 데이터가 얼마나 예측하기 어려운지, 곧 불확실성과 그에 담긴 정보의 양을 가리킨다. 이 개념은 부호화를 다루는 지문에서 모습을 드러낸다. 다루는 재료가 열이나 입자가 아니라 데이터라는 점만 분명히 해 두면, 물리 쪽 서술과 뒤섞일 일이 없다.3
2.3. 같은 단어, 다른 정의
두 엔트로피가 헷갈리는 까닭은 오직 이름이 같기 때문이다. 물리 엔트로피는 열과 입자를 대상으로 삼고, 정보이론 엔트로피는 데이터를 대상으로 삼는다. 다루는 대상이 다르니 성립하는 규칙도 다르다. 물리 지문에서 통하던 '흩어지는 쪽으로 증가한다' 같은 서술을 정보 지문의 엔트로피에 그대로 붙이면 어긋난 판단으로 이어진다.
2.4. 지문의 정의로만 판단한다
그래서 독해의 첫 걸음은 지금 읽는 지문이 물리인지 정보인지를 가르는 일이다. 종류를 정한 뒤에는 그 지문이 스스로 내린 정의 안에서만 판단해야 한다. '엔트로피'라는 단어 하나에 반응해 배경지식을 성급히 꺼내 드는 순간이 오히려 함정이 된다. 밖에서 끌어온 배경지식이나 다른 지문의 규칙을 섞으면, 같은 단어에 홀려 엉뚱한 선지를 고르게 된다.4
3. 수능에서는 이렇게 나온다
평가원은 같은 이름에 속지 않는지를 확인한다. 용어 동음이의 구분형은 물리 지문과 부호화 지문에 각각 나온 '엔트로피'를 두고, 이를 같은 개념으로 읽지는 않는지 시험한다. 선지는 한 지문의 엔트로피에 성립하는 성질을 다른 지문의 엔트로피에 슬쩍 옮겨 붙여 오답을 유도한다. 두 개념을 갈라 두고 각 지문의 정의에 붙어 읽으면 이런 비틀기를 피할 수 있다. 구체적인 출제 이력은 아래 위젯을 참조하라.
4. 헷갈리기 쉬운 것들
| 흔한 오해 | 왜 어긋났나 | 바르게 이해하기 |
|---|---|---|
| 물리 엔트로피와 정보 엔트로피는 같은 것이다 | 글자만 같을 뿐, 열과 입자를 대상으로 한 개념과 데이터의 정보량을 대상으로 한 개념은 뿌리가 다르다 | 지문이 물리인지 정보인지부터 가르고 그 안의 정의로 판단한다 |
| 물리에서 통하는 규칙은 정보 지문에도 통한다 | 대상이 열·입자에서 데이터로 바뀌면 성립하는 규칙도 달라진다 | 한 지문의 성질을 다른 지문의 엔트로피에 옮겨 붙이지 않는다 |
| 엔트로피라는 말이 나오면 늘 물리 개념이다 | 부호화를 다루는 지문에서는 정보이론의 엔트로피로 쓰인다 | 단어가 아니라 지문의 종류로 어느 개념인지 판정한다 |
5. 관련 개념
- 엔트로피 — 물리 쪽 엔트로피의 거시·미시 두 관점을 정리한 문서
- 열역학-법칙 — 물리 엔트로피가 따르는 제2법칙의 방향성
- 에너지-보존-법칙 — 물리 엔트로피와 짝을 이루는 제1법칙, 에너지의 양
- 열기관과-효율 — 물리 엔트로피 증가가 효율 한계로 드러나는 응용
- 기체운동론 — 물리 엔트로피의 미시 관점과 이어지는 분자 운동 이론
각주
-
정의와 설명은 평가원 기출 기반 배경지식 자료(과학·물리·열역학·엔트로피)의 합성 서술을 재서술한 것이다. ↩
-
물리 엔트로피는 '열·입자·확률'이라는 세 열쇳말로 붙들어 두면 좋다. 이 신호가 보이는 지문이라면 물리 쪽 엔트로피로 읽으면 된다. ↩
-
정보이론 엔트로피는 '데이터·불확실성·부호화'라는 열쇳말과 함께 나온다. 이 신호가 보이면 물리 법칙을 끌어오지 말고 그 지문의 정의만 따라간다. ↩
-
같은 단어가 두 지문에 나올 때는 '어느 지문의 정의인가'를 매번 되물어야 한다. 배경지식이 오히려 오독을 부르기 쉬운 자리가 바로 이 동음이의 지점이다. ↩
출제 사례
이 개념이 어느 시험·지문에 등장했는지의 기록입니다. 개념 자체의 난이도가 아니라 출제 맥락을 보여줍니다.
- 17학년도 9월 모평독서지문 내 문항
- 31번2점
- 32번2점
- 33번3점
- 34번2점
이 문서를 가리키는 문서
잘못된 내용을 발견하셨나요? 신고해 주시면 검토 후 반영합니다.