정보이론의 기초: Shannon의 제1, 2, 3정리 완전 정복

정보이론의 기초: Shannon의 제1, 2, 3정리 완전 정복

정보이론은 현대 통신과 데이터 압축, 인공지능, 심지어 뇌과학까지 광범위하게 영향을 주는 학문입니다. 이 중심에는 바로 Claude Shannon이 있으며, 그가 발표한 세 가지 정리는 정보의 전송과 압축에 있어 불변의 기준점이 되어왔습니다.

이 글에서는 Shannon의 제1, 2, 3정리를 쉽게 풀어 설명하고, 각 정리가 의미하는 바와 실생활 혹은 기술 응용까지 함께 살펴보겠습니다.

---

Shannon 제1정리: 정보 원천의 엔트로피 정리 (Source Coding Theorem)

"모든 정보는 그에 맞는 최소한의 비트로 압축 가능하다"

🔍 정리 내용

정보의 엔트로피(H)는 그 정보의 '불확실성' 또는 '정보량'을 나타냅니다. Shannon은 이 엔트로피가 의미하는 바를 다음과 같이 정리했습니다.

어떤 정보 원천이 있을 때, 그 정보를 무손실로 압축할 수 있는 이론적인 한계는 바로 그 원천의 엔트로피 H이다.

📦 예시

예를 들어, 동전 던지기처럼 확률이 50:50인 사건은 엔트로피가 1비트입니다. 이를 압축하면 1비트로 표현이 가능하다는 것이죠.

✅ 실생활 응용

• 무손실 압축 기술 (ZIP, PNG 등)
• 자연어 처리의 언어 모델 최적화
• 신호 처리 및 IoT 센서 데이터 최소화

---

Shannon 제2정리: 채널 용량 정리 (Channel Coding Theorem)

"잡음 있는 채널에서도 오류 없이 정보를 보낼 수 있다"

🔍 정리 내용

잡음이 있는 채널에서도 채널의 용량(C)보다 낮은 전송률로 정보를 보내면, 오류를 거의 0으로 만들 수 있는 부호화 방법이 존재한다.

즉, 무작위 오류가 발생해도 충분한 여유(여유 비트, redundancy)를 두면 복원 가능한 부호를 설계할 수 있다는 뜻입니다.

🔐 수식적 표현

• 채널 용량(C) > 전송률(R) → 오류 확률을 0에 가깝게 할 수 있음

📦 예시

• 디지털 TV가 잡음 많은 환경에서도 끊김 없이 방송되는 이유
• Wi-Fi나 LTE에서 신호가 약해도 데이터가 손실되지 않는 이유

✅ 실생활 응용

• 에러 정정 코드(FEC, Hamming Code, Turbo Code 등)
• 위성 통신, IoT 통신
• 양자 통신의 정보 보호 전략

---

Shannon 제3정리: 정보의 비대칭성 (Shannon’s Separation Theorem)

"압축과 부호화는 따로따로 해도 최적이다"

🔍 정리 내용

정보 압축(source coding)과 오류 정정(channel coding)은 별개로 설계해도 전체적으로 최적의 성능을 낼 수 있다.

즉, 먼저 데이터를 최소한으로 압축하고, 그다음 에러 정정 코드를 입혀도 결과적으로 최적이라는 것입니다. 이는 시스템 설계의 단순화에 큰 기여를 했습니다.

📦 예시

• 비디오 전송 시, H.264 압축 → 이후 에러 정정 코딩 적용
• YouTube 영상이 다양한 네트워크 환경에서도 원활하게 재생되는 구조

✅ 실생활 응용

• 통신 프로토콜 계층화 설계 (OSI 모델)
• 디지털 멀티미디어 스트리밍
• 인공지능 학습 데이터 전처리 및 전송

---

시각적으로 이해하기

정리 번호	주요 내용	핵심 개념	실생활 예시
제1정리	정보는 그 엔트로피만큼 압축 가능	압축의 한계	ZIP, PNG
제2정리	잡음 있는 채널도 오류 없이 전송 가능	채널 용량	FEC, LTE
제3정리	압축과 부호화는 분리해도 최적	설계 단순화	스트리밍, OSI 모델

 

---

마치며

Shannon의 세 가지 정리는 단순한 수학적 이론을 넘어서, 오늘날의 디지털 통신, 인터넷, 인공지능, 영상처리, 음성 코덱, 심지어 우주 통신까지 폭넓은 분야에 영향을 주고 있습니다.
압축의 본질, 통신의 안정성, 시스템 설계의 원칙까지 이 세 정리만으로도 디지털 세계의 뼈대를 설명할 수 있습니다.

정보의 흐름과 안정성을 설계할 때, 이 세 가지 정리를 떠올려 보세요. 더 효율적이고, 더 정확한 디지털 세계가 그 안에 담겨 있습니다.