정보이론의 기초: Shannon의 제1, 2, 3정리 완전 정복
정보이론의 기초: Shannon의 제1, 2, 3정리 완전 정복정보이론은 현대 통신과 데이터 압축, 인공지능, 심지어 뇌과학까지 광범위하게 영향을 주는 학문입니다. 이 중심에는 바로 Claude Shannon이 있으며, 그가 발표한 세 가지 정리는 정보의 전송과 압축에 있어 불변의 기준점이 되어왔습니다.이 글에서는 Shannon의 제1, 2, 3정리를 쉽게 풀어 설명하고, 각 정리가 의미하는 바와 실생활 혹은 기술 응용까지 함께 살펴보겠습니다.Shannon 제1정리: 정보 원천의 엔트로피 정리 (Source Coding Theorem)"모든 정보는 그에 맞는 최소한의 비트로 압축 가능하다"🔍 정리 내용정보의 엔트로피(H)는 그 정보의 '불확실성' 또는 '정보량'을 나타냅니다. Shannon은 이 엔트로..
2025. 4. 30.
