정보이론의 기초: Shannon의 제1, 2, 3정리 완전 정복
정보이론의 기초: Shannon의 제1, 2, 3정리 완전 정복정보이론은 현대 통신과 데이터 압축, 인공지능, 심지어 뇌과학까지 광범위하게 영향을 주는 학문입니다. 이 중심에는 바로 Claude Shannon이 있으며, 그가 발표한 세 가지 정리는 정보의 전송과 압축에 있어 불변의 기준점이 되어왔습니다.이 글에서는 Shannon의 제1, 2, 3정리를 쉽게 풀어 설명하고, 각 정리가 의미하는 바와 실생활 혹은 기술 응용까지 함께 살펴보겠습니다.Shannon 제1정리: 정보 원천의 엔트로피 정리 (Source Coding Theorem)"모든 정보는 그에 맞는 최소한의 비트로 압축 가능하다"🔍 정리 내용정보의 엔트로피(H)는 그 정보의 '불확실성' 또는 '정보량'을 나타냅니다. Shannon은 이 엔트로..
2025. 4. 30.
단축키
내 블로그
내 블로그 - 관리자 홈 전환 |
Q
Q
|
새 글 쓰기 |
W
W
|
블로그 게시글
글 수정 (권한 있는 경우) |
E
E
|
댓글 영역으로 이동 |
C
C
|
모든 영역
이 페이지의 URL 복사 |
S
S
|
맨 위로 이동 |
T
T
|
티스토리 홈 이동 |
H
H
|
단축키 안내 |
Shift + /
⇧ + /
|
* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.