확률과 통계 5 - 자기 정보와 엔트로피

Self Information (정보란 이렇습니다.)  뭐... 지식 같은 것이죠.  하지만 오늘 배울 정보의 개념은 결이 조금 다릅니다.바로 사건의 중요함을 수치화 한 것을 정보라고 합니다. 예를 들어서,오늘 눈이 오면 기온은 10도 이하다 라는 사건은 별로 중요하지 않습니다.눈이 오는 데 추운 건 너무나 당연한 이야기이기 때문이죠.  하지만 반대로 이런 사건이 있다고 해봅니다. 오늘 눈이 올 때 토네이도도 온다 살면서 토네이도는 흔치 않을 뿐더러,우리 생명과 재산에 있어서 매우 위험한 존재입니다.따라서 이런 사건은 매우 중요하죠.    정보이론에서 말하는 정보는사건이 중요하거나 별거 아님을 수치화해서 제공하는데,발생 확률이 낮으면 정보는 높고반대로 높으면 정보는 낮습니다. 그리고 특정 사건에 대해서,..

2024.08.10