Self Information (정보란 이렇습니다.)  뭐... 지식 같은 것이죠.  하지만 오늘 배울 정보의 개념은 결이 조금 다릅니다.바로 사건의 중요함을 수치화 한 것을 정보라고 합니다. 예를 들어서,오늘 눈이 오면 기온은 10도 이하다 라는 사건은 별로 중요하지 않습니다.눈이 오는 데 추운 건 너무나 당연한 이야기이기 때문이죠.  하지만 반대로 이런 사건이 있다고 해봅니다. 오늘 눈이 올 때 토네이도도 온다 살면서 토네이도는 흔치 않을 뿐더러,우리 생명과 재산에 있어서 매우 위험한 존재입니다.따라서 이런 사건은 매우 중요하죠.    정보이론에서 말하는 정보는사건이 중요하거나 별거 아님을 수치화해서 제공하는데,발생 확률이 낮으면 정보는 높고반대로 높으면 정보는 낮습니다. 그리고 특정 사건에 대해서,..

Variance 우리가 어렸을 때정말 빠짐없고 아낌없이 배웠던통계 지식 두 가지는 바로 평균(mean)과 분산(variance)입니다.  여기서 평균은 우리가 일생을 살아오면서많이 보고, 사용했었지만서도 분산은 그 당시에서도 그랬고 지금도 그렇고현실을 살아가면서 그다지 필요성을 느끼지 못했죠.     하지만 의외로 분산은 우리 삶에서 뗄레야 뗄 수 없는 요소입니다.평균은 숫자들의 대표를 선출한다고 하면,분산은 숫자들의 위치를 알려주기 때문입니다. 예를 들어 우리가 차를 타고 출근하려고 할 때,어제 점심때는 막히지 않았던 길이오늘 아침에서는 막혀서 답답했던 적이 있을 것입니다. 이때 우리는 핸들을 쿵치며 생각하죠.이렇게 도로에서 시간 버리고 답답해할 바에는,다른 시간을 고르거나 다른 길을 찾아보겠다고.....