Self Information (정보란 이렇습니다.)  뭐... 지식 같은 것이죠.  하지만 오늘 배울 정보의 개념은 결이 조금 다릅니다.바로 사건의 중요함을 수치화 한 것을 정보라고 합니다. 예를 들어서,오늘 눈이 오면 기온은 10도 이하다 라는 사건은 별로 중요하지 않습니다.눈이 오는 데 추운 건 너무나 당연한 이야기이기 때문이죠.  하지만 반대로 이런 사건이 있다고 해봅니다. 오늘 눈이 올 때 토네이도도 온다 살면서 토네이도는 흔치 않을 뿐더러,우리 생명과 재산에 있어서 매우 위험한 존재입니다.따라서 이런 사건은 매우 중요하죠.    정보이론에서 말하는 정보는사건이 중요하거나 별거 아님을 수치화해서 제공하는데,발생 확률이 낮으면 정보는 높고반대로 높으면 정보는 낮습니다. 그리고 특정 사건에 대해서,..

Variance 우리가 어렸을 때정말 빠짐없고 아낌없이 배웠던통계 지식 두 가지는 바로 평균(mean)과 분산(variance)입니다.  여기서 평균은 우리가 일생을 살아오면서많이 보고, 사용했었지만서도 분산은 그 당시에서도 그랬고 지금도 그렇고현실을 살아가면서 그다지 필요성을 느끼지 못했죠.     하지만 의외로 분산은 우리 삶에서 뗄레야 뗄 수 없는 요소입니다.평균은 숫자들의 대표를 선출한다고 하면,분산은 숫자들의 위치를 알려주기 때문입니다. 예를 들어 우리가 차를 타고 출근하려고 할 때,어제 점심때는 막히지 않았던 길이오늘 아침에서는 막혀서 답답했던 적이 있을 것입니다. 이때 우리는 핸들을 쿵치며 생각하죠.이렇게 도로에서 시간 버리고 답답해할 바에는,다른 시간을 고르거나 다른 길을 찾아보겠다고.....

이 글은 확률과 통계 2 - 조건부 확률 글을먼저 읽고 와야 이해하기 수월합니다.    Bayes Formula 일전에 우리는 결합 확률에 대해 배웠죠. 여기서 왼쪽 항의 x,y의 위치는 별 의미 없습니다.이렇게 써도 되죠. 베이즈 정리는 이러한 특징을 이용합니다. 여기서 왼쪽의 확률을 사후 확률(posterior probability),오른쪽 3개의 확률을 사전 확률(prior probability)이라고 합니다.   단순히 보면 별 의미 없어보이는 데,이걸 왜 알아야 할까요?  조건부 확률의 가장 큰 특징은어떤 확률변수가 주어졌을 때다른 확률변수의 확률을 알아내는 것입니다.  기계 학습에 있어서 이러한 특징은 중요하게 작용합니다.예를 들어 로봇에게 과일 사진을 주고,이게 어떤 과일인지 맞출 확률을 생..

이 장에서 설명할 확률들은우리를 놀리기에 최적화된 확률입니다.처음 접하면 마냥 헷갈리죠. 천천히 따라오세요.  Independent 조건부 확률을 이해하는 걸 극복하려면먼저 독립(independent)을 알아야 합니다. 아래 예시를 보죠. 1번 공을 뽑고 파란 공을 뽑을 확률은 무엇일까요? 1번 공 뽑고, 왼쪽 위 빨간공,오른쪽 위 파란공,...2번 공 뽑고 왼쪽 위 빨간공... 일일이 세면 총 24개 경우의 수가 나오고1번 공과 파란공을 뽑는 사건은 3개가 나오네요.그래서 확률은 3/24입니다.   일일이 세서 풀었다면, 좋습니다.하지만 매번 확률을 만날 때마다 손으로 셀 수는 없는 노릇이니계산을 빨리하기 위해 약간의 논리를 가미해보죠.(싫으면 앞으로 그냥 손으로 세도 됩니다) 우선, 색깔 공은 제쳐두..

Probability 1부터 6까지 적혀있는 평범한 주사위를 굴렸을 때,1일 나올 확률은? 1/6인 건 모두 다 아는 사실이죠. 이렇듯 확률은 우리가 어렸을 때 배웠습니다.하지만 혹자는 당연히 아는 것에 치우쳐서확률을 잘 이해하지 못하는 경우가 있습니다.즉, 주사위는 그냥 당연히 1/6이겠지... 로 생각하는 것이죠. 만일 6을 1로 대체하고, 다시 굴리면 어떻게 될까요?아직도 1/6일까요?     확률을 계산하는 방법은 간단합니다.경우(case)의 수와 사건(event)의 수만 알 면 되죠. 경우의 수는 발생 가능한 모든 사건의 개수입니다.예를 들어 평범한 주사위를 굴리면 나올 눈금은 1, 2, 3, 4, 5, 6이죠.그래서 경우의 수는 6입니다. 여기서 내가 궁금한 사건을 정하고 개수를 셉니다.예를 ..

Similarity 혹시 코사인 유사도라는 제목을 보고시작부터 머리가 아플 것 같아 걱정이신가요. 걱정하지 마세요.뭘 대단한 걸 하진 않습니다.우선 저번에 예시로 든 몸무게와 키 행렬을 살펴보죠. 질문입니다.첫 번째 사람은 몸무게가 70kg에 키가 170cm입니다.그리고 두 번째 사람은 몸무게가 91kg에 키가 185cm이죠.그럼 두 사람 중 누가 체형이 더 클까요?    두 번째 사람이 체형이 더 크다고 생각하셨나요?그렇다면 놀랍지만 설명할 필요도 없이이미 여러분은 머리 속으로 코사인 유사도를 성공적으로 계산해내셨습니다.(설명 끝?)  사실 이 직관은 머리속으로 생각해봤을 때, 몸무게가 더 많이 나가면 옆으로 더 크고키가 더 크면 위로 더 크다고 생각했기 때문이죠. 질문을 다르게 바꿔보면 이해가 더 잘..