[패스트캠퍼스][환급 챌린지]Chapter 1. 딥러닝을 위한 통계 01-02 확률변수와 확률분포

01-02 확률변수와 확률분포

한참 수능 수학에 갈려나가던 고3 시절, 확.통 파트는 저의 아킬레스건이나 마찬가지였습니다. 그 첫 발목을 잡은 대상이 바로 오늘 이야기할 이 친구들. 확률 변수와 확률 분포였습니다. 지금이야 학부도 졸업하고 확률 통계 수업도 들은 데다가 머신러닝을 접하면서 통계적 지식이 많이 쓰이다 보니 자연스럽게 친숙해졌지만, 그 당시 제 머릿속에서 확률 계산은 왜 주사위를 고따위로  몇 번씩 굴리는지 이해할 수 없는 파트에 불과했습죠. 문제는 이 부분을 이해하지 못하니 뒷부분에서 통계 이야기를 할 때도 이해할 리 만무했다는 겁니다. 그리고 이는 달리 말하면 이 부분을 이해하면 혈이 뚫리듯이 이해의 폭이 확장될 수 있다는 것이 아닐까 생각됩니다.
천만다행히도 학부와 대학원 코스웍에서 너무나 친절한 설명을 해주시는 교수님을 만난 덕에 저는 어느 정도

전부는 아니고 

이해의 폭이 넓어졌고, 덕분에 잠깐의 대학원 생활 동안 그런대로 통계적인 접근을 이해할 수 있었습니다. 그 희미해지는 기억을 다시 선명하게 해보도록 하죠.

시행과 사건

def) 시행(trial): 반복할 수 있으며, 매번 결과가 달라질 수 있는 실험
사건(event): 시행에 따른 결과
$$ 시행 \Rightarrow 결과$$

(시행을 함으로써 사건이 만들어진다)
따라서 이런 관점에서 보면 확률은 어떤 사건이 일어날 가능성을 수로 표현할 것이라고 볼 수 있습니다.

확률변수, 확률함수

def) 확률변수(Random Variable): 사건으로 인해 그 값이 확률적으로 정해지는 변수
확률함수(Probability Function): 확률변수에 따라서 확률값을 부여하는 함수
동전 $n$개를 던졌을 때 나오는 앞면의 개수 등을 확률변수로 볼 수 있습니다($n$은 임의의 자연수). 일반적으로 확률변수 그 자체는 대문자 $X$로, 확률변수가 취할 수 있는 값은 소문자 $x$로 표시합니다. 확률함수 $P$를 $X$에 대한 함수로 나타내면 다음과 같이 나타낼 수 있겠습니다.
$$P\left(X=0\right) = \frac{1}{2^n}$$
앞면이 하나도 나오지 않을 확률 $P\left(X=0\right)$는 전체 시행의 횟수 $2^n$ 중 단 하나의 사건만 나올 수 있으므로 위와 같이 표기됩니다.

• 시행: 동전을 $n$회 던짐
• 확률변수: 앞면이 하나도 나오지 않음

조금 더 이론적인 영역으로 확장시켜보면, 확률함수는 함수 의 일종이므로 확률변수 $X$의 모든 값으로 구성되는 정의역(domain)과 이들로부터 얻어낼 수 있는 값들의 집합인 치역(range)이 있습니다. 확률함수에서 정의역과 치역은 각각 상태공간(state space)과 표본공간(sample space)라고 표현하기도 합니다.

그럼, 머신러닝에서의 사건이란?

앞서 지나가는 말로, 머신러닝 모델은 결과를 확률의 형태로 출력한다고 말한 적이 있었습니다. 이는 달리 말하면, 머신러닝 모델에 입력으로 넣어주는 데이터를 하나의 사건으로 볼 수 있다는 뜻이며, 따라서 존재하는 모든 이미지 중 내가 원하는 데이터가 나올 확률로 볼 수도 있겠습니다.

확률분포, 확률분포함수

def) 확률분포(Probability Distribution): 각 사건에 어느 정도의 확률이 할당되었는지 표현한 정보

확률 통계 쪽에 조금이라도 관심이 있으신 분들은 위 그래프를 어디선가 보셨을 지도 모릅니다. 표준정규분포라는 확률분포의 일종인데 자세한 건 나중에 다루기로 하고, 이 그래프에 대한 이야기만 해보도록 합시다. 이 그래프에서 $x$축은 확률변수의 값을, $y$축은 그 확률변수에서의 확률을 나타냅니다. 이렇게 확률분포를 통해 확률변수의 통계적 특성을 이해할 수 있습니다. 이 그래프를 하나의 함수로 이해하면 확률분포함수를 정의할 수도 있습니다.

def) 확률분포함수(Probability Distribution Function): 확률변수 $X$가 가지는 값 $x$에 확률 $P\left(X=x\right)$를 대응시키는 함수
굳이 정리하자면 모든 사건에 대한 확률분포함수의 값을 표현한 것이 확률분포라고 할 수 있겠습니다. 매체에 따라서는 확률분포 그 자체를 함수로 보기도 해서 두 용어가 혼용되는 경우도 있습니다.

덕분에 초심자들이 갈려나가는 불친절한 요소로도 작용합니다

확률분포의 종류

확률분포는 확률변수 $X$를 일일이 셀 수 있는지(이산적인지), 셀 수 없을만큼 많은지(연속적인지)에 따라 이산확률분포와 연속확률분포라 나뉩니다. 앞서 표준정규분포는 연속확률분포에 속하며, 이산확률분포는 아래와 같은 그래프를 갖는 경우를 의미합니다. 아래 그래프는 동전 $n$개를 던졌을 때 나오는 앞면의 개수의 확률을 대강 나타낸 것입니다.

또한, 이산확률분포와 연속확률분포에서 각각이 특정한 값을 가질 확률을 출력하는 함수는 각각 확률질량함수(Probability Mass Function, PMF), 확률밀도함수(Probability Density Function, PDF)라고 합니다.
이미지 분류에 초점을 맞춘 대부분의 머신러닝/딥러닝 모델은 각 데이터가 이산적으로 분포한다고 볼 수 있기 때문에 그 확률은 확률질량함수를 따른다고 볼 수 있습니다. 반대로 주어진 데이터로부터 이차함수, 지수함수와 같은 연속적인 함수의 형태를 예측하는 회귀(regression) 문제의 경우 최종적으로 연속적으로 간주할 수 있는 모든 확률변수 $X$에 대한 확률을 출력해야 하므로 확률밀도함수로 볼 수 있습니다.

2일차 후기

드디어 마크다운에서 수식 넣는 법을 알았습니다. 수많은 티스토리 선배 여러분 감사합니다....!
개념적으로 가장 활용이 많이 되는 분야이니만큼 오늘 배운 확률변수와 확률분포 모델은 필히 짚고 넘어가야겠습니다.
http://bit.ly/3Y34pE0

패스트캠퍼스 [직장인 실무교육]

* 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.