AI개발세발

01-16 최소 제곱법과 추세선 선형 회귀 def) 선형 회귀 (Linear Regression): 주어진 데이터를 가장 잘 설명하는 합리적인 선형함수를 찾는 문제 어떤 한 상인의 노동 시간에 따른 매출액 데이터가 있다고 해보겠습니다. 하루 노동 시간 매출 1 25000 2 55000 3 75000 4 110000 5 128000 6 155000 8 210000 이 표에서 7시간을 일했을 때의 매출액과 9시간 이상 일을 했을 때의 매출액은 나타나있지 않습니다. 그렇다면 주어진 데이터를 바탕으로 7시간, 9시간 일했을 때의 매출액을 예측하려면 어떻게 해야 할까요? 가장 간단한 방법은 주어진 데이터들 간의 상관관계를 선형함수의 형태로 나타내는 겁니다. 이를 선형 회귀라고 합니다. 대개 선형 회귀는 학습 데이..

01-15 편향과 오차 편향 이 세상에서 제일 무서운 사람은 많이 읽는 사람 아니야. 안 읽는 사람 아니야. 한 권 읽는 사람의 철학이 제일 무서운 거야! 강호동, 유튜브 웹 예능 라끼남 중 (출처: https://www.youtube.com/watch?v=LJ1vo48x5iY&list=PLr0T5CaHaPwVPDht_lnVaFvQCz4q5CpJc&index=29) def) 편향 (bias): 한쪽으로 치우침 사람이 어느 한 가지 분야에만 오로지 관심을 가질 때 생길 수 있는 부작용 중 하나로, 시야가 너무 편협해진다는 점이 있습니다. 위의 강호동의 말처럼 평생 책을 단 한 권만 읽은 사람은 오로지 그 책의 말에 따라 사고하고 판단할 것입니다. ML에서도 이 진리 격언은 그대로 쓰여서, 편향된 데이터(b..

01-14 최대 가능도 추정 모든 확률분포에 대한 모수를 완벽하게 추정할 수 있는 것은 아닙니다. ML에서도 이는 마찬가지여서 주어진 데이터가 우리가 알고 있는 확률분포를 완벽하게 따른다는 보장이 없습니다. 성능이 좋은 ML 알고리즘은 이러한 확률분포를 계산할 때 가장 그 경향성을 잘 모사하는 모수를 찾게 마련입니다. 이를 모수 추정 문제라고 합니다. 이 때, 모멘트 방법 이외에 이론상 가장 가능성이 높은 모수를 찾는 방법으로 최대 가능도 추정을 사용합니다. 어떤 확률변수 $X$에 대한 확률함수 $p\left(x;\theta\right)$에서 가지고 있는 데이터 $x$를 토대로 모수 $\theta$를 찾는 문제로 이해할 수 있습니다. 즉, 확률밀도함수에서 모수를 변수로 간주하는 겁니다. 이러한 문제 정의..

01-13 확률분포의 추정 지금까지는 확률분포가 주어져 있을 때 이를 이용한 확률의 계산과 그와 관련된 통계적인 지식을 배웠습니다. 하지만 현실에서는 확률분포함수로부터 나온 데이터만을 알 수 있는 경우가 많습니다. 따라서 데이터로부터 확률분포함수를 역으로 알아내는 과정이 필요하며, 이 일련의 과정을 추정(estimation)이라고 합니다. 추정과 기본적인 방법 def) 추정 (estimation): 가지고 있는 데이터로부터 확률분포를 추정하는 기술 궁극적으로 우리는 현재 주어진 데이터 이외의 데이터까지도 포괄적으로 설명해주는 확률분포를 아는 것이 목적입니다. 따라서 현재 주어진 데이터는 확률변수의 분포를 계산하여 추정하기 위한 도구로 보시면 되겠습니다. 사실 덮어놓고 데이터를 이용해 확률분포를 계산할 수..

01-12 공분산과 상관계수 분산이 어떤 데이터로부터 평균까지의 편차를 기반으로 한 데이터였다는 것을 지난 포스트에서 알아봤습니다. 이번에는 확률변수가 여러 개일 때로 상황을 바꿔서 데이터의 분포를 나타내보도록 하겠습니다. 공분산 def) 공분산 (Covariance): 다변수 데이터가 평균으로부터 얼마나 멀리 떨어져 있는지를 나타내는 척도 공분산 공식은 아래와 같이, 분산을 2차원으로 확장시킨 것과 같은 모습을 띕니다. $$s_{xy}=\frac{1}{N}\sum_{i=1}^N\left(x_i-\mu_x\right)\left(y_i-\mu_y\right)$$ 다만, 하나의 확률변수에 대해서는 평균값의 위치와 표본 위치의 거리로 나타낸 것과 다르게, 공분산은 평균값과 표본을 연결하는 사각형의 면적과 같습..

01-11 분산과 표준편차 통계에서 평균이나 중앙값은 어떤 데이터를 대표하는 값이라 할 수 있습니다. 그런데 과연 평균 또는 중앙값만으로 그 데이터의 모든 것을 설명할 수 있을까요? 실제 데이터의 평균과 중앙값 못지 않게 중요한 요소는 데이터가 평균 또는 중앙값을 기준으로 얼마나 조밀하게 뭉쳐서 또는 넓게 퍼져서 분포해 있는지를 나타내는 것입니다. 분산 def) 분산 (Variance): 평균과 관측치에 대한 편차(difference) 제곱의 평균값 평균을 기준으로 데이터가 얼마나 넓게 퍼져있는지를 나타내는 지표인 분산은 평균 $\mu$가 주어졌을 때 아래와 같이 계산할 수 있습니다. $$Var=\frac{1}{N}\sum_{i=1}^{N}\left|x_i-\mu\right|^2$$ 공식을 보면 평균으로..

01-10 평균과 기대값 통계라고 하면 가장 먼저 떠오르는 지표는 평균이 아닐까 합니다. 그만큼 가장 직관적이고 간단한 방법이라는 뜻이겠죠. 이번 포스트에서는 평균 그리고 이와 함께 쓰이는 대표적인 몇몇 지표들을 함께 정리해보겠습니다. 평균 평균(Mean)에는 산술 평균, 기하 평균, 조화 평균 등 여러 종류가 있지만 여기서는 가장 널리 쓰이는 산술 평균을 위주로 설명해보겠습니다. def) 산술 평균(Arithmetic Mean): 모든 변수의 합을 그 개수만큼 나눠서 얻을 수 있는 대표값 $$A.M.=\frac{1}{n}\sum_{i}^{n}a_i=\frac{a_1+a_2+\cdots + a_n}{n}$$ 가장 널리 쓰이고 가장 먼저 배우는 평균입니다. 위의 정의는 이산확률변수에 대해서 정리한 것이기 ..

01-09 베이즈 정리 개념을 정리하기에 앞서 간단한 예제 상황부터 짚고 넘어가겠습니다. 주어진 텍스트가 스팸 메일일 확률을 계산하는 ML 모델을 짠다고 해봅시다. 이 때, 텍스트의 확률변수를 $X$, 클래스의 확률변수를 $Y$라고 해보겠습니다. $y_1$이 정상 메일, $y_2$가 스팸 메일에 해당합니다. 예를 들어, 입력 텍스트에 "특가"라는 텍스트가 포함되었을 경우 스팸일 확률 $P\left(y_2\mid X=x\right)=0.95$와 같이 나왔습니다. 이 소프트웨어로 지금까지 받은 메일을 확인했더니, 70%(0.7)은 스팸 메일이고, 나머지 30%(0.3)은 정상 메일이었습니다. 스팸 메일의 90%에는 "대출"이라는 단어가 포함되어 있고, 정상 메일의 3%는 "대출"이라는 단어를 포함했습니다. ..

01-08 조건부확률 def) 조건부확률(Conditional probability): 어떤 사건이 일어나는 경우 다른 사건이 일어날 확률 어떤 사건의 경우의 수나 확률을 계산하다 보면 그 사건만 단독으로 일어나지 않고 다른 사건이 함께 일어날 수도 있습니다. 아니, 오히려 그런 경우가 더 적지 않은가? 혹은 특정한 사건이 일어나야만 발생할 수 있는 다른 사건들도 있겠죠. 가챠 해금 이런 경우에 계산되는 확률을 조건부확률이라 합니다. 수학적인 정의는 아래와 같습니다. $$P_{Y\mid X}\left(Y=y\mid X=x\right)=\frac{P_{XY}\left(x, y\right)}{P_X\left(x\right)}$$ 특정한 사건이 발생하는 것을 선행 전제로 삼기 때문에 전체 경우의 수 중 $X=..

01-07 결합확률과 주변확률 독립 def) 독립(Independent): 두 변수가 서로 영향을 주지 않음을 의미 지난 포스트에서 독립변수가 다른 변수에 영향을 받지 않는 (사람이 바꿀 수 있는) 변수라고 설명했었죠? 이 설명을 거꾸로 말하면 서로 다른 변수가 서로에게 영향을 주지 않는다면 그 변수들은 서로 독립이라고 합니다. 실생활에서 독립의 여러 예시를 볼 수 있습니다. 예를 들어서, A와 B라는 두 사람이 가위바위보를 해서 A가 세 번을 내리 졌다고 해봅시다.(두 사람이 가위, 바위, 보 중에서 각각 뭘 냈는지는 고려하지 않습니다.) 보통 이쯤되면 사람 머릿속에서는 희망회로가 가열차게 돌아가기 시작합니다. A 입장에서는 '4연패는 안 된다! 이번에는 최소한 비기기라도 하겠지!'라면서 패배할 경우를..