Bayes' Theorem(베이즈정리)

기본참고 교재 : Probability and Stochastic Processes (Roy D. Yates & David J. Goodman)

이번 글에서는 Optimal estimation의 기본이 되는 Bayes' Rule에 대해 알아보도록 하겠습니다.

우선은 조건부 확률을 알아야 한다. 조건부 확률이란.

 

사건 B가 발생했다는 가정하의 사건 A의 발생에대한 확률을 말한다. 즉, 표본공간(=sample space, 사건이 일어날 수 있는 모든 경우의 수의 집합)이 사건 B의 원소로만 구성되어 있는 경우의 확률과 같은 의미이다. 어떻게 위와 같은 식이 나왔는지 보면,

조건부 확률의 정의로부터 다음과 같이 쓸 수 있다. n(B)는 사건B가 발생하는 경우의 수이고, n(AB)는 B가 발생할때 A가 발생하는 수 이다.

 

이를 다시 쓰면,

 

 

이제 Bayes' Theorem을 한번 보자

 

다음을 만족하는 사건공간 {A1, A2,...,Am}에 대해

아래 그림과 같은 임의의 사건 B가 있다고 생각해 봅시다. 사건 공간 A를 그림에선 편의상 6개로만 나누었지만 실제 A는 m개의 부분집합으로 이루어 져있다고 가정합니다.  

 

이 그림을 통해 다음이 성립하는 것을 확인할 수 있죠,

 

이를 조건부 확률의 정의를 이용하여 다시 쓰면,

 

즉 이로부터 Bayes' Theorem은

 

이 됩니다.

지금까지 Bayes' Theorem이 어떻게 구성 되는지 알아봤는데요, 다음 글에서 이 정리가 왜 중요하고 어떻게 Optimal Estimation의 기본이 되는지 알아보도록 하겠습니다.

 

2014/05/14 - [Programming & Engineering] - 베이즈 정리(예제)-Application of Bayes' Theorem