베이즈 정리(예제)-Application of Bayes' Theorem

2014/04/29 - [Programming & Engineering] - Bayes' Theorem(베이즈정리) 

기본참고 교재 : Probability and Stochastic Processes (Roy D. Yates & David J. Goodman)

지난 시간에 알아 보았던 베이즈 정리를 이용한 Estimation의 예를 들어 보도록 하겠습니다. 천천히 읽으시면서 따라오시면 어렵지 않을 거에요

우선 정수 값만 취하는 X라는 변수가 있습니다. 이 X는 센서나 어떠한 measurement를 통해 예측될 값이죠.

사건 An을 X=n일 때의 사건이라고 정의 해 봅시다.  

즉 X=1이면 사건A1이고, X=3이면 A3이 되겠죠,

이때 센서로부터 예측될 값 X에 대해서 우리가 알고 있는 단하나의 정보는 'X가 [-2 2]에서만 변한다'는 것이라고 가정해 봅시다. 하지만 이 정보의 사실 유무는 알 수 없다고 해보죠(정보이긴 하지만 100%의 신뢰도를 갖는 정보는 아니라는 의미입니다.)

 

일단 우리가 알고 있는 정보를 갖고 각각의 사건에 대해 a priori probabilities(한국말로 하면 선험적 확률? 정도되려나요 ㅎㅎ 이런 용어들은 굳이 한국어로 바꾸지말고 처음부터 영어로 알고 있는게 더 좋습니다 ^^)를 할당해 봅시다. -2~2까지 사건이 일어나고 이 사건에 대해 다른 정보가 없으므로 다음과 같이 설정해 보도록 하겠습니다.

 

이때 X는 센서에 의해 예측 되는데요 여기에 센서 노이즈가 영향을 미치죠, 센서 노이즈를 v라하면, 측정값 z는 다음과 같이 나타낼 수 있습니다.

 

앞에서 말씀드렸듯이 v는 sensor의 noise인데요, 센서가 어떤값을 측정할 때 잡음의 영향을 받아요 그래서 실제 1이란 값을 측정하면 1.02, 1.01,-0.98,... 이런식으로 출력되죠 이때, 이 sensor의 noise는 다음과 같은 통계분포(statistical property)를 갖고 있습니다. 

이제 사건 B를 정의 해봅시다. 사건 Bm은 z=m일 때의 사건이라고 정의합니다. 즉, 센서로 부터 측정된 값 z=3이면 B3이고, z=-2이면 B-2가 되는 것이죠,

 

이제 v의 통계적 분포 값과 A의 확률을 갖고 조건부확률 P[Bm|An]을 계산할 수 있습니다 예를 들어보죠, 

조건부 확률의 정의에 따라 (아직 조건부 확률에 대해 헷갈리시는 분들은(Bayes' Theorem(베이즈정리))이 글을 참고하시기 바랍니다.) 

사건A-1일때 사건B0가 일어날 확률이죠, 이는 다시말하면 X=-1일 때 z=0일 확률입니다. 이때 z=X+v이므로 결국 v=1일 확률을 구하는 것과 같죠

 

 같은 방법으로 계산하면, P[B1|A1]은 0.6이 됩니다. 이런식으로 조건부확률 P[Bm|An]을 모두계산할 수 있습니다

자 이제 Bayes' Theorem을 이용해 X값을 Estimation 해 봅시다.

센서로 부터 측정된 값이 1라고 해봅시다. 이때 조건부 확률 P[An|B1]은 베이즈 정리에 의해 구할 수 있습니다.

이때 분모는 다음과 같이 계산되고요

 

그러므로 조건부 확률 P[An|B1]은 n=-2~2에 대해 아래와 같이 구해집니다. 이러한 조건부 확률을 a posteriori probabilities라고 합니다

즉 센서로 측정된 값을 가지고 실제 값을 예측 할 수 있는데요 위 예제에서 센서로 측정된 값이 1일때, 실제 X가질 수 있는 값은

60%의 확률로 X=1혹은

20%의 확률료 X=0 또는 2

가 되겠죠, 이렇듯 Bayes' Theorem을 활용하면 어떠한 값으로부터 다른 값을 예측 할 수 있게 되죠, 이것이 바로 Bayes' Theorem이 Optimal Estimation의 기본이 되는 이유입니다.