Pattern recognition and Machine learning - Maximum Likelihood and Bayesian Parameter Estimation(4)

- MLE와 Bayesian parameter estimation 이어서...

 

- Bayesian Parameter Estimation

* MLE vs Bayesian 

--> 1. MLE : 우리가 구하고자하는 parameter가 "고정" 되어있다고 가정한다.

--> 2. Bayesian : 우리가 구하고자하는 parameter가 어떠한 random vector라고 가정한다.

 

* Bayesian parameter estimation

 

- 우리가 구하고자하는 p(θ)는 모른다.

- 하지만 p(x|θ)의 parametric form 완벽하게 안다고 가정한다.

- MLE 와 마찬가지로 우리는 vector θ를 알지 못한다고 가정한다.

 

- 유일하게!! 우리가 모른다고 가정하고 있는 parameter는 vector θ이다! (Same as MLE)

 

- 이때 vector θ 가 p(θ)에 포함되어 있다고 가정한다. 이때 우리가 가지고있는 것은 sample D이다 sample D에 의해서 우리는 p(θ|D)를 유추할 수 있게된다.

 

- 쉽게말하면 우리는 priori estimation density인 p(θ)모르기때문에  posterior after training set p(θ|D)를 통해서 구한다.

 

 

* 위 그림을 통하여 알 수 있는 것은 bayes theorem을 이용하여 sample에 기반한 posterior density를 알 수 있다는 것이다.

 

 

-Example

 

* θ에 대해서 우리는 m 이라는 값을 부여한다. 다시말해 우리는 m (mean) 값을모르고있고 이를 random vector라고 가정한다. 따라서 p(m)을 gaussian 형태로 가정할 수 있다.

* 두 식모두 우리는 아무것도 모른다. 따라서 둘다 임의의 평균과 분산을 가지고있는 gaussian distribution이라고 가정한다.

 

* 위의 식들은 bayesian estimation 과정을 나타낸 것이다. 이때 우리는 θ를 m에 대하여 찾고자 하였다.

 

* 먼저 bayes rule을 이용하여 우리가 구하고자하는 p(θ|D)에 대해 정의를 한다.

 

* 그런 후에 Sample D에 대한 확률을 그 안에있는 Xk 에 대한 확률로 풀어준다.

 

* 자, 이제 p(xk|θ) 와 P(θ) , 다시쓰면 p(xk|m) 과 p(m) 에 대하여 우리는 gaussian 분포로 가정할 것이다.

 

* 계속해서 전개를 하다보면 우리는 이 식 자체를 하나의 평균, 하나의 분산을 가지는 gaussian 분포로 통일 할 수 있다. 

 

* 결론적으로 sample size가 커질수록 p(m|D)는 더욱 sharp해진 다는 것을 알 수 있다.