목록분류 전체보기 (8)
medical image & AI
Pattern recognition and Machine learning - Maximum Likelihood and Bayesian Parameter Estimation(4)
- MLE와 Bayesian parameter estimation 이어서... - Bayesian Parameter Estimation * MLE vs Bayesian --> 1. MLE : 우리가 구하고자하는 parameter가 "고정" 되어있다고 가정한다. --> 2. Bayesian : 우리가 구하고자하는 parameter가 어떠한 random vector라고 가정한다. * Bayesian parameter estimation - 우리가 구하고자하는 p(θ)는 모른다. - 하지만 p(x|θ)의 parametric form 완벽하게 안다고 가정한다. - MLE 와 마찬가지로 우리는 vector θ를 알지 못한다고 가정한다. - 유일하게!! 우리가 모른다고 가정하고 있는 parameter는 vector..
- ML estimation : example, 2D and 3D 2차원과 3차원에 대하 ML Estimation을 적용하고 decision boundary를 구하는 과정. --> 나중에 자세히.
Pattern recognition and Machine learning - Maximum Likelihood and Bayesian Parameter Estimation(2)
review : Maximum likelihood parameter estimation and Bayesian parameter estimation * Maximum likelihood 방법과 Bayesian 방법 모두 주어진 input에 대한 conditional PDF 를 추정하는 것이 목적이라고 할 수 있다. * 둘의 접근방식에는 조금 차이가 있다. 1. 먼저 MLE 방법은 우리가 구하고자하는 conditional PDF에 대한 parameter가 고정되어있지만 우리는 모른다는 것이다. 그것을 알기 위해서 우리는 그 conditional probability가 최대가 되도록하는 parameter를 차찾아내어 최종적으로 conditional PDF를 구한다. 2. Bayesian 접근방식은 condi..
Pattern recognition and Machine learning - Maximum Likelihood and Bayesian Parameter Estimation
- Chapter 3. Maximum-Likelihood and Bayesian Parameter Estimation * 본 챕터에서 가장 중요한 내용은, 우리가 어떠한 방법으로 조건부확률밀도함수를 알아낼 수 있는가? 이다. - Introduction * 하지만... 우리가 이러한 사전지식(probabilistic structure of the problem)을 완벽하게 알 수 있는 경우는 매우 드물다.. * 보통의 경우에는 우리는 단지 training data 개수에 따른 그 상황의 일반적인 지식(representatives of pattern)만 알고있다. * 따라서 우리는, 각 class에 따른 mean vector와 covariance matrix 추정을 통하여 조건부확률밀도(gaussian 형태..
Pattern recognition and Machine learning - Bayesian decision theory(3)
- review * covariance matrix에 대해서 feature가 2차원이라고 예를 들었을 때에 이 matrix의 차원은 2x2가 된다. * 이때, 1행1열과 2행2열은 각 feature 자신의 공분산으로 생각될 수 있고, 1행2열, 2행1열은 각 feature가 서로 얼마만큼 의 상관관계를 가지고 있는지에대한 값이다. - Multivariate [n-D] normal density as a class-conditional pdf * 각 class에 대한 조건부확률 가우시안 분포이다. * 먼저 2번째 그림을 보면 알 수 있듯이, C22가 C11보다 더 넓게 분포를 하고있다. 따라서 C22 값이 C11값보다 더 크다는 것을 알 수 있다. 하지만 이때 1행2열과 2행1열은 0의 값이므로 두 fea..
Pattern recognition and Machine learning - Bayesian decision theory(2)
- [Example] Two classes, two-dim "Gaussian pdfs" --> 어떠한 확률분포를 gaussian이라고 가정한다... --> classification을 위하여 우리는 조건부확률분포를 알아야 한다. 이를 아는 것이 쉽지 않기 때문에 gaussian 분포를 따른다고 가정을하고 시작한다. - The normal [Gaussian] density * 1-D(univariate) normal density 이고, mean = μ, std = σ 이라고 가정한다면, 이에대한 가우시안 분포 식과 그래프는 아래와 같다. * 또한, input x 값과 p(x)를 이용하여 평균값과, 분산을 구할 수 있다. 확률에서의 기본적인 개념 - Decision surface [1-D feature] ..
Pattern recognition and Machine learning - Introduction
Chapter 1. Introduction - Machine perception Major objecive : machine들이 어떠한 패턴들을 인식할 수 있도록 디자인하고, 설계하는 것 Example : Speech recognition (음성인식) Fingerprint identification (지문인식) Character recognition (인물인식) DNA sequence identification (DNA 시퀀스) ECG abnormal beat detection (ECG에서 비정상 신호 인식) Brain-machine interface (뇌-기계 인터페이스) etc - Pattern recognition system * Measurement vector --> 어떠한 신호를 숫자로 이루어..
Pattern recognition and Machine learning - Bayesian decision theory(1)
- Bayesian decision theory - Bayesian decision theory? * 통계적으로 패턴인식을 수행할 때에 가장 기본이되는 이론 * probability and costs를 이용한 이론이다. 이때, 한쪽이 좋아지면 다른 한쪽은 나빠지는 tradeoffs에 대하여 정량화하는데에 기반이되는 이론이라고 할 수 있다. * tradeoffs 라는 개념을 생각할 때에 cost와 연관지어서 생각한다. 예를들어 A를 B라고 잘못 판단할 때의 cost와 B를 A 라고 잘못 판단할 때의 cost는 서로 다르다. 이 사이의 tradeoff를 생각해야 한다. - Basic concepts Fish problem (Example) State of nature (이벤트 or 집합) : w = w1 f..