본문 바로가기

추정이론

추정 이론(Estimation Theory) 개념 정리 Part 3 - Bayesian Philosophy 10. The Bayesian Philosophy본 챕터에서는 지금까지 설명한 고전적인 추정 방법에서 벗어나 파라미터 $\theta$ 또한 하나의 확률 변수(random variable)로 보는 베이지안(Bayesian) 관점에 대하여 설명한다. 앞서 챕터 1에서 설명하였듯이 고전적인 관점과 베이지안 관점의 차이는 다음과 같다.\begin{equation}   \begin{aligned}  & \text{Frequentist: } \quad \underbrace{x[n]}_{\text{r.v.}} = \underbrace{\theta}_{\text{deterministic}}+ w[n] \\  & \text{Bayesian: } \quad \underbrace{x[n]}_{\text{r.v.}} = \u.. 더보기
추정 이론(Estimation Theory) 개념 정리 Part 2 - RBLS, BLUE, MLE, LSE, Exponential Familiy 5. General Minimum Variance Unbiased Estimation이전 섹션에서 CRLB를 통해 추정값이 efficient함을 알 수 있고 efficient한 추정값은 MVUE가 되는 것을 알 수 있었다. 그리고 선형 모델(linear model)을 사용하여 다양한 예제를 확인하였다. 하지만 만약 efficient한 추정값이 존재하지 않더라도 MVUE를 찾는 것에 관심이 있을 수 있다. 이번 섹션에서는 이러한 관심사를 확인할 수 있는 Rao-Blackwell-Lehmann-Scheffe(RBLS) 이론에 대해 배우고 이를 위한 충분통계량(sufficient statistics)의 개념에 대해 배운다. RBLS를 사용하면 많은 경우 단순히 pdf를 보는 것 만으로도 MVUE 인지 여부를 .. 더보기
추정 이론(Estimation Theory) 개념 정리 Part 1 - MVUE, CRLB 본 포스트는 필자가 추정 이론을 공부한 내용을 바탕으로 정리한 포스팅이다.  1. Introduction추정 이론(estimation theory)는 관측된 데이터를 바탕으로 모델의 파라미터나 상태를 예측하는 다양한 방법을 정리한 이론이다. 이는 데이터 분석, 신호처리, 기계학습, 금융, 로봇공학 등 다양한 분야에서 널리 쓰이고 있으며 주로 불확실성을 다루는 과정에서 정확한 결정을 내리기 위한 필수적인 도구로 사용된다. 추정 이론의 응용 분야는 매우 넓은데 통신에서는 신호의 품질을 추정하거나 기계학습에서는 데이터로부터 알고리즘의 파라미터를 결정하는데 사용된다. 또한 금융 분야에서는 시장의 미래 동향을 예측하기 위한 변수를 추정하는데 필수적으로 사용되고 있다.  1.1. The Mathematical Es.. 더보기

티스토리툴바