본문 바로가기

Fundamental

확률 이론(Probability Theory) 개념 정리 Part 2 - Random Process, Gaussian Process 확률 이론의 기본적인 내용에 대해 알고 싶으면 확률 이론(Probability Theory) 개념 정리 Part 1 포스팅을 참조하면 된다. NOMENCLATURE of Probability Theory확률(probability)는 $Pr(\cdot)$으로 표기한다.사건(event)은 대문자로 표기힌다. e.g., $A,B$이산 확률질량함수(pmf)와 연속 확률밀도함수(pdf)는 각각 $P(\cdot)$와 $p(\cdot)$으로 표기한다.확률변수(random variable)는 소문자로 표기한다. e.g., $x,y$확률의 파라미터는 사건(event)이고 pdf, pmf의 파라미터는 확률변수가 된다. e.g., $Pr(A), P(x), p(x)$Random Process랜덤 프로세스(random proc.. 더보기
추정 이론(Estimation Theory) 개념 정리 Part 3 - Bayesian Philosophy 10. The Bayesian Philosophy본 챕터에서는 지금까지 설명한 고전적인 추정 방법에서 벗어나 파라미터 $\theta$ 또한 하나의 확률 변수(random variable)로 보는 베이지안(Bayesian) 관점에 대하여 설명한다. 앞서 챕터 1에서 설명하였듯이 고전적인 관점과 베이지안 관점의 차이는 다음과 같다.\begin{equation}   \begin{aligned}  & \text{Frequentist: } \quad \underbrace{x[n]}_{\text{r.v.}} = \underbrace{\theta}_{\text{deterministic}}+ w[n] \\  & \text{Bayesian: } \quad \underbrace{x[n]}_{\text{r.v.}} = \u.. 더보기
추정 이론(Estimation Theory) 개념 정리 Part 2 - RBLS, BLUE, MLE, LSE, Exponential Familiy 5. General Minimum Variance Unbiased Estimation이전 섹션에서 CRLB를 통해 추정값이 efficient함을 알 수 있고 efficient한 추정값은 MVUE가 되는 것을 알 수 있었다. 그리고 선형 모델(linear model)을 사용하여 다양한 예제를 확인하였다. 하지만 만약 efficient한 추정값이 존재하지 않더라도 MVUE를 찾는 것에 관심이 있을 수 있다. 이번 섹션에서는 이러한 관심사를 확인할 수 있는 Rao-Blackwell-Lehmann-Scheffe(RBLS) 이론에 대해 배우고 이를 위한 충분통계량(sufficient statistics)의 개념에 대해 배운다. RBLS를 사용하면 많은 경우 단순히 pdf를 보는 것 만으로도 MVUE 인지 여부를 .. 더보기
추정 이론(Estimation Theory) 개념 정리 Part 1 - MVUE, CRLB 본 포스트는 필자가 추정 이론을 공부한 내용을 바탕으로 정리한 포스팅이다.  1. Introduction추정 이론(estimation theory)는 관측된 데이터를 바탕으로 모델의 파라미터나 상태를 예측하는 다양한 방법을 정리한 이론이다. 이는 데이터 분석, 신호처리, 기계학습, 금융, 로봇공학 등 다양한 분야에서 널리 쓰이고 있으며 주로 불확실성을 다루는 과정에서 정확한 결정을 내리기 위한 필수적인 도구로 사용된다. 추정 이론의 응용 분야는 매우 넓은데 통신에서는 신호의 품질을 추정하거나 기계학습에서는 데이터로부터 알고리즘의 파라미터를 결정하는데 사용된다. 또한 금융 분야에서는 시장의 미래 동향을 예측하기 위한 변수를 추정하는데 필수적으로 사용되고 있다.  1.1. The Mathematical Es.. 더보기
[Math] Useful Mathematical Identities and Tricks 정리 본 포스트에서는 수식을 유도할 때 자주 사용되는 수학적 성질 또는 트릭에 대하여 정리한다. 필자는 주로 SLAM과 관련된 분야에 대한 수식과 논문을 많이 접하기 때문에 이와 관련된 수식을 정리한다. Skew-symmetric matrix 3차원 벡터 $\mathbf{v} = [v_x, v_y, v_z]^{\intercal} \in \mathbb{R}^{3}$가 있을 때 이에 대한 반대칭 행렬을 $[\mathbf{v}]_{\times} = \begin{bmatrix} 0&-v_z&v_y \\ v_z & 0 & -v_x \\ -v_y & v_x & 0 \end{bmatrix}$라고 하면 다음과 같은 성질이 성립한다.\begin{equation} \boxed{   \begin{aligned}&[\mathbf{.. 더보기
확률 이론(Probability Theory) 개념 정리 Part 1 - Probability, Random Variable, Distribution 본 포스트는 필자가 확률 이론을 공부하면서 정리한 내용이다.랜덤 프로세스(Random Process), 가우시안 프로세스(Gaussian Process)에 대해 알고 싶으면 확률 이론(Probability Theory) 개념 정리 Part 2 포스팅을 참조하면 된다.선형대수학에 대해 알고 싶으면 선형대수학 (Linear Algebra) 개념 정리 Part1, 선형대수학 (Linear Algebra) 개념 정리 Part2 포스트를 참조하면 된다. Kalman filter (KF, EKF, ESKF)에 대해 알고 싶으면 칼만 필터(Kalman Filter) 개념 정리  포스트를 참조하면 된다.Particle filter에 대해 알고 싶으면 파티클 필터(Particle Filter) 개념 정리 포스트을 참조하.. 더보기
[SLAM] Hand-eye Calibration 개념 정리 (+ Trajectory Evaluation) 본 포스트는 공부용으로 작성되었습니다. 틀린 부분이나 수정해야 할 부분이 있다면 말씀해주시면 확인 후 반영하겠습니다. 본 포스트에서는 Visual SLAM의 성능 평가를 위하여 ground truth (GT) 데이터를 취득한 후 주로 수행하는 Hand-eye calibration에 대해 설명한다. Introduction Visual SLAM의 성능을 평가하기 위해서는 다양한 방법들이 존재하지만 실내에서는 주로 모션 캡쳐 시스템을 활용하여 ground truth (GT) 데이터를 취득한 후 성능을 평가한다. 모션 캡쳐 시스템은 일반적으로 카메라에 IR 반사 마커를 부착하여 GT 좌표계 $\{A\}$를 만든 후 실내에 고정된 여러 대의 카메라가 반사 마커를 추적하면서 GT trajectory를 만든다. 이 .. 더보기
3D 강체 변환(Rigid Body Transformation) 개념 정리 본 포스팅에서는 3차원 공간 상의 강체를 변환할 때 사용하는 다양한 표현법에 대해 설명한다. Rigid body transformation본 자료에서는 3차원 공간 상의 강체(rigid body)의 움직임을 수학적으로 표현하는 다양한 방법들에 대하여 설명한다. 강체란 이론적으로 무한대의 강성을 가지는 물체를 뜻한다. 따라서 강체는 외부에서 힘을 가해도 모양이 변형이 되지 않으며 무게중심으로 지정되는 하나의 점에 의해 운동이 결정된다.SLAM에서 강체란 일반적으로 움직이는 카메라 센서를 의미하며 시간에 따라 카메라의 형태가 일정하다고 가정하므로 강체 변환(rigid body transformation)를 사용하여 카메라의 움직임을 수학적으로 표현할 수 있다.Coordinate system본 섹션에서는 이후.. 더보기
[SLAM] 에러와 자코비안 정리(Errors and Jacobians) 정리 Part 2 7. IMU measurement errorIMU measurement 에러를 구하기 위해서는 우선 IMU preintegration 기법과 error-state 모델링에 대해 알아야 한다. 전반적인 IMU measurement 에러 기반 최적화 과정을 표현한 그림은 위와 같다. [1]-[6] 순서대로 보면 된다. 보다 자세한 내용은 [SLAM] Formula Derivation and Analysis of the VINS-mono 내용 정리를 참조하면 된다.  NOMENCLATURE of IMU measurement error $\alpha_{b_{k+1}}^{b_{k}} \in \mathbb{R}^{3 \times 1}$: $t \in [b_{k}, b_{k+1}]$ 시간 동안 누적된 위치의 관측값 .. 더보기
[SLAM] 에러와 자코비안 정리(Errors and Jacobians) 정리 Part 1 1. Introduction본 포스트에서는 SLAM에서 사용하는 다양한 에러에 대한 정의 및 이를 최적화하기 위해 사용하는 자코비안에 대해 설명한다. 본 포스트에서 다루는 에러는 다음과 같다.Reprojection error \begin{equation}   \begin{aligned}   \mathbf{e} & = \mathbf{p} - \hat{\mathbf{p}} \in \mathbb{R}^{2}  \end{aligned}  \end{equation}Photometric error \begin{equation} \begin{aligned} \mathbf{e} & =  \mathbf{I}_{1}(\mathbf{p}_{1})-\mathbf{I}_{2}(\mathbf{p}_{2}) \in \mathbb{.. 더보기
Quaternion kinematics for the error-state Kalman filter 내용 정리 Part 3 5.Error-state kinematics for IMU-driven systems5.1 Motivation본 섹션에서는 에러 상태 방정식(error-state equations)을 통해 노이즈와 bias가 포험된 IMU의 가속도와 각속도를 표현하는 방법에 대해 설명한다. 이 때, 회전 표기법은 Hamilton 쿼터니언을 사용하였다. 일반적으로 가속도와 각속도는 IMU 센서를 통해 입력받으며 이를 누적하여 포즈를 추적하는 방법을 dead-reckoning이라고 한다. Dead-reckoning은 시간에 따라 에러가 누적되어 드리프트되는 현상이 발생하므로 이러한 문제를 해결하기 위해 일반적으로 카메라나 GPS 센서 정보를 퓨전하여 사용한다.Error-state Kalman Filter(ESKF)는 앞서 .. 더보기
[SLAM] 파티클 필터(Particle Filter) 개념 정리 본 포스트는 Claus Brenner의 SLAM 강의 중 Chapter E: Particle Filter 부분을 정리한 자료이다. Claus Brenner의 SLAM 강의는 [1]에서 볼 수 있다. Particle filter를 이해하는데 필요한 기반 지식은 확률 이론(Probability Theory) 개념 정리 포스팅을 참조하면 된다. Kalman filter (KF, EKF, ESKF, IEKF)에 대해 알고 싶으면 칼만 필터(Kalman Filter) 개념 정리 포스트를 참조하면 된다. Introduction 본 포스트에서는 Robot Localization에 사용하는 파티클 필터에 대한 내용을 다룬다. 따라서 맵의 크기와 Landmark의 좌표는 모두 알고 있다고 가정한다. 또한 Landmark.. 더보기
Quaternion kinematics for the error-state Kalman filter 내용 정리 Part 2 3 Quaternion conventions. My choice3.1 Quaternion flavors쿼터니언은 다양한 표기법이 존재한다. 일반적으로 다음과 같이 4개의 선택지가 존재한다.실수부와 허수부를 어디에 둘 것인가에 따라\begin{equation} \mathbf{q} = \begin{bmatrix} q_{w} \\ \mathbf{q}_{v} \end{bmatrix} \quad \text{vs.} \quad \mathbf{q} = \begin{bmatrix} \mathbf{q}_{v} \\ q_{w} \end{bmatrix} \end{equation}쿼터니언 대수학을 어떻게 정의하느냐에 따라\begin{equation} ij = -ji = k \quad \text{vs.} \quad ji = -.. 더보기
Quaternion kinematics for the error-state Kalman filter 내용 정리 Part 1 본 포스트는 Joan Solà의 "Quaternion kinematics for the error-state Kalam filter (2017)" 페이퍼를 정리한 포스트이다. 이는 Quaternion과 SO(3) 군, Error-state Kalman filter 모델링에 대해 자세히 나와있어서 SLAM을 공부할 때 이론적인 부분을 참고하면 좋은 페이퍼이다.1 Quaternion Definition and properties1.1 Definition of quaternion두 개의 복소수 $A = a+bi, C=c+di$가 주어졌을 때 이를 $Q=A+Cj$와 같이 구성하고 $k \triangleq ij$로 정의하면 $Q$는 쿼터니언 공간 $\mathbb{H}$ 안에 존재하는 수가 된다.\begin{equ.. 더보기
칼만 필터(Kalman Filter) 개념 정리 (+ KF, EKF, ESKF, IEKF, IESKF) 본 포스트는 필자가 Kalman filter 공부하면서 배운 내용을 정리한 포스트이다.Kalman filter를 이해하는데 필요한 기반 지식은 확률 이론(Probability Theory) 개념 정리 포스팅을 참조하면 된다.Particle filter에 대해 알고 싶으면 파티클 필터(Particle Filter) 개념 정리 포스팅을 참조하면 된다.Recursive bayes filter상태 추정 문제란 일반적으로 주어진 제어입력과 관측값이 있을 때 이를 바탕으로 현재 상태(e.g., 위치, 속도, 회전 등)를 추정하는 것을 의미한다. 제어입력과 관측값이 주어졌을 때 현재 상태 $\mathbf{x}_{t}$의 믿을만한 정도, 또는 $\mathbf{x}_{t}$에 대한 Belief $\text{bel}(\m.. 더보기

티스토리툴바