[Math] Useful Mathematical Identities and Tricks 정리

본 포스트에서는 수식을 유도할 때 자주 사용되는 수학적 동치 관계 또는 트릭에 대하여 정리한다. 필자는 주로 SLAM과 관련된 분야에 대한 수식과 논문을 많이 접하기 때문에 이와 관련된 수식을 정리하였다.

 

Skew-symmetric matrix 

3차원 벡터 $\mathbf{v}=[v_x,v_y,v_z{]}^{⊺}\in {\mathbb{R}}^3$가 있을 때 이에 대한 반대칭 행렬을 $[\mathbf{v}{]}_{\times }=\left[\begin{array}{ccc}0& -v_z& v_y\\ v_z& 0& -v_x\\ -v_y& v_x& 0\end{array}\right]$라고 하면 다음과 같은 성질이 성립한다.

$$\begin{array}{}\text{(1)}& \boxed{{\displaystyle \begin{array}{rl}& [\mathbf{v}{]}_{\times }^{⊺}=-[\mathbf{v}{]}_{\times }\\ & [\mathbf{v}{]}_{\times }^2=\mathbf{v}{\mathbf{v}}^{⊺}-{\mathbf{v}}^{⊺}\mathbf{v}\mathbf{I}\\ & [\mathbf{R}\mathbf{v}{]}_{\times }=\mathbf{R}[\mathbf{v}{]}_{\times }{\mathbf{R}}^{⊺}\end{array}}}\end{array}$$

- $\mathbf{R}\in SO(3)$ : 임의의 회전 행렬

 

만약 $\Vert \mathbf{u}\Vert =1$을 만족하는 단위 벡터 $\mathbf{u}$가 주어진 경우 아래 공식이 성립한다.

$$\begin{array}{}\text{(2)}& \boxed{{\displaystyle \begin{array}{rl}& [\mathbf{u}{]}_{\times }^3=[\mathbf{u}{]}_{\times }^{⊺}=-[\mathbf{u}{]}_{\times }\\ & [\mathbf{u}{]}_{\times }^2=\mathbf{u}{\mathbf{u}}^{⊺}-\mathbf{I}\end{array}}}\end{array}$$

 

임의의 두 벡터 $\mathbf{a},\mathbf{b}\in {\mathbb{R}}^3$가 주어졌을 때 다음 법칙이 성립한다.

$$\begin{array}{}\text{(3)}& \boxed{{\displaystyle \begin{array}{rl}& [\mathbf{a}{]}_{\times }\mathbf{b}=-[\mathbf{b}{]}_{\times }\mathbf{a}\end{array}}}\end{array}$$

 

임의의 세 벡터에 대하여 $\mathbf{a}=\mathbf{b}\times \mathbf{c}$ 관계가 주어진 경우 외적의 성질에 의해 다음 공식이 성립한다.

$$\begin{array}{}\text{(4)}& \boxed{{\displaystyle \begin{array}{rl}& [\mathbf{a}{]}_{\times }={\mathbf{cb}}^{⊺}-{\mathbf{bc}}^{⊺}\end{array}}}\end{array}$$

 

Determinant of matrix

$\mathbf{X}\in {\mathbb{R}}^{2\times 2}$ 행렬에 대한 행렬식(determinant)은 다음과 같다.

$$\begin{array}{}\text{(5)}& \begin{array}{rlr}& \mathbf{X}=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]& \text{det}(\mathbf{X})=ad-bc\end{array}\end{array}$$

 

임의의 정방행렬 $\mathbf{A}\mathbf{,}\mathbf{B}\in {\mathbb{R}}^{n\times n}$에 대하여 행렬식은 다음과 같은 성질을 지닌다.

$$\begin{array}{}\text{(6)}& \boxed{{\displaystyle \begin{array}{rl}& \text{det}({\mathbf{A}}^{⊺})=\text{det}(\mathbf{A})\\ & \text{det}(c\mathbf{A})=c^n\text{det}(\mathbf{A})\\ & \text{det}(\mathbf{AB})=\text{det}(\mathbf{A})\text{det}(\mathbf{B})\\ & \text{det}({\mathbf{A}}^{-1})=\frac{1}{\text{det}(\mathbf{A})}\end{array}}}\end{array}$$

 

Trace of matrix

Trace란 임의의 행렬 $\mathbf{A}$가 주어졌을 때 행렬의 trace는 행렬의 대각 성분의 합을 의미하며 $\text{tr}(\mathbf{A})$와 같이 표기한다.

$$\begin{array}{}\text{(7)}& \begin{array}{r}\text{tr}(\mathbf{A})=\sum _i[A{]}_{ii}\end{array}\end{array}$$

- $[\mathbf{A}{]}_{ij}$ : 행렬 $\mathbf{A}$의 $i$행 $j$열의 원소

 

Trace는 다음과 같은 성질을 지닌다.

$$\begin{array}{}\text{(8)}& \boxed{{\displaystyle \begin{array}{rl}& \text{tr}(\mathbf{A})=\text{tr}({\mathbf{A}}^{⊺})\\ & \text{tr}(\mathbf{AB})=\text{tr}(\mathbf{BA})\\ & \text{tr}(\mathbf{A}+\mathbf{B})=\text{tr}(\mathbf{A})+\text{tr}(\mathbf{B})\\ & \text{tr}(\mathbf{ABC})=\text{tr}(\mathbf{BCA})=\text{tr}(\mathbf{CAB})\\ & \text{tr}({\mathbf{A}}^{⊺}\mathbf{B})=\sum _{i=1}^n\sum _{j=1}^n[\mathbf{A}{]}_{ij}[\mathbf{B}{]}_{ij}\\ & {\mathbf{a}}^{⊺}\mathbf{b}=\text{tr}({\mathbf{ba}}^{⊺})\end{array}}}\end{array}$$

- $\mathbf{a}$ : 임의의 벡터

 

Linear transformation of Gaussian random variable

벡터 랜덤 변수 $\mathbf{x}\in {\mathbb{R}}^n$가 가우시안 분포를 따를 때는 다음과 같이 표기할 수 있다.
$$\begin{array}{}\text{(9)}& \begin{array}{r}\mathbf{x}\sim \mathcal{N}(\mathit{\mu },\mathbf{\Sigma })\end{array}\end{array}$$

$\mathbf{x}$를 선형 변환(linear transformation)한 새로운 랜덤변수 $\mathbf{y}=\mathbf{Ax}+\mathbf{b}$가 주어졌다고 하면 $\mathbf{y}$는 아래와 같은 확률 분포를 따른다.
$$\begin{array}{}\text{(10)}& \boxed{{\displaystyle \begin{array}{rl}\mathbf{y}& =\mathbf{Ax}+\mathbf{b}\\ & \sim \mathcal{N}(\mathbf{A}\mathit{\mu }+\mathbf{b},\mathbf{A}\mathbf{\Sigma }{\mathbf{A}}^{⊺})\end{array}}}\end{array}$$

 

 

SO(3) Group

각속도 벡터 $\omega \in {\mathbb{R}}^3$이 주어졌을 때 이에 exponential mapping을 수행하면 회전 행렬 $\mathbf{R}$을 얻는다. 아래와 같은 둘 사이의 변환 관계를 Rodrigues' formula라고 한다.
$$\begin{array}{}\text{(11)}& \boxed{{\displaystyle \begin{array}{rl}\mathbf{R}& =\text{Exp}(\omega )\\ & =\mathbf{I}+\frac{\sin (\Vert \omega \Vert )}{\Vert \omega \Vert }[\omega {]}_{\times }+\frac{1-\cos (\Vert \omega \Vert )}{{\Vert \omega \Vert }^2}[\omega {]}_{\times }^2\end{array}}}\end{array}$$
- $\text{Exp}(\omega )=\exp ([\omega {]}_{\times })$

만약 각속도 벡터 $\omega \in {\mathbb{R}}^3$의 크기가 작은 경우 다음과 같이 근사할 수 있다.
$$\begin{array}{}\text{(12)}& \boxed{{\displaystyle \begin{array}{r}\text{Exp}(\omega )\simeq \mathbf{I}+[\omega {]}_{\times }\end{array}}}\end{array}$$

Exponential mapping은 다음과 같은 유용한 성질을 지닌다.
$$\begin{array}{}\text{(13)}& \boxed{{\displaystyle \begin{array}{rl}& \mathbf{R}\exp ([\omega {]}_{\times }){\mathbf{R}}^{⊺}=\exp (\mathbf{R}[\omega {]}_{\times }{\mathbf{R}}^{⊺})=\exp ([\mathbf{R}\omega {]}_{\times })\end{array}}}\end{array}$$

위 식으로부터 다음 동치 관계가 성립한다.
$$\begin{array}{}\text{(14)}& \boxed{{\displaystyle \begin{array}{r}\exp ([\omega {]}_{\times })\mathbf{R}=\mathbf{R}\exp ([{\mathbf{R}}^{⊺}\omega {]}_{\times })\end{array}}}\end{array}$$

 

Left and Right Jacobian of SO(3) 

임의의 회전행렬 $\mathbf{R}\in SO(3)$가 주어졌을 때 이를 지수 매핑(exponential mapping)에 대한 식으로 표현하면 다음과 같다.
$$\begin{array}{}\text{(15)}& \begin{array}{r}\mathbf{R}=\text{Exp}(\omega )\end{array}\end{array}$$
- $\mathbf{R}\in SO(3)$
- $\omega \in so(3)$
- $\text{Exp}(\omega )=\exp ([\omega {]}_{\times })$
- $[\omega {]}_{\times }$ : 3차원 벡터 $\omega$의 반대칭행렬(skew-symmetric matrix)

임의의 작은 변화량 $\mathrm{\Delta }\omega$이 주어졌을 때 이를 기존 $\text{Exp}(\omega )$에 업데이트 하는 방법은 다음과 같은 두 가지 방법이 존재한다. 우선 [1] 기본적인 lie algebra를 사용한 업데이트 방법이 있다. 다음으로 [2] 섭동(perturbation) 모델을 활용한 업데이트 방법이 있다. 
$$\begin{array}{}\text{(16)}& \begin{array}{r}\text{Exp}(\omega +\mathrm{\Delta }\omega )\cdots \text{[1]}\\ \text{Exp}(\omega )\text{Exp}(\mathrm{\Delta }\omega )\cdots \text{[2]}\end{array}\end{array}$$

두 방법 사이에는 다음과 같은 변환 관계가 존재한다.
$$\begin{array}{}\text{(17)}& \boxed{{\displaystyle \begin{array}{rl}& \text{Exp}(\omega +\mathrm{\Delta }\omega )=\text{Exp}(\omega )\text{Exp}({\mathbf{J}}_r\mathrm{\Delta }\omega )\\ & \text{Exp}(\omega )\text{Exp}(\mathrm{\Delta }\omega )=\text{Exp}(\omega +{\mathbf{J}}_r^{-1}\mathrm{\Delta }\omega )\end{array}}}\end{array}$$
- ${\mathbf{J}}_r={\mathbf{J}}_r(\omega )\in {\mathbb{R}}^{3\times 3}$\
- ${\mathbf{J}}_r(\omega )=\mathbf{I}-\left(\frac{1-\cos (\Vert \omega \Vert )}{\Vert \omega {\Vert }^2}\right){\omega }^{\wedge }+\left(\frac{\Vert \omega \Vert -\sin (\Vert \omega \Vert )}{\Vert \omega {\Vert }^3}\right)({\omega }^{\wedge }{)}^2$ : SO(3)군의 오른쪽 자코비안(right jacobian)\
- ${\mathbf{J}}_r(\omega {)}^{-1}=\mathbf{I}+\frac{1}{2}{\omega }^{\wedge }+(\frac{1}{{\Vert \omega \Vert }^2}-\frac{1+\cos (\Vert \omega \Vert )}{2\Vert \omega \Vert \sin (\Vert \omega \Vert )})({\omega }^{\wedge }{)}^2$ : SO(3)군의 오른쪽 자코비안의 역행렬\

위 식에서 ${\mathbf{J}}_r$을 SO(3)군의 오른쪽 자코비안(right jacobian)이라고 부르며 ${\mathbf{J}}_r^{-1}$을 SO(3)군의 오른쪽 자코비안의 역행렬(inverse right jacobian)이라고 부른다.

만약 업데이트 위치가 $\text{Exp}(\omega )\text{Exp}(\mathrm{\Delta }\omega )$처럼 오른쪽이 아닌 $\text{Exp}(\mathrm{\Delta }\omega )\text{Exp}(\omega )$와 같이 왼쪽에 곱해진다면 위와 유사한 공식이 유도되며 그 때 나오는 자코비안은 SO(3)군의 왼쪽 자코비안(left jacobian) ${\mathbf{J}}_l$이라고 한다. ${\mathbf{J}}_l^{-1}$ 또한 동일하게 유도된다.
$$\begin{array}{}\text{(18)}& \boxed{{\displaystyle \begin{array}{rl}& \text{Exp}(\omega +\mathrm{\Delta }\omega )=\text{Exp}({\mathbf{J}}_l\mathrm{\Delta }\omega )\text{Exp}(\omega )\\ & \text{Exp}(\mathrm{\Delta }\omega )\text{Exp}(\omega )=\text{Exp}(\omega +{\mathbf{J}}_l^{-1}\mathrm{\Delta }\omega )\end{array}}}\end{array}$$

- ${\mathbf{J}}_l={\mathbf{J}}_l(\omega )\in {\mathbb{R}}^{3\times 3}$
- ${\mathbf{J}}_l(\omega )=\mathbf{I}+\left(\frac{1-\cos (\Vert \omega \Vert )}{\Vert \omega {\Vert }^2}\right){\omega }^{\wedge }+\left(\frac{\Vert \omega \Vert -\sin (\Vert \omega \Vert )}{\Vert \omega {\Vert }^3}\right)({\omega }^{\wedge }{)}^2$ : SO(3)군의 왼쪽 자코비안(left jacobian)
- ${\mathbf{J}}_l(\omega {)}^{-1}=\mathbf{I}-\frac{1}{2}{\omega }^{\wedge }+(\frac{1}{{\Vert \omega \Vert }^2}-\frac{1+\cos (\Vert \omega \Vert )}{2\Vert \omega \Vert \sin (\Vert \omega \Vert )})({\omega }^{\wedge }{)}^2$ : SO(3)군의 왼쪽 자코비안의 역행렬

($\text{17}$), ($\text{18}$)는SO(3)군의 작은 섭동 변화량 $\mathrm{\Delta }\omega$에 대해서만 유효한 공식임에 유의하며 이러한 근사 과정을 Baker-Campbell-Hausdorff(BCH) 근사라고 한다.

두 자코비안 ${\mathbf{J}}_l,{\mathbf{J}}_r$ 사이에는 다음과 같은 변환 공식이 성립한다.
$$\begin{array}{}\text{(19)}& \begin{array}{rl}& {\mathbf{J}}_l(\omega )={\mathbf{J}}_r(-\omega )={\mathbf{J}}_r^{⊺}(\omega )\\ & {\mathbf{J}}_l^{-1}(\omega )={\mathbf{J}}_r^{-1}(-\omega )={\mathbf{J}}_r^{-⊺}(\omega )\end{array}\end{array}$$

 

 

References

[1] Kay, Steven M. Fundamentals of statistical signal processing: estimation theory. Prentice-Hall, Inc., 1993.