다중관점기하학(Multiple View Geometry in Computer Vision) 책 내용 정리 Part 3

Youtube

다중관점기하학(Multiple View Geometry) 개념 정리

1. The Trifocal Tensor

1.1. The geometric basis for the trifocal tensor

Three-View Geometry에서 Trifocal Tensor $\mathcal{T}$는 Two-View Geometry에서 Fundamental Matrix $\mathbf{F}$와 유사한 역할을 한다. $\mathbf{F}$와 유사하게 $\mathcal{T}$은 서로 다른 세 개의 카메라 이미지 평면들을 특별한 제약조건으로 구속시킨다.

1.1.1. Incidence relations for lines

월드 평면 상의 한 직선 $\mathbf{L}$과 이를 바라보고 있는 서로 다른 세 개의 카메라가 주어졌다고 가정하자. 세 개의 카메라의 이미지 평면을 각각 $\pi_{\mathbf{P}}, \pi_{\mathbf{P}^{\prime}}, \pi_{\mathbf{P}^{\prime\prime}}$이라고 하고 $\mathbf{L}$을 이미지 평면 상에 프로젝션한 직선들은 $\mathbf{l},\mathbf{l}^{\prime},\mathbf{l}^{\prime\prime}$이라고 했을 때 $\mathbf{l} \leftrightarrow \mathbf{l}^{\prime} \leftrightarrow \mathbf{l}^{\prime\prime}$ 사이의 관계를 알아보자.

카메라 행렬을 각각 $(\mathbf{P},\mathbf{P}^{\prime},\mathbf{P}^{\prime\prime})$이라고 했을 때 이를 Canonical Form으로 나타내면

\begin{equation}
\begin{aligned}
&\mathbf{P} = [\mathbf{I} \ | \ 0]\\
&\mathbf{P}^{\prime} = [\mathbf{A} \ | \ \mathbf{a}_{4}]\\
&\mathbf{P}^{\prime\prime} = [\mathbf{B} \ | \ \mathbf{b}_{4}]\\
\end{aligned}
\end{equation}

와 같이 항상 사영모호성을 포함하여(up to projectivity) 나타낼 수 있다. 월드 상의 직선 $\mathbf{L}$은 $\mathbf{l},\mathbf{l}^{\prime},\mathbf{l}^{\prime\prime}$을 Back-projection한 평면들$\pi, \pi^{\prime}, \pi^{\prime\prime}$의 교차선이므로 $\mathbf{l},\mathbf{l}^{\prime},\mathbf{l}^{\prime\prime}$를 Back-projection 해보면

\begin{equation}
\begin{aligned}
& \pi = \mathbf{P}^{\intercal}\mathbf{l} = \begin{pmatrix} \mathbf{l} \\ 0 \end{pmatrix}\\
& \pi^{\prime} = \mathbf{P}^{\prime\intercal}\mathbf{l}^{\prime}= \begin{pmatrix} \mathbf{A}^{\intercal}\mathbf{l}^{\prime} \\ \mathbf{a}_{4}^{\intercal}\mathbf{l}^{\prime} \end{pmatrix} \\
& \pi^{\prime\prime} = \mathbf{P}^{\prime\prime\intercal}\mathbf{l}^{\prime\prime}= \begin{pmatrix} \mathbf{B}^{\intercal}\mathbf{l}^{\prime\prime} \\ \mathbf{b}_{4}^{\intercal}\mathbf{l}^{\prime\prime} \end{pmatrix}
\end{aligned}
\end{equation}

같은 평면들의 법선벡터(normal vector)를 얻을 수 있다. 이러한 세 평면의 법선벡터를 열벡터로 가지는 행렬 $\mathbf{M} \in \mathbb{R}^{4\times3}$이 다음과 같이 주어졌을 때

\begin{equation}
\begin{aligned}
\mathbf{M} = \begin{bmatrix} \pi & \pi^{\prime} & \pi^{\prime\prime} \end{bmatrix}
\end{aligned}
\end{equation}

$\mathbf{M}$의 열공간(column space)는 월드 상의 직선 $\mathbf{L}$과 수직인 2차원 평면을 의미하므로 $\mathbf{M}$의 rank는 2이다. 따라서

\begin{equation}
\begin{aligned}
\mathbf{M} = \begin{bmatrix} \mathbf{m}_{1}&\mathbf{m}_{2}&\mathbf{m}_{3} \end{bmatrix} = \begin{bmatrix} \mathbf{l}&\mathbf{A}^{\intercal}\mathbf{l}^{\prime} & \mathbf{B}^{\intercal}\mathbf{l}^{\prime\prime} \\ 0 & \mathbf{a}_{4}^{\intercal}\mathbf{l}^{\prime} & \mathbf{b}_{4}^{\intercal}\mathbf{l}^{\prime\prime} \end{bmatrix}
\end{aligned}
\end{equation}

에서 $\mathbf{m}_{1} = \alpha \mathbf{m}_{2} + \beta \mathbf{m}_{3}$가 성립한다. 이 때, 행렬 $\mathbf{M}$의 두 번째 행에서 첫번째 열 $(2,1)$ 값이 $0$이므로 $\alpha, \beta$를 구할 수 있다.

\begin{equation}
\begin{aligned}
0 = k(\mathbf{b}_{4}^{\intercal}\mathbf{l}^{\prime\prime})\mathbf{m}_{2} - (k\mathbf{a}_{4}^{\intercal}\mathbf{l}^{\prime})\mathbf{m}_{3}
\end{aligned}
\end{equation}

따라서 임의의 상수 k에 대하여 $\alpha = k(\mathbf{b}_{4}^{\intercal}\mathbf{l}^{\prime}), \beta = k(\mathbf{a}_{4}^{\intercal}\mathbf{l}^{\prime})$이 된다. 다음으로 행렬 $\mathbf{M}$의 첫번째 행을 전개해보면

\begin{equation}
\begin{aligned}
\mathbf{l} & = (\mathbf{b}_{4}^{\intercal}\mathbf{l}^{\prime\prime})\mathbf{A}^{\intercal}\mathbf{l}^{\prime} - (\mathbf{a}_{4}^{\intercal}\mathbf{l}^{\prime})\mathbf{B}^{\intercal}\mathbf{l}^{\prime\prime} \\
& = (\mathbf{l}^{\prime\prime\intercal}\mathbf{b}_{4})\mathbf{A}^{\intercal}\mathbf{l}^{\prime} - (\mathbf{l}^{\prime\intercal}\mathbf{a}_{4})\mathbf{B}^{\intercal}\mathbf{l}^{\prime\prime} \\
\end{aligned}
\end{equation}

이 된다. $\mathbf{a}_{4}^{\intercal}\mathbf{l}^{\prime}, \mathbf{b}_{4}^{\intercal}\mathbf{l}^{\prime\prime}$은 스칼라 값이므로 전치(transpose)를 취해도 같은 값을 나타낸다. 직선 $\mathbf{l}$의 i번째 좌표값을 $l_{i}$라고 하면

\begin{equation}
\begin{aligned}
l_{i} & = \mathbf{l}^{\prime\prime\intercal}(\mathbf{b}_{4}\mathbf{a}_{i}^{\intercal})\mathbf{l}^{\prime} - \mathbf{l}^{\prime\intercal}(\mathbf{a}_{4}\mathbf{b}_{i}^{\intercal})\mathbf{l}^{\prime\prime} \\
& = \mathbf{l}^{\prime\intercal}(\mathbf{a}_{i}\mathbf{b}_{4}^{\intercal})\mathbf{l}^{\prime\prime} - \mathbf{l}^{\prime\intercal}(\mathbf{a}_{4}\mathbf{b}_{i}^{\intercal})\mathbf{l}^{\prime\prime} \\
& = \mathbf{l}^{\prime\intercal}(\mathbf{a}_{i}\mathbf{b}_{4}^{\intercal}-\mathbf{a}_{4}\mathbf{b}_{i}^{\intercal})\mathbf{l}^{\prime\prime}
\end{aligned}
\end{equation}

과 같이 나타낼 수 있다. 이 때 $\mathbf{a}_{i}\mathbf{b}_{4}^{\intercal}-\mathbf{a}_{4}\mathbf{b}_{i}^{\intercal}$를 $\mathbf{T}_{i}$로 치환하면

\begin{equation}
\begin{aligned}
l_{i} = \mathbf{l}^{\prime\intercal}\mathbf{T}_{i}\mathbf{l}^{\prime\prime}
\end{aligned}
\end{equation}

으로 간결하게 표현할 수 있다.

1.1.2. Definition 15.1

이 때, 행렬의 집합 $\{\mathbf{T}_{1},\mathbf{T}_{2},\mathbf{T}_{3}\}$은 Trifocal Tensor $\mathcal{T}$을 행렬로 표현한 것을 의미한다. 이를 사용하여 직선 $\mathbf{l}$을 다시 표현해보면 다음과 같다.

\begin{equation}
\begin{aligned}
\mathbf{l}^{\intercal} & = \mathbf{l}^{\prime\intercal}\begin{bmatrix} \mathbf{T}_{1} & \mathbf{T}_{2} & \mathbf{T}_{3} \end{bmatrix}\mathbf{l}^{\prime\prime} \\
& = (\mathbf{l}^{\prime\intercal}\mathbf{T}_{1}\mathbf{l}^{\prime\prime},\mathbf{l}^{\prime\intercal}\mathbf{T}_{2}\mathbf{l}^{\prime\prime},\mathbf{l}^{\prime\intercal}\mathbf{T}_{3}\mathbf{l}^{\prime\prime})
\end{aligned}
\end{equation}

1.1.3. Homographies induced by a plane

1.1.4. Result 15.2

서로 다른 세 카메라의 이미지 평면을 각각 $\pi_{\mathbf{P}}, \pi_{\mathbf{P}^{\prime}}, \pi_{\mathbf{P}^{\prime\prime}}$ 하자. 두 번째 카메라 이미지 평면 상의 직선 $\mathbf{l}^{\prime}$을 Back-projection하여 얻은 월드 상의 평면을 $\pi^{\prime}$이라고 하면 $\pi^{\prime}$을 통해 $\pi_{\mathbf{P}}$에서 $\pi_{\mathbf{P}^{\prime\prime}}$으로 변환하는 Homography $\mathbf{H}_{13}$가 존재한다. 해당 섹션에서는 $\mathbf{H}_{13}$를 $\mathbf{l}^{\prime}$을 통해 기술하는 방법에 대해 설명한다.

첫 번째 이미지 평면 상의 직선 $\mathbf{l}$은 Trifocal Tensor에 의해

\begin{equation}
\begin{aligned}
\mathbf{l}^{\intercal} = \mathbf{l}^{\prime\intercal} \begin{bmatrix} \mathbf{T}_{1}&\mathbf{T}_{2}&\mathbf{T}_{3} \end{bmatrix}\mathbf{l}^{\prime\prime}
\end{aligned}
\end{equation}

과 같이 나타낼 수 있고 이를 정리하여 $\mathbf{l}=\mathbf{H}_{13}^{\intercal}\mathbf{l}^{\prime\prime}$ 꼴로 나타내면

\begin{equation}
\begin{aligned}
\mathbf{l}^{\intercal} & = \mathbf{l}^{\prime\intercal} \begin{bmatrix} \mathbf{T}_{1}&\mathbf{T}_{2}&\mathbf{T}_{3} \end{bmatrix}\mathbf{l}^{\prime\prime} \\
& = (\begin{bmatrix} \mathbf{T}_{1}^{\intercal},&\mathbf{T}_{2}^{\intercal}&\mathbf{T}_{3}^{\intercal} \end{bmatrix}\mathbf{l}^{\prime})^{\intercal} \mathbf{l}^{\prime\prime} \\
& = \mathbf{H}_{13}^{\intercal}\mathbf{l}^{\prime\prime}
\end{aligned}
\end{equation}

이 된다. 따라서 $\mathbf{H}_{13} = \begin{bmatrix} \mathbf{T}_{1}^{\intercal},&\mathbf{T}_{2}^{\intercal}&\mathbf{T}_{3}^{\intercal} \end{bmatrix}\mathbf{l}^{\prime}$과 같다. $\mathbf{H}_{13}$을 사용하면 $\mathbf{x}^{\prime\prime} = \mathbf{H}_{13}\mathbf{x}$와 같이 $\pi_{\mathbf{P}} \rightarrow \pi_{\mathbf{P}^{\prime\prime}}$으로 Homography 변환을 할 수 있다.

이와 유사하게 $\mathbf{H}_{12}$는 $\mathbf{x}^{\prime} = \mathbf{H}_{12}\mathbf{x}$ 공식을 만족하며 다음과 같다.

\begin{equation}
\begin{aligned}
\mathbf{H}_{12} = \begin{bmatrix} \mathbf{T}_{1}&\mathbf{T}_{2}&\mathbf{T}_{3} \end{bmatrix}\mathbf{l}^{\prime\prime} \quad ^\forall \mathbf{l}^{\prime\prime}
\end{aligned}
\end{equation}

1.1.5. Point and line incidence relations

이전 섹션에서는 $\mathbf{l} = \mathbf{l}^{\prime\intercal}\mathcal{T}\mathbf{l}^{\prime\prime}$ 공식을 통해 세 이미지 평면에 존재하는 직선들이 Trifocal Tensor $\mathcal{T}$에 의해 제약된다는 것에 대해 설명했다. 해당 섹션에서는 세 개의 직선들 뿐만 아니라 점과 직선들의 관계들이 Trifocal Tensor $\mathcal{T}$에 의해 어떻게 제약되는 지 설명한다.

직선 $\mathbf{l}$ 위에 존재하는 임의의 점 $\mathbf{x}$에 대해 $\mathbf{x}^{\intercal}\mathbf{l}=0$ 이 성립하고 이를 Tensor 표현법으로 다시 나타내면

\begin{equation}
\begin{aligned}
\mathbf{x}^{\intercal}\mathbf{l} & = \sum_{i}x^{i}l_{i} \\
& = \sum_{i}x^{i}\mathbf{l}^{\prime\intercal}\mathbf{T}_{i}\mathbf{l}^{\prime\prime} \quad \because l_{i} = \mathbf{l}^{\prime\intercal}\mathbf{T}_{i}\mathbf{l}^{\prime\prime}\\
& = \mathbf{l}^{\prime\intercal}(\sum_{i}x^{i}\mathbf{T}_{i})\mathbf{l}^{\prime\prime} = 0\\
\end{aligned}
\end{equation}

같이 나타낼 수 있고 이는 한 점과 두 직선(point-line-line) 사이의 관계를 의미한다.

이전 섹션에서 설명한 $\mathbf{H}_{13}$은 첫 번째 이미지 평면에서 세 번째 이미지 평면으로 변환하는 Homography를 의미한다. 이를 통해 $\mathbf{x}^{\prime\prime} = \mathbf{H}_{13}\mathbf{x}$와 같이 세 번째 이미지 평면 상의 점 $\mathbf{x}^{\prime\prime}$을 구할 수 있고

\begin{equation}
\begin{aligned}
\mathbf{x}^{\prime\prime} = \mathbf{H}_{13}\mathbf{x} = \begin{bmatrix} \mathbf{T}_{1}{^\intercal}\mathbf{l}^{\prime} & \mathbf{T}_{2}^{\intercal}\mathbf{l}^{\prime} & \mathbf{T}_{3}^{\intercal}\mathbf{l}^{\prime} \end{bmatrix}\mathbf{x} = (\sum_{i}x^{i}\mathbf{T}_{i}^{\intercal})\mathbf{l}^{\prime}
\end{aligned}
\end{equation}

같이 전개할 수 있다. 이 때, $\mathbf{x}^{\prime\prime}$은 Scale Factor를 포함하고 있으므로 유일하게 $\mathbf{x}^{\prime\prime}$를 결정하기 위해 $\mathbf{x}^{\prime\prime\wedge}$를 곱하면

\begin{equation}
\begin{aligned}
\mathbf{x}^{\prime\prime\intercal}\mathbf{x}^{\prime\prime\wedge} = \mathbf{l}^{\prime\intercal}(\sum_{i}x^{i}\mathbf{T}_{i})\mathbf{x}^{\prime\prime\wedge} = \mathbf{0}^{\intercal}
\end{aligned}
\end{equation}

이 된다. 이는 두 개의 점과 하나의 직선 사이(point-line-point)의 관계를 의미한다.

이와 유사하게 세 개의 점이 주어졌을 때

\begin{equation}
\begin{aligned}
\mathbf{x}^{\prime\wedge}(\sum_{i}x^{i}\mathbf{T}_{i})\mathbf{x}^{\prime\prime\wedge} = \mathbf{0}
\end{aligned}
\end{equation}

을 통해 Scale Factor를 제거하여 유일한 $\mathbf{x}^{\prime}$을 구할 수 있으며 해당 공식은 세 점 사이(point-point-point)의 관계를 의미한다.

1.1.6. Epipolar lines

1.1.7. Result 15.3

Trifocal Tensor $\mathcal{T}$를 통해 두 카메라의 Epipoar Line을 구할 수 있다. 세 이미지 평면 $\pi_{\mathbf{P}},\pi_{\mathbf{P}^{\prime}},\pi_{\mathbf{P}^{\prime\prime}}$이 주어지고 $\pi_{\mathbf{P}}$ 위의 한 점 $\mathbf{x}$가 존재하며 $\pi_{\mathbf{P}^{\prime}}, \pi_{\mathbf{P}^{\prime\prime}}$ 평면에 Epipolar Line $\mathbf{l}^{\prime}, \mathbf{l}^{\prime\prime}$이 존재한다고 가정하면 이들 사이에는

\begin{equation}
\begin{aligned}
& \mathbf{l}^{\prime\intercal}(\sum_{i}x^{i}\mathbf{T}_{i}) =0 \\
& (\sum_{i}x^{i}\mathbf{T}_{i})\mathbf{l}^{\prime\prime} = 0
\end{aligned}
\end{equation}

관계가 성립한다. 즉, $\mathbf{l}^{\prime\intercal}$은 $(\sum_{i}x^{i}\mathbf{T}_{i})$의 Left Null Vector이며 $\mathbf{l}^{\prime\prime}$은 $(\sum_{i}x^{i}\mathbf{T}_{i})$의 Right Null Vector가 된다.

1.1.8. Proof

두 번째 이미지 평면 $\pi_{\mathbf{P}^{\prime}}$ 상의 Epipolar Line $\mathbf{l}^{\prime}$을 Back-projection하여 생성된 평면을 $\pi^{\prime}$이라고 하면 $\pi^{\prime}$과 $\pi_{\mathbf{P}}$ 사이에는 교차선이 생성되고 해당 교차선은 $\pi_{\mathbf{P}}$ 평면의 Epipolar Line $\mathbf{l}$이 된다. 이 때 세 번째 이미지 평면 $\pi_{\mathbf{P}^{\prime\prime}}$ 상의 임의의 직선 $\mathbf{l}^{\prime\prime}$을 Back-projection한 평면 $\pi^{\prime\prime}$과 $\pi^{\prime}$은 월드 평면 상의 직선 $\mathbf{L}$에서 교차선을 생성하며 이를 다시 $\pi_{\mathbf{P}}$로 프로젝션하면 $\mathbf{L}$은 항상 Epipolar Line $\mathbf{l}$ 위에 한 점 $\mathbf{x} \in \mathbf{l}$로 프로젝션된다.

이러한 $\mathbf{l} \leftrightarrow \mathbf{l}^{\prime} \leftrightarrow \mathbf{l}^{\prime\prime}$ 관계를 통해 Trifocal Tensor $\mathcal{T}$을 구할 수 있으며 이전 섹션에서 설명한 한 점 $\mathbf{x}$와 두 직선 사이(point-line-line)의 관계 공식이 성립한다.

\begin{equation}
\begin{aligned}
& \mathbf{x} \in \mathbf{l} = \mathbf{l}^{\prime\intercal}\mathcal{T}\mathbf{l}^{\prime\prime} \\
& \mathbf{l}^{\prime\intercal}(\sum_{i}x^{i}\mathbf{T}_{i})\mathbf{l}^{\prime\prime} = 0 \quad ^\forall \mathbf{l}^{\prime\prime} \\
& \therefore \mathbf{l}^{\prime\intercal}(\sum_{i}x^{i}\mathbf{T}_{i}) = 0
\end{aligned}
\end{equation}

위와 같이 모든 $\mathbf{l}^{\prime\prime}$에 대해 위 공식을 만족해야 하므로 $\mathbf{l}^{\prime\intercal}(\sum_{i}x^{i}\mathbf{T}_{i}) = 0$ 공식이 성립하게 된다. 이를 모든 $\mathbf{l}^{\prime}$에 대해서도 마찬가지로 성립하므로 $(\sum_{i}x^{i}\mathbf{T}_{i})\mathbf{l}^{\prime\prime} = 0$ 또한 성립한다.

1.1.9. Result 15.4

추가적으로 Epipole $\mathbf{e}^{\prime}, \mathbf{e}^{\prime\prime}$은 모든 $^\forall \mathbf{x}$에 대해 구할 수 있는 $\mathbf{l}^{\prime}, \mathbf{l}^{\prime\prime}$들의 교차점을 계산함으로써 구할 수 있다.

1.1.10. Extracting the fundamental matrices

이전 섹션에서 설명한 것과 같이 여러 점과 직선들과 관계를 통해 세 개의 이미지 평면에 대한 Trifocal Tensor $\mathcal{T}$를 구할 수 있다. 해당 섹션에서는 $\mathcal{T}$를 통해 세 개의 서로 다른 Fundamental Matrix $\mathbf{F}$를 구하는 방법에 대해 설명한다.

Fundamental Matrix $\mathbf{F}_{21}$는 $\mathbf{F}_{21}=\mathbf{e}^{\prime\wedge}\mathbf{H}_{21}$를 통해 구할 수 있다. $\mathbf{F}_{ij}$는 i번째 이미지 평면과 j번째 이미지 평면 사이의 Fundamental Matrix를 의미한다. $\mathbf{e}^{\prime}$은 이전 섹션에서 설명한 방법대로 $\mathbf{T}_{i}$의 Left Null Vector를 계산하여 $\mathbf{l}^{\prime}, \mathbf{e}^{\prime}$을 통해 구하고 $\mathbf{H}_{21}$은 $\begin{bmatrix} \mathbf{T}_{1}&\mathbf{T}_{2}&\mathbf{T}_{3} \end{bmatrix}\mathbf{l}^{\prime\prime}$과 같이 구할 수 있으므로

\begin{equation}
\begin{aligned}
\mathbf{F}_{21} & = \mathbf{e}^{\prime\wedge}\mathbf{H} \\
& = \mathbf{e}^{\prime\wedge}\begin{bmatrix} \mathbf{T}_{1}&\mathbf{T}_{2}&\mathbf{T}_{3} \end{bmatrix}\mathbf{l}^{\prime\prime} \quad ^\exists \mathbf{l}^{\prime\prime}
\end{aligned}
\end{equation}

이 된다. 이 때 $\mathbf{l}^{\prime\prime}$은 $\mathbf{T}_{i}$의 Null Space에 존재하면 안된다. 즉 $\mathbf{T}_{i}\mathbf{l}^{\prime\prime} \neq 0$이어야 한다. 다시 말하면 $\begin{bmatrix} \mathbf{T}_{1}&\mathbf{T}_{2}&\mathbf{T}_{3} \end{bmatrix}\mathbf{l}^{\prime\prime}$의 rank가 3이어야 한다. 이 때, Epipole $\mathbf{e}^{\prime\prime}$은 $\mathbf{l}^{\prime\prime}$의 Null Space에 존재하므로 $\mathbf{e}^{\prime\prime\intercal}\mathbf{l}^{\prime\prime} = 0$을 만족한다. 따라서

\begin{equation}
\begin{aligned}
\mathbf{e}^{\prime\prime} \perp \text{Nul } \mathbf{T}_{i} \quad ^\forall i
\end{aligned}
\end{equation}

를 만족하므로 $\mathbf{l}^{\prime\prime}$ 대신 $\mathbf{e}^{\prime\prime}$을 대입하면 항상 행렬의 rank가 3이 된다. 결론적으로 Fundamental Matrix $\mathbf{F}_{21}$은

\begin{equation}
\begin{aligned}
\mathbf{F}_{21} = \mathbf{e}^{\prime\wedge} \begin{bmatrix} \mathbf{T}_{1}&\mathbf{T}_{2}&\mathbf{T}_{3} \end{bmatrix}\mathbf{e}^{\prime\prime}
\end{aligned}
\end{equation}

을 통해 구할 수 있다. 동일한 방법을 사용하여 $\mathbf{F}_{31}=\mathbf{e}^{\prime\prime\wedge} \begin{bmatrix} \mathbf{T}_{1}^{\intercal}&\mathbf{T}_{2}^{\intercal}&\mathbf{T}_{3}^{\intercal} \end{bmatrix}\mathbf{e}^{\prime}$을 구할 수 있다.

1.1.11. Retrieving the camera matrices

Two-view Geometry에서는 Fundamental Matrix $\mathbf{F}$가 주어지면 카메라 행렬 대응쌍 $(\mathbf{P}, \mathbf{P}^{\prime})$을 사영모호성을 포함하여(up to projectivity) 구할 수 있었다.

\begin{equation}
\begin{aligned}
& \mathbf{P} = [\mathbf{I} \ | \ 0] \\
& \mathbf{P}^{\prime} = [\mathbf{A} \ | \ \mathbf{e}^{\prime}] \\
& \text{where, } \mathbf{F} = \mathbf{e}^{\prime\wedge}\mathbf{A} \ \text{ in two-view.}
\end{aligned}
\end{equation}

Three-view Geoemtry에서는 Trifocal Tensor $\mathcal{T}$를 통해 $\mathbf{F}_{21} = \mathbf{e}^{\prime\wedge} \begin{bmatrix} \mathbf{T}_{1}&\mathbf{T}_{2}&\mathbf{T}_{3} \end{bmatrix}\mathbf{e}^{\prime\prime}$ 그리고 $\mathbf{F}_{31}=\mathbf{e}^{\prime\prime\wedge} \begin{bmatrix} \mathbf{T}_{1}^{\intercal}&\mathbf{T}_{2}^{\intercal}&\mathbf{T}_{3}^{\intercal} \end{bmatrix}\mathbf{e}^{\prime}$을 구했을 때

\begin{equation}
\begin{aligned}
& \mathbf{P} = [\mathbf{I} \ | \ 0] \\
& \mathbf{P}^{\prime} = [ \begin{bmatrix} \mathbf{T}_{1}&\mathbf{T}_{2}&\mathbf{T}_{3} \end{bmatrix}\mathbf{e}^{\prime\prime} \ | \ \mathbf{e}^{\prime}] \\
& \text{but, } \mathbf{P}^{\prime\prime} \neq [\begin{bmatrix} \mathbf{T}_{1}^{\intercal}&\mathbf{T}_{2}^{\intercal}&\mathbf{T}_{3}^{\intercal} \end{bmatrix}\mathbf{e}^{\prime} \ | \ \mathbf{e}^{\prime\prime}] \ \ \text{in three-view.}
\end{aligned}
\end{equation}

관계가 성립한다. 다시 말하면 $(\mathbf{P},\mathbf{P}^{\prime})$을 계산하면 월드좌표계가 고정되고 따라서 $\mathbf{P}^{\prime\prime}$은 고정된 월드좌표계에 대해서 다시 표현해야 한다는 것을 의미한다. p256 공식 (9.10)에 의해 Canonical Form에 대한 가장 일반적인 카메라 행렬은 다음과 같이 나타낼 수 있다.

\begin{equation}
\begin{aligned}
\mathbf{P}^{\prime\prime} = [\mathbf{H}+\mathbf{e}^{\prime\prime}\mathbf{v}^{\intercal} \ | \ \lambda \mathbf{e}^{\prime\prime}]
\end{aligned}
\end{equation}

이를 전개하면

\begin{equation}
\begin{aligned}
\mathbf{P}^{\prime\prime} & = [\mathbf{H}+\mathbf{e}^{\prime\prime}\mathbf{v}^{\intercal} \ | \ \lambda \mathbf{e}^{\prime\prime}] \\
& = [\underbrace{\begin{bmatrix} \mathbf{T}_{1}^{\intercal}&\mathbf{T}_{2}^{\intercal}&\mathbf{T}_{3}^{\intercal} \end{bmatrix}\mathbf{e}^{\prime}+\mathbf{e}^{\prime\prime}\mathbf{v}^{\intercal}}_{\mathbf{B}} \ | \ \underbrace{\lambda \mathbf{e}^{\prime\prime}}_{\mathbf{b_{4}}}] \\
\end{aligned}
\end{equation}

이 되고 $\mathbf{P}^{\prime} = [\mathbf{A} \ | \ \mathbf{a}_{4}]$은

\begin{equation}
\begin{aligned}
\mathbf{P}^{\prime} & = [\mathbf{A} \ | \ \mathbf{a}_{4}] \\
& = [\underbrace{\begin{bmatrix} \mathbf{T}_{1}&\mathbf{T}_{2}&\mathbf{T}_{3} \end{bmatrix}\mathbf{e}^{\prime\prime}}_{\mathbf{A}} \ | \ \underbrace{\mathbf{e}^{\prime}}_{\mathbf{a}_{4}}]
\end{aligned}
\end{equation}

이므로 $\mathbf{T}_{i}$의 정의에 의해

\begin{equation}
\begin{aligned}
\mathbf{T}_{i} & = \mathbf{a}_{i}\mathbf{b}_{4}^{\intercal} + \mathbf{a}_{4}\mathbf{b}_{i}^{\intercal} \\
& = \mathbf{T}_{i}\mathbf{e}^{\prime\prime}\mathbf{e}^{\prime\prime\intercal} - \mathbf{e}^{\prime}\mathbf{b}_{i}^{\intercal}
\end{aligned}
\end{equation}

이 된다. 이를 정리하면

\begin{equation}
\begin{aligned}
\mathbf{T}_{i}(\mathbf{I} - \mathbf{e}^{\prime\prime}\mathbf{e}^{\prime\prime\intercal}) = - \mathbf{e}^{\prime}\mathbf{b}_{i}^{\intercal}
\end{aligned}
\end{equation}

이 된다. 이 때 $\|\mathbf{e}^{\prime}\|=1$이라고 가정하고 양 변에 $\mathbf{e}^{\prime\intercal}$을 곱하면

\begin{equation}
\begin{aligned}
\mathbf{b}_{i}^{\intercal} = \mathbf{e}^{\prime\intercal}\mathbf{T}_{i}(\mathbf{e}^{\prime\prime}\mathbf{e}^{\prime\prime} - \mathbf{I})
\end{aligned}
\end{equation}

가 된다. 최종적으로 $\mathbf{P}^{\prime\prime}$은 다음과 같다.

\begin{equation}
\begin{aligned}
\mathbf{P}^{\prime\prime} = [ (\mathbf{e}^{\prime\prime}\mathbf{e}^{\prime\prime\intercal}-\mathbf{I})\begin{bmatrix} \mathbf{T}_{1}^{\intercal}&\mathbf{T}_{2}^{\intercal}&\mathbf{T}_{3}^{\intercal} \end{bmatrix}\mathbf{e}^{\prime} \ | \ \mathbf{e}^{\prime\prime}]
\end{aligned}
\end{equation}

1.2. The trifocal tensor and tensor notation

Trifocal Tensor $\mathcal{T}$를 Tensor 표현법으로 나타내면 다음과 같다.

\begin{equation}
\begin{aligned}
\mathcal{T}_{i}^{jk} & = (j,k) \ \text{entry of} \ \mathbf{T}_{i} \\
& = a_{i}^{j}b_{4}^{k} - a_{4}^{j}b_{i}^{k}
\end{aligned}
\end{equation}

행렬로 표현한 직선 $\mathbf{l}$의 i번째 좌표는 $l_{i}=\mathbf{l}^{\prime\intercal}\mathbf{T}_{i}\mathbf{l}^{\prime\prime}$과 같이 나타낼 수 있고 이를 Tensor 표현법으로 나타내면

\begin{equation}
\begin{aligned}
l_{i} & = l_{i}^{\prime}\mathcal{T}_{i}^{jk}l_{k}^{\prime\prime} \\
& = l_{i}^{\prime}l_{k}^{\prime\prime}\mathcal{T}_{i}^{jk}
\end{aligned}
\end{equation}

가 된다. Tensor 표현법을 통해 첫 번째 카메라의 직선 $\mathbf{l}$을 세 번째 카메라의 직선 $\mathbf{l}^{\prime\prime}$으로 변환하는 Homography $\mathbf{H}: \pi_{\mathbf{P}}\mapsto \pi_{\mathbf{P}^{\prime\prime}}$을 구할 수 있다.

\begin{equation}
\begin{aligned}
& l_{i} = l_{k}^{\prime\prime}(l_{j}^{\prime}\mathcal{T}_{i}^{jk}) = l_{k}^{\prime\prime}h_{i}^{k} \\
\end{aligned}
\end{equation}

이 때, $h_{i}^{k} = l_{j}^{\prime}\mathcal{T}_{i}^{jk}$를 의미한다. Homography $\mathbf{H}$를 사용하여 점을 변환하는 경우

\begin{equation}
\begin{aligned}
x^{\prime\prime k} = h_{i}^{k}x^{i}
\end{aligned}
\end{equation}

가 된다.

Tensor 표현법을 나타내는데 유용한 $\epsilon_{ijk}$에 대해 설명하면

\begin{equation}
\begin{aligned}
\epsilon_{ijk} = \begin{cases}
& 0 \quad \text{ unless i,j,k are all distinct } \\
& +1 \quad \text{ i,j,k are even permutation of 1,2,3 } \\
& -1 \quad \text{ i,j,k are odd permutation of 1,2,3 }
\end{cases}
\end{aligned}
\end{equation}

과 같다. 다시 말하면 $\epsilon_{ijk}$는 $i,j,k$가 전부 다르지 않은 이상 $0$의 값을 가지며 $i,j,k$가 $(1,2,3), (3,1,2)$ 또는 $(2,3,1)$과 같이 순차적일 때는 $+1$의 값을 가지고 아닌 경우에는 $-1$의 값을 가진다. 이를 통해 $3\times 3$ 벡터들의 Cross Product를 표현해보면 $\mathbf{c}=\mathbf{a}\times \mathbf{b}$일 때

\begin{equation}
\begin{aligned}
c_{i} = \epsilon_{ijk}a^{j}b^{k}
\end{aligned}
\end{equation}

와 같이 나타낼 수 있다. 이는 $\begin{bmatrix} c_{1}\\c_{2}\\c_{3} \end{bmatrix} = \begin{bmatrix} a_{2}b_{3}-a_{3}b_{2} \\ a_{3}b_{1}-a_{1}b_{3} \\ a_{1}b_{2}-a_{2}b_{1} \end{bmatrix}$을 Tensor 표현법으로 나타낸 것이다. 따라서 $(\mathbf{a}^{\wedge})_{ik}$는 Tensor 표현법으로

\begin{equation}
\begin{aligned}
& (\mathbf{a}^{\wedge})_{ik} = \epsilon_{ijk}a^{j}
\end{aligned}
\end{equation}

같이 나타낼 수 있다.

1.2.1. The trilinearities

Tensor 표현법을 사용해서 이전 섹션에서 설명한 여러 점들과 직선의 관계를 다시 표현할 수 있다. 예를 들어 두 점과 한 직선 사이(point-line-point)의 관계 공식을 일반적인 형태로 나타내면 다음과 같다.

\begin{equation}
\begin{aligned}
\mathbf{l}^{\prime\intercal} (\sum_{i}x^{i}\mathbf{T}_{i})\mathbf{x}^{\prime\prime\wedge} = \mathbf{0}^{\intercal}
\end{aligned}
\end{equation}

이를 Tensor 표현법으로 나타내면 $(\mathbf{x}^{\prime\prime\wedge})_{qs} = -x^{\prime\prime k}\epsilon_{kqs}$가 되므로 이를 다시 정리하면

\begin{equation}
\begin{aligned}
l^{\prime}_{j}x^{i}\mathcal{T}_{i}^{jq}x^{\prime\prime k}\epsilon_{kqs} = 0_{s}
\end{aligned}
\end{equation}

과 같이 나타낼 수 있다. 이는 세 개의(tri-) 서로 다른 이미지에 존재하는 점 또는 직선을 사용하여 선형방정식(linear)을 도출했으므로 다른 용어로 Trilinearities라고 한다.

1.3. Transfer

세 개의 카메라가 주어졌을 때 이 중 두 개의 이미지 평면에서 점 또는 직선의 위치를 알고 있을 때 Trifocal Tensor $\mathcal{T}$를 사용하여 나머지 한 개의 이미지 평면 상의 점 또는 직선의 위치를 결정하는 방법을 Transfer라고 한다.

1.3.1. Point transfer using fundamental matrices

Point Transfer는 세 개의 이미지 평면 $\pi_{\mathbf{P}}, \pi_{\mathbf{P}^{\prime}}, \pi_{\mathbf{P}^{\prime\prime}}$에 대한 Fundamental Matrix $\mathbf{F}_{21}, \mathbf{F}_{31}, \mathbf{F}_{32}$가 주어졌을 때 이미 알고 있는 $\mathbf{x}, \mathbf{x}^{\prime}$의 위치를 통해 $\mathbf{x}^{\prime\prime}$의 위치를 결정하는 것을 말한다. 이는 Epipolar Geometry를 통해 결정할 수 있다. 세 번째 이미지 평면 $\pi_{\mathbf{P}^{\prime\prime}}$ 상에 존재하는 Epipolar Line $\mathbf{l}^{\prime\prime}$은

\begin{equation}
\begin{aligned}
& \mathbf{l}^{\prime\prime}_{31} = \mathbf{F}_{31}\mathbf{x} \\
& \mathbf{l}^{\prime\prime}_{32} = \mathbf{F}_{32}\mathbf{x}^{\prime}
\end{aligned}
\end{equation}

이므로 $\pi_{\mathbf{P}^{\prime\prime}}$ 위에 존재하는 한 점 $\mathbf{x}^{\prime\prime}$은

\begin{equation}
\begin{aligned}
\mathbf{x}^{\prime\prime} \in \mathbf{l}^{\prime\prime}_{31} \text{ and } \mathbf{l}^{\prime\prime}_{32}
\end{aligned}
\end{equation}

을 만족해야 한다. 따라서 $\mathbf{x}^{\prime\prime}$은 위 두 직선의 교차점으로 결정된다.

\begin{equation}
\begin{aligned}
\mathbf{x}^{\prime\prime} = (\mathbf{F}_{31}\mathbf{x}) \times (\mathbf{F}_{32}\mathbf{x}^{\prime})
\end{aligned}
\end{equation}

이 때, 위 공식에서 $\mathbf{F}_{21}$은 사용되지 않았는데 실제로는 대응점 쌍 $(\mathbf{x},\mathbf{x}^{\prime})$에 노이즈가 존재하기 때문에 이를 개선시키기 위해 사용된다. 대응점 쌍의 노이즈로 인해 $\mathbf{x}^{\intercal}\mathbf{F}_{21}\mathbf{x}^{\prime}=0$ 공식을 만족하지 않으므로 이전 섹션에서 설명한 Optimal Triangulation 방법을 사용하여 $d(\mathbf{x},\mathbf{l}(t))^{2} + d(\mathbf{x}^{\prime}, \mathbf{l}^{\prime}(t))^{2}$ 값이 최소가 되는 $\hat{\mathbf{x}} \leftrightarrow \hat{\mathbf{x}}^{\prime}$를 구한 후 이를 통해 $\mathbf{x}^{\prime\prime}$을 계산한다.

\begin{equation}
\begin{aligned}
\mathbf{x}^{\prime\prime} = (\mathbf{F}_{31}\hat{\mathbf{x}}) \times (\mathbf{F}_{32}\hat{\mathbf{x}}^{\prime})
\end{aligned}
\end{equation}

하지만 해당 Point Transfer는 세 개의 카메라의 중심점 $\mathbf{C},\mathbf{C}^{\prime},\mathbf{C}^{\prime\prime}$이 이루는 Trifocal 평면에 대응점 쌍 $\mathbf{x},\mathbf{x}^{\prime}$이 존재하는 경우 $\pi_{\mathbf{P}^{\prime\prime}}$에 프로젝션되는 Epipolar Line이 다음과 같이 동일하게 생성되어

\begin{equation}
\begin{aligned}
\mathbf{F}_{31}\mathbf{x} = \mathbf{F}_{32}\mathbf{x}^{\prime}
\end{aligned}
\end{equation}

이를 통해 $\mathbf{x}^{\prime\prime}$의 유일한 위치를 결정할 수 없다. 이는 Fundamental Matrix를 이용한 Point Transfer의 한계점으로 볼 수 있다.

1.3.2. Point transfer using the trifocal tensor

Fundamental Matrix $\mathbf{F}_{ij}$가 아닌 Trifocal Tensor $\mathcal{T}$를 사용하면 더욱 다양한 경우에 Transfer를 수행할 수 있다. $\mathcal{T}$를 이용해 Point Transfer를 하는 방법은 다음과 같다.

- $\mathcal{T}$를 이용해 $\mathbf{F}_{21}$를 계산한다.
\begin{equation}
\begin{aligned}
\mathbf{F}_{21} = \mathbf{e}^{\prime\intercal} \begin{bmatrix} \mathbf{T}_{1}&\mathbf{T}_{2}&\mathbf{T}_{3} \end{bmatrix}\mathbf{e}^{\prime\prime}
\end{aligned}
\end{equation}

- Optimal Triangulation 방법을 사용하여 노이즈를 제거한 최적의 대응점 쌍을 계산한다.
\begin{equation}
\begin{aligned}
(\mathbf{x},\mathbf{x}^{\prime}) \rightarrow (\hat{\mathbf{x}},\hat{\mathbf{x}}^{\prime})
\end{aligned}
\end{equation}

- 두 번째 이미지 평면 $\pi_{\mathbf{P}^{\prime}}$의 Epipolar Line $\mathbf{l}^{\prime}_{\mathbf{e}}$을 계산한다. $\mathbf{l}^{\prime}_{\mathbf{e}} = \mathbf{F}_{21}\hat{\mathbf{x}}$. 다음으로 $\mathbf{l}_{\mathbf{e}}^{\prime}$과 수직이고 $\hat{\mathbf{x}}^{\prime}$를 통과하는 직선 $\mathbf{l}^{\prime}$을 계산한다.

\begin{equation}
\begin{aligned}
& \hat{\mathbf{x}}^{\prime} = (x^{\prime}_{1}, x_{2}^{\prime},1)^{\intercal}
& \mathbf{l}_{\mathbf{e}}^{\prime} = \begin{bmatrix} l_{1}&l_{2}&l_{3} \end{bmatrix}^{\intercal} \\
& \Rightarrow \mathbf{l}^{\prime} = \begin{bmatrix} l_{2} \\ -l_{1} \\ -l_{2} x_{1}^{\prime}+ l_{1} x_{2}^{\prime} \end{bmatrix} \\
\end{aligned}
\end{equation}

- $\mathbf{l}^{\prime}$을 사용하여 $\mathbf{x}^{\prime}$을 Point Transfer한다.

\begin{equation}
\begin{aligned}
x^{\prime\prime k} = x^{\prime i} l_{j}^{\prime} \mathcal{T}_{i}^{jk}
\end{aligned}
\end{equation}

1.3.3. Degenerate configurations

Trifocal Tensor $\mathcal{T}$를 사용하는 경우에도 두 카메라의 중심점 $\mathbf{C}, \mathbf{C}^{\prime}$을 잇는 baseline 직선 상 위에 3차원 공간 상의 점 $\mathbf{X}$가 존재하는 경우 이를 통해 $\mathbf{x}^{\prime\prime}$을 결정할 수 없다.

1.3.4. Line transfer using the trifocal tensor

Trifocal Trnsor $\mathcal{T}$를 사용하면 점 뿐만 아니라 직선 또한 Transfer할 수 있다. 세 이미지 평면 상의 직선 $\mathbf{l} \leftrightarrow \mathbf{l}^{\prime} \leftrightarrow \mathbf{l}^{\prime\prime}$이 대응관계를 가지는 경우

\begin{equation}
\begin{aligned}
l_{i} = l_{j}^{\prime}l_{k}^{\prime\prime}\mathcal{T}_{i}^{jk}
\end{aligned}
\end{equation}

와 같이 $\mathcal{T}$를 통해 표현할 수 있고 이는 곧 직선 $\mathbf{l}$이 벡터 $[l_{j}^{\prime}l_{k}^{\prime\prime}\mathcal{T}^{jk}_{i}]$과 평행하다는 의미이다.

\begin{equation}
\begin{aligned}
\mathbf{l} \ \parallel \ [l_{j}^{\prime}l_{k}^{\prime\prime}\mathcal{T}^{jk}_{i}]_{3\times 1}, \ i=1,2,3
\end{aligned}
\end{equation}

평행한 직선들은 Cross Product가 0이 되어야 하므로

\begin{equation}
\begin{aligned}
& (\mathbf{l}^{\wedge})_{si} l_{j}^{\prime}l_{k}^{\prime\prime}\mathcal{T}_{i}^{jk} = 0 \\
& (l_{s}\epsilon^{ris})l_{j}^{\prime}l_{k}^{\prime\prime}\mathcal{T}_{i}^{jk} = 0
\end{aligned}
\end{equation}

이 성립한다. 이는 곧 $\mathbf{l}^{\prime\prime}$에 대한 선형방정식이므로 이를 다시 정리하면

\begin{equation}
\begin{aligned}
(l_{s}\epsilon^{ris}l_{j}^{\prime}\mathcal{T}_{i}^{jk})l_{k}^{\prime\prime} = 0
\end{aligned}
\end{equation}

선형방정식을 품으로써 $\mathbf{l}\leftrightarrow \mathbf{l}^{\prime}$이 주어진 경우 $\mathbf{l}^{\prime\prime}$을 계산할 수 있다.

1.3.5. Degeneracies

직선 $\mathbf{l}, \mathbf{l}^{\prime}$이 Epipolar Line인 경우 이를 Back-projection한 평면 $\pi$는 $\pi^{\prime}$과 동일한 Epipolar Plane이 되고 이 경우 세 번째 이미지 평면 $\pi_{\mathbf{P}^{\prime\prime}}$ 상의 직선 $\mathbf{l}^{\prime\prime}$을 유일하게 결정할 수 없다.

1.4. The fundamental matrices for three views

세 개의 카메라에 대한 Fundamental Matrix $\mathbf{F}_{21},\mathbf{F}_{31},\mathbf{F}_{32}$가 주어졌을 때 이들은 서로 독립적이지 않다. 세 개의 이미지 평면에 대해 총 6개의 Epipole이 생성되고

\begin{equation}
\begin{aligned}
\mathbf{e}_{23}^{\intercal}\mathbf{F}_{21}\mathbf{e}_{13} = \mathbf{e}_{31}^{\intercal}\mathbf{F}_{32}\mathbf{e}_{21} = \mathbf{e}_{32}^{\intercal}\mathbf{F}_{31}\mathbf{e}_{12} =0
\end{aligned}
\end{equation}

공식을 만족한다.

1.4.1. Definition 15.5

세 개의 Fundamental Matrix $\mathbf{F}_{21},\mathbf{F}_{31},\mathbf{F}_{32}$가 독립적이지 않고 서로 상호호환(compatible)하기 위해서는 위 공식이 성립해야 한다.

1.4.2. Uniqueness of camera matrices given three fundamental matrices

만약 세 개의 Fundamental Matrix가 상호호환인 경우 이를 생성하는 세 개의 카메라 행렬 $(\mathbf{P}_{1},\mathbf{P}_{2},\mathbf{P}_{3})$이 사영모호성을 포함하여(up to projectivity) 유일하게 결정된다.

\begin{equation}
\begin{aligned}
& ^{\exists}(\mathbf{P}_{1},\mathbf{P}_{2},\mathbf{P}_{3}) \ \text{ such that fundamental matrix of } (\mathbf{P}_{i},\mathbf{P}_{j}) \ \text{ is } \ \mathbf{F}_{ij} \\
& (\mathbf{P}_{1},\mathbf{P}_{2},\mathbf{P}_{3}) \ \text{ are unique up to projectivity.}
\end{aligned}
\end{equation}

이를 증명하기 위해 다음 순서대로 진행한다.

- Two-view Geometry의 원리를 사용하면 $\mathbf{F}_{21}=\mathbf{e}_{21}^{\wedge}\mathbf{A}$ 일 때 카메라 행렬 $\mathbf{P}_{1}, \mathbf{P}_{2}$는 다음과 같이 구할 수 있다.

\begin{equation}
\begin{aligned}
& \mathbf{P}_{1} = [\mathbf{I} \ | \ 0] \\
& \mathbf{P}_{2} = [\mathbf{A} \ | \ \mathbf{e}_{21} ]
\end{aligned}
\end{equation}

- $\mathbf{x}^{\prime\intercal}\mathbf{F}_{21}\mathbf{x}=0$을 만족하는 대응점 쌍 $(\mathbf{x}_{i},\mathbf{x}_{i}^{\prime})$을 생성한다. 이를 통해 월드 공간 상의 점 $\mathbf{X}_{i}$를 Triangulation한다.

- 세 점 사이(point-point-point)의 관계 공식을 사용하여 $\mathbf{x}_{i}^{\prime\prime}$을 구한다.
\begin{equation}
\begin{aligned}
\mathbf{x}_{i}^{\prime\prime} = (\mathbf{F}_{31}\mathbf{x}_{i}) \times (\mathbf{F}_{32}\mathbf{x}_{i}^{\prime})
\end{aligned}
\end{equation}

- $\mathbf{P}_{3}\mathbf{X}_{i} = \mathbf{x}_{i}^{\prime\prime}$ 공식을 사용하여 $\mathbf{P}_{3}$을 계산할 수 있다.

단, 월드 공간 상의 점 $\mathbf{X}_{i}$가 세 카메라의 중심점 $\mathbf{C},\mathbf{C}^{\prime},\mathbf{C}^{\prime\prime}$을 포함하는 Trifocal 평면에 존재하는 경우 $\mathbf{x}^{\prime\prime}$을 유일하게 결정할 수 없다.

2 References

Hartley, Richard, and Andrew Zisserman. Multiple view geometry in computer vision. Cambridge university press, 2003