공부: Multiple View Geometry (3)

Multiple View Geometry Study Note

2. Projective Geometry and Transformations of 2D (Cont.2)

첫번째로 맡게된 발표에서 다룬 내용은 Projective transformation 된 영상에서, 원영상의 Affine properties와 Meric properties를 회복시켜서 원영상의 모양을 복원하는 주제입니다.

 이전의 개념들을 사용하여 실질적인 목적을 수행하는 내용으로 중요한 내용입니다.

발표준비를 하면서 몇일 밤을 새면서 공부했는데, 공부하면 할 수록 너무 재밌는 내용입니다.

 이전에 머릿 속에 대강 있던 이차원 공간상의 여러 기하학적 개념을 구체화 하고, 

수학이란 툴을 사용해서 실제 영상에 적용하는 이론을 배웠습니다. 

여태 살아오면서 가장 열심히 공부했던 것 같습니다. 

그럼, 내가 준비한 발표자료와 간단한 설명을 정리해보겠습니다. 

따끈따근한 오늘 발표의 포스팅입니다.

이 발표에서는 Projective Transform된 이차원 영상의 특성과 그것을 복원하는 복원할 때 어떤 접근 방법들이 있는지 알아보겠습니다.

Projective Transform은 카메라, 극단적으로 우리 시각에서도 항상 일어나는 개념으로 모두가 잘 알고 있을 것으로 생각됩니다. 

이제 시작할 이야기를 이해 하시려면 지난번 MVG(2)의 개념들을 알고 있어야합니다. 

영상의 기하학적인 성질은 크게 두가지로 나눌 수 있습니다.

첫번째로 Affine properties는 선의 평행성, 평행선 끼리의 길이 비율 입니다.

Affine properties는 line at infinity와 밀접하게 연관하여 결정되는 것으로, line at infinity를 실선으로 매핑시키는 Projective transform 성분중 Hp으로 특성이 왜곡됩니다.

두번째로 Metirc properties는 선과 선 사이의 각도와 선 끼리의 길이비율 입니다.

Metric properties는 Conic dual to circular points와 밀접하게 연관하여 결정되는 것으로, 이 내용은 뒤에서 다시 다룰 것 입니다.  Metric properties는 affine transform 성분인 Ha으로 특성이 왜곡됩니다.

Projective transform된 영상에서 affine properties와 metric properties를 복원하면 왜곡 되기전 원영상의 모양을 복원할 수 있는 것입니다. 

그럼 affine properties의 복원 부터 시작하겠습니다.

먼저 다시 짚고 넘어갈 개념은 line at infinity입니다. line at infinity는 ideal point로 연결된 직선입니다(이전에 학습한 중요한 개념들임).

유클리디안 평면에서는 ideal point가 무한히 먼 곳에서 만나기 때문에 표현 불가능합니다. similarity, affine 변환에도 ideal points는 이동할 뿐, 그 canonical position에 있기 때문에 line at infinity 또한 canonical position에 존재합니다. 즉 평행선은 여전히 평행하여 영상의 affine properties는 보존됩니다.

 

하지만 projective transformation의 경우에는 ideal points가 실제 점으로 매핑되고(좌하단 수식), 마찬가지로 line at infinity 또한 실제 직선으로 매핑됩니다. 이것의 의미는 평행한 직선이 평행성을 잃었다, 즉 affine properties가 projective transformation에 의해 왜곡되었음을 의미합니다. 가운데 그림(pi2)을 보면 시각적으로 이해가 되실겁니다.

책을 인용하자면 다음과 같습니다.

'Once the imaged line at infinity is identified in an image of a plane, it is possible to make affine measurements on the original plane.' 

즉, 평행한 직선이 평행성을 잃어버린 정도(line at infinity)를 근거로 우리는 원래 영상의 affine measurements를 수행할 수 있습니다. 우리는 원래 평행한 직선에 다시 평행성을 복원하므로 영상의 affine properties(평행성질)를 복원할 수 있습니다. 이것은 실직선으로 매핑된 l을 그 canonical position인 (0,0,1)t 로  이동시키는 방법으로 가능합니다. l 의 정보로 만들어진 Hp'를 곱하면 이 과정이 수행되는데, 영상 모든 포인트에 이과정을 수행해주면 됩니다.

그 결과, pi3와 같이 평행선들이 평행성질을 되찾아 affine properties가 복원됩니다. 이것을 affine rectification이라고 합니다.

보시면 아시겠지만 결과는 원본과 같지 않습니다. 이것은 영상의 metric properties(각도, 선분들의 길이 비)가 복원 되지 않았기 때문입니다.

 위의 개념을 실제 영상에 두고 다시 보겠습니다. world plane에서는 ideal point를 vanishing point line at infinity를 vanishing line 이라고 합니다. 우린 왜곡된 영상에서 원래 서로 평행인 직선 2개를 선택합니다. 이 직선을 외적하여 vanishing point를 얻을 수 있고 두개의 vanishing point를 외적하여 vanishing line을 얻어냅니다. 그럼 마찬가지로 vanishing line을 근거로 Hp' 매트릭스를 만들어서 영상전체에 적용해줍니다. 그러면 결과적으로 affine rectification이 된 우하단 영상이 만들어집니다.

이번에는 Cross ratio를 기반으로한 왜곡된 영상의 distance ratio로 vanishing points, vanishing line을 구해보겠습니다. o를 시점, a~c로 이어진 직선을 original plane위의 직선이라고 하면, a'~c'로 이어진 직선은 projective transform된 평면위의 직선입니다. 즉, 왼쪽 슬라이드에서 보이는 영상 위의 직선이라고 보시면 됩니다. a',b',c',v'는 각각 a,b,c,ideal-point(1,0)T가 매핑된 점입니다. cross-ratio가 일정하다는 개념을 적용시켜 우리는 c'와 v' 사이의 길이를 구할 수 있고, 이것은 결과적으로 vanishing point를 구한 것입니다. 이렇게 구한 vanishing points를 외적하여 평면상에 매핑된 line at infinity를 구할 수 있고 마찬가지로 이 직선을 canonical position으로 옮기는 Hp'를 모든 포인트에 적용 시키는 방법으로 affine rectification을 수행할 수 있습니다. 

To be continued