3. Our Goal?
● 다음을 만족하는 H :
● 이렇게?
– 문제점 : Scale Factor!
● 정확히는
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
4. Then How?
● 변형 :
– (Why? Wikipedia Link)
● 풀어쓰면
{ }
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
5. Reorganize
● 또한 =
● 꼴의 형태이고 이는 Linear
● 의 3개 열중 2개는 Dependent
(한 열은 무시해도 상관 X)
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
6. What is a Solution?
● 명백한 해 : =0
– Not Interested!
● 그 외의 해는?
– A is 12 x 9 (8 x 9) Matrix[Rank : 8, Null-
Space : 1] → Has a Solution
● 는 의 Scale을 제거한 것이므로
|| ||=1를 만족할 것이다.
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
7. What is the Problem?
● 4개 이상의 대응점을 주어주는 경우
Rank 개수 이상을 만족하므로 h에 대한
Exact Solution이 존재
– 하지만 만약 그 4개의 대응점이 Error를 포함하고
있다면? 그 Exact Solution은 우리가 원하는
Solution이 아닐 것이다.
(Overdetermined)
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
8. Constraints
● What to minimize?
● Avoid =0
● || ||=1
● If No Solution? Minimize || ||
● 3번째, 4번째를 요약하면 : || ||/|| ||
● 위의 사항을 이용한 Basic DLT Algorithm.
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
11. Algebraic Distance
● 기하학적, 통계적 의미 X
● Normalize를 거치면 좋은 결과를 냄
● Linear(Unique Solution)
● 연산이 빠름
●
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
12. Geometric Distance
● Error in one Image
– H에 의해 Transfer된 점과, 측정된 점과의
Euclidean Distance 합으로 표현
● Error in two Images (Symmetric Transfer
Error)
– 두 이미지 모두의 Error를 최소화 하고자함 →
Forward와 Backward를 모두 계산
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
13. Algebraic vs. Geometric
● Algebraic :
● Geometric :
● Geometric Distance에 Algebraic Distance
가 내포되어 있다 (조건 : )
– Affine Transformation
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
14. Reprojection Error
● True Point와 Measured Point 사이의 거리
(Correction)
– 얼마나 True Point에 가깝게 Estimate 하는가
● Transfer했을 때의 True Point와 Measured
Point 사이의 거리(Correction)
● Measured Point의 Transfer는 Perfect함
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
16. Geometric Interpretation
of Reprojection Error
● 2개의 평면에 대한 Homography는 4차원 공간상
에서 공간면에 Fitting하는 관점으로 해석할 수 있
다.
● 주어진 점과 4차원 공간면에 접하는 가장 가까운
점을 고른다. (Perfect Fit)
● 주어진 점과 접하는 점 사이의 Geometric
Distance를 구하면
– 이는 Reprojection Error와 동치
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
18. Geometric Error Problem
● 우선 H를 추정해야함.
● 추정한 H에 Fitting하는 Point
찾아내야함
➔ 높은 복잡도, Non-Linear, But 정확
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
19. Sampson Error
● 의 First-order Approximation을 사용
– 테일러 전개 이용
● ( )
● 가 최소가 되는 것
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
20. Sampson Error
● 적절한 식정리를 하면(책 참고)
– Error :
● 는 모두 에 Dependent함
– 적절한 처리를 하면 쉽게 구해낼 수 있음
● 를 구하는 것이 Hyperplane상의 Fitting형
태로 문제가 바뀜
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
21. Statistical Cost Function
● 측정된 값들의 Error가 확률 분포를 이룬다 라
고 생각
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
22. Error in one Image
● Exact Value의 표현
● Log-likelihood를 구함
● Maximum Likelihood Estimate는 Log-
likelihood를 Maximize = Minimize
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
23. Error in both Images
● Exact Value의 표현
● 마찬가지로 Log-likelihood를 Maximize
= Minimize
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
24. Mahalanobis Distance
● One Image인 경우, Log-likelihood를
Maximize = Mahalanobis Distance가
Minimize
● Both Images인 경우, 두 이미지는 독립이라
생각하면
● 각 Point들도 서로 독립적이라 하면
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
26. Invariance to Image Coordinate
Transformations
1.한 이미지에 변환 T를 가했을 경우
2.다른 한 이미지는 T’로 보일것
3.이를 이용해 H를 찾을 수 있다
● 이때, 알고리즘에 의해 영향을 받으면 안되어
야함
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
27. Non-invariance
● 변환을 가했을 경우, H와 H’은 서로 같은 조건
인가?
● H와 H’은 1:1 대응이 아닐 수 있음
● Transform의 전후 관계에 따라 H가 다르게
나올 수 있다
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
28. Invariance of Geometric Error
● Euclidean Transformation T, T’을 사용한 경
우
● Euclidean Distance는 Euclidean
Transformation에 영향을 받지 않으므로 성
립
● H는 결국 Geometric Error가 동일하게 수렴
하므로 Invarient
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
29. Normalizing Transformations
● DLT Algorithm을 적용하기 전에 사용
● SVD 분해를 할 때 극단적으로 값이 달라서
Round-Off Error가 커질 수 있음
● Point Near Infinity의 경우 힘듬
1.Centroid가 원점에 가도록 Translate
2.원점으로부터 평균 거리가 가 되도록 Scale
3.두 이미지에 각각 적용
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
30. Normalized DLT for 2D
Homographies
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
32. Iterative Minimization Method
● Minimize Cost Function에 필요한 기법
● Cons : 느림, Initial Estimate 문제, Local
Minimum 문제, Stop 조건 문제
● Iterative하게 Implement시 주의할 점이 더
필요함
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
33. Technique of Iterative
Minimization
● Cost Function
– Minimization에 대한 지표
● Parametrization
– Finite # of Parameters
● Function Specification
– Parameters에 대한 Function 정의
● Initialization
– 초기값 추정 (보통 Linear Algorithm 이용)
● Iteration
● Cost Function에 따라 점점 정확해져야함
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
34. Initialization
● Normalized DLT Algorithm으로 직접 구하기
– Outlier를 가진 경우
● Robust Estimation으로 구하기
● Dense Sampling of Parameter Space
● Fixed Point in Parameter Space
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
35. Golden Standard Algorithm +
Sampson Error
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
37. Robust Estimation
● 단순히 점들을 이용하는 경우, 선별한 점이
Mismatch할 가능성이 있음 (Outlier 정보들)
● 목표 : Inlier에 해당하는 집합을 찾아(추정)보
자
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
38. RANSAC
● 장점 : 많은 Outlier를 가지고 있어도 사용가
능
1.점 2개를 무작위로 선택 (Line을 이루게됨)
2.일정 Distance 내에 있는 Point의 수를 기록
3.위 과정을 반복한 후, 가장 많은 Point를 내포
하고 있는 것을 Robust Fit으로 사용 & 내포
된 Point들은 Inlier
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
40. RANSAC Problems
● 일정 Distance에 대한 판별
– Error Probability Distribution (DOF, Variance)
● Sample 개수
– 확률모델 이용( )
● Acceptable Consensus Set?
–
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
41. Robust Maximum
Likelihood Estimation
● RANSAC으로 찾아낸 Inlier들을 이용하여 re-
estimate를 하자.
– Inlier들 중에서 Optimal한 값을 추려냄
– ML Cost Function을 Minimize
● Robust Cost Function
– 전체 Data에 대한 적당한 Cost Function
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr
42. Automatic Computation of
a Homography
Mixed Reality Laboratory | Hanyang University http://mr.hanyang.ac.kr