발표처: 한국 HCI 학술대회, 강원도 하이원 리조트, 1월 30~2월 1일, 2013. 저자: 이아현 (UST/ETRI), 이주행 (ETRI/UST)

1. Human Computer Interaction KOREA 2013 (HCI KOREA 2013)
Jan.30-Feb.1, 2013, High1 Resort, Gangwon, Korea
공간증강현실을 이용한
곡선의 디자인
Designing Curve using Spatial Augmented Reality
UST / ETRI
ETRI / UST
컴퓨터소프트웨어 및 공학
로봇/인지 시스템 연구부
이아현 박사과정
이주행 책임연구원 / 부교수
azsure@etri.re.kr joohaeng@etri.re.kr

2. 목차
§ 공간증강현실이란?
§ ETRI 공간증강현실 시스템
§ 공간증강현실 기반의 곡선 디자인
§ 카메라-프로젝터 캘리브레이션
§ 곡선의 디자인
§ 프로젝터 이미지 투사, OpenGL Matrix
§ 게임: mouse-and-cheese
§ 구현 결과 데모
§ 결론 및 향후 연구 계획

3. 공간증강현실(Spatial Augmented Reality)
§ Projector + 증강현실(Augmented Reality)
§ 실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을
직접 투사하는 증강현실 기술
Sixth Sense Device | MIT Media Lab | 2009

4. 공간증강현실(Spatial Augmented Reality)
§ Projector + 증강현실(Augmented Reality)
§ 실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을
직접 투사하는 증강현실 기술
OASIS | U Washington & Intel Labs | 2010

5. 공간증강현실(Spatial Augmented Reality)
§ Projector + 증강현실(Augmented Reality)
§ 실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을
직접 투사하는 증강현실 기술
OmniTouch | CMU & Microsoft | 2011

6. 공간증강현실(Spatial Augmented Reality)
§ Projector + 증강현실(Augmented Reality)
§ 실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을
직접 투사하는 증강현실 기술
MirageTable | Microsoft Research | 2012

7. 공간증강현실(Spatial Augmented Reality)
§ Projector + 증강현실(Augmented Reality)
§ 실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을
직접 투사하는 증강현실 기술
IllumiRoom | Microsoft Research | 2012

8. 공간증강현실(Spatial Augmented Reality)
§ Projector + 증강현실(Augmented Reality)
§ 실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을
직접 투사하는 증강현실 기술
Automotive Manufacturing Using SAR
Wearable Computer Lab, U South Australia | 2012
J. Zhou et et., “In-Situ Support for Automotive Manufacturing Using Spatial Augmented Realit
y,”Int. J. Virtual Reality, 11(1), 2012.

9. 공간증강현실(Spatial Augmented Reality)
§ Projector + 증강현실(Augmented Reality)
§ 실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을
직접 투사하는 증강현실 기술
Projected Augmented Reality | Intel | 2012
D. McCulley, “Projected Augmented Reality: Keeping Pace with Innovation,” http://goo.gl/bXJbA

10. 공간증강현실(Spatial Augmented Reality)
§ Projector + 증강현실(Augmented Reality)
§ 실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을
직접 투사하는 증강현실 기술
Supporting Freeform Modeling in SAR | Wearable Computer Lab,
U South Australia | 2012
Mass et al., “Supporting Freeform Modelling in Spatial Augmented Reality Environments with a Ne
w Deformable Material,” AUIS 2012.

11. 공간증강현실(Spatial Augmented Reality)
§ Projector + 증강현실(Augmented Reality)
§ 실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을
직접 투사하는 증강현실 기술
Augmented Interactive Cake | Disney Research | 2012
Carter et al., “Projector systems and method for producing digitally augmented interactive cakes a
nd other food products,” US Patents 8,223,196 B2, Jul. 17, 2012.

12. 공간증강현실(Spatial Augmented Reality)
§ Projector + 증강현실(Augmented Reality)
§ 실세계 사물의 표면에 정보, 콘텐츠, 사용자 인터페이스 등을
직접 투사하는 증강현실 기술
Steerable AR with the Beamatron | Microsoft Research | 2012
A. Wilson et al.,”Steerable Augmented Reality with the Beamatron,” UIST 2012.

13. ETRI 공간증강현실 시스템
2 Camera-Projector
2 Tilt Motors
Work Area
2 Pan Motors
1 Base Motor
(360°)
미래형 로봇 컴퓨터의 프로토타입

14. ETRI 공간증강현실 시스템

15. ETRI 공간증강현실 시스템 데모
ETRI FRC System Demo | Ritsumeikan Univ. | 2012

16. ETRI 공간증강현실 시스템
FRC(Future Robotic Computer) System!
System Initialization! Application!
Camera Calibration!
Projector-Camera Calibration!
Camera - Projector System!
Define World Coordi Define World Coordin External Camera Cali
nate System! ate System! bration!
Capture Camera Ima External Camera Calib Planar Feature Detect
ge! ration! ion !
Finding Chessboard Finding Projected Che
Corners! Rendering Virtual Obj
ssboard Corners! ect!
Find the Sub-Pixel L
ocation of Corners! Projector-Camera Co Warping Rendering I
rrelated Calibration u mage!
sing Tsai Method!
Internal & External C
amera Calibration!

17. 카메라-프로젝터 캘리브레이션
§ 카메라 캘리브레이션은 Zhang[1] 의 방법을 사용.
§ 해상도의 명시를 요구하는 Zhang의 방법과 달리 Tsai[2]의 방법은 초기
화된 해상도가 필요하지 않아, lens shift가 존재하는 프로젝터 캘리브레
이션에 적합. (특히, 프로젝터-카메라의 위치가 변동되는 경우, Tsai의 방
법이 필요함)
[1] Z. Zhang, "Flexible New Technique for Camera Calibration," IEEE Trans. Pattern Analysis and
Machine Intelligence, vol. 19, no. 7, pp. 1330-1334, Nov. 2000.
[2] R.Y. Tsai, "An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision",
Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach
,
FL, pp. 364-374, 1986

18. 카메라 캘리브레이션
World Coordinate
Camera Coordinate
G
Q
Mc : 카메라의 내부 파라미터 Q : 체커보드 코너점(카메라 좌표계)
Xwc : 카메라의 외부 파라미터 G : 체커보드 코너점(실세계 좌표계)
Q = HwcG = λMcXwcG

19. 프로젝터 캘리브레이션
Camera Coordinate
World Coordinate
Hwc
Hcw
Xcp
Qc
Projector Coordinate
Gp
Hpw
Qp
Mc : 카메라의 내부 파라미터 Qc : 체커보드 코너점(카메라 좌표계)
Xwc : 카메라의 외부 파라미터 Gp : 체커보드 코너점(실세계 좌표계)
Mp : 프로젝터의 내부 파라미터 Qp : 체커보드 코너점(프로젝터 좌표계)
Xwp : 프로젝터의 외부 파라미터 Xcp : 카메라-프로젝트 상관관계 파라미터
Gp = ( McXwc ) −1 Qc = Hwc −1Qc = HcwQc
Qp = λMpXwpGp = HwpGp , Hcp = HwpHcw

20. 캘리브레이션 결과
Mc 612.8802 0.0 324.9092 Xwc 0.9947 -0.0291 0.0988 -18.2939
0.0 615.7199 247.9953 -0.0212 0.9965 0.0806 59.9006
0.0 0.0 1.0 0.1005 0.0781 -0.9913 531.2821
카메라 해상도 : 640 x 480 0.0 0.0 0.0 1.0
Mp 1991.4294 -4.2051 326.2305 Xcp 0.9977 -0.0005 0.0666 -58.0666
(=XwpXcw)
0.0 1991.7452 493.3812 -0.0030 0.9992 0.0374 0.2145
0.0 0.0 1.0 -0.0666 -0.0376 -0.9970 33.9260
프로젝트 해상도 : 800 x 600 0.0 0.0 0.0 1.0

21. 곡선의 디자인
Camera Coordinate
카메라 입력영상
HSV컬러 공간을 이용한 마커 검출
World Coordinate
제어점 검출 및 Cubic B-spline 보간법을 사용하여 제어점을 지나가는 곡선을 디자인

22. 프로젝터 이미지 투사
OpenCV
OpenGL
Camera Coordinate World Coordinate Projector Coordinate
Hcw
Hwp

23. OpenGL Matrix
World Coordinate
Projector Coordinate
Hwp
Projection Matrix
Modelview Matrix
Mp(3x3)
Xwp(4x4)
Mp
(4x4)

24. Mouse-Cheese 게임
Obstacle
Obstacle
Marker
Marker
Mouse
Cheese
쥐의 경로 만들기 실패
쥐의 경로 만들기 성공

25. 실험 환경
v Intel® Core™ i7 CPU(2.67GHz), RAM 4GM,
v Camera resolution : 640 x 480
v Projector resolution : 800 x 600
v Frame Rate : 30 fps
v IDE : Visual Studio 2010
v Open Library : OpenCV, OpenGL, Matrix TCL Pro.
Logitech C920
Optoma PK320
Dynamixel MX-28

26. 구현 결과

27. 결론 및 향후 연구 계획
§ 요약
ü 실세계 기반의 직관적인 사용자 인터페이스를 이용한 평면 곡선의
디자인 방법 제시
§ 응용 분야
ü 직관적인 인터페이스를 요구하는 다양한 공간증간현실 분야에서
응용 가능: 디자인, 설계, 엔터테인먼트, 교육 등.
§ 향후연구
ü 로봇 기반의 공간증강현실 분야로의 확장
ü 카메라-프로젝터 시스템과 로봇(모터)을 결합하여 각각의 캘리브레이션
을 자동으로 수행.
ü 카메라-프로젝터-모터의 하이브리드 제어 기법 개발.

28. Q & A
이아현 azsure@etri.re.kr
이주행 joohaeng@etri.re.kr

29. 1 2 2
1 2 1 2
1 2
1 2
1 2 5
1 2
1 2
1 2
ST1 1 2
1
1 2 5
1 2
1 2
ST2 1 2
1 2
1 2 5
1 2 5
ST3 1 2
1 2
1 2 5
1 2 5
1 2
1 2
1 2 5
1 2 1
1 2
1 2
1 2