1. 156∙C 2008/5
anufacturingMM
자동차 제조업체들의 목표는 이윤추구이다. 보다 빠르게 고객의 욕구와 취향을 파악
하고 신속하게 제품을 출시함으로써 시장을 장악하고 주도해 나아가길 원하고 있다. 이
러한 시장환경에서 제조업체들이 지속적인 경쟁력을 가지기 위해서는 보다 획기적인 제
품과제조시스템의설계및구현방법론이요구되고있다.
증강현실(AR)이란?
오늘날에는 컴퓨터 기술의 발전으로 일상생활의 많은 부분에 있어서 가상의 환경을
접하고있다.이미대부분의사람들은가상환경과실제환경에대한명확한구분이없이
두환경을접목하여사용하고있다.
이러한 가상현실과 실제 환경을 서로 접목하여 만들어낸 세상을‘복합현실(Mixed
증강현실의기술원리및
프레임워크
차세대가상생산기술,AR테크놀로지�
■ 연재순서 ■
제1회 증강현실(AR)의 기술원리 및 프레임 워크
제2회 제품설계를 위한 새로운 협력 툴로써의 AR 기술
제3회 제조시스템 설계를 위한 AR 기술 개발 및 응용
제4회 시스템 유지 및 보수를 위한 AR 기술 응용
제5회 조립시스템 제어프로그램 생성을 위한 AR 기술
울산대학교 기계자동차공학부 박사과정으로 재학하고 있
으며, 주요관심 분야는 CAPP, 증강현실, 시스템 자동화,
디지털 매뉴팩처링 등이 있다.
E-Mail │ kuma2008@ulsan.ac.kr
최흥원
울산대학교 기계자동차공학부 교수로 근무하고 있으며,
주요관심 분야는 CAD/CAM/CAE, CAPP, 증강현실, 시
스템 자동화, 디지털 매뉴팩처링, 금형 설계 등이 있다.
E-Mail │ phosk@ulsan.ac.kr
박홍석
본 연재에서는 컴퓨터 기술의 발전과 더불어 발달된 증강현실(AR : Augmented Reality) 기법을 이용한 제품 설계와 제조 시스템의 구현 방법
론에 대하여 소개하고자 한다. 이번 호에서는 그 첫 회로써 증강현실 시스템의 원리와 시스템을 구성하고 있는 프레임 워크에 대하여 소개한다.
그림 1. 제조업에 있어서 가상 세계와 현실 세계의 연속성
현실-가상 연속체
복합현실
현실 증강현실 증강가상 가상현실
실제 환경
가상 오브젝트3D CAD 모델
공장 환경
2. 2008/5 C∙157
Reality)’이라고 하며, 그 기반이 현실인가 또는 가상인가에 따라‘증
강현실(AugmentedReality)’과‘증강가상(AugmentedVirtuality)’
으로구분되어진다(그림1).
그중실제환경을기반으로하는AR은실제환경에서는제공되지
못하는 정보들을 컴퓨터 기술을 이용한 가상의 영상으로 제공한다.
이를 통하여 AR 시스템 환경 안에 속한 사람들은 보다 가시화된 정
보를 이용할 수 있다. 이러한 AR 기술의 이점을 도입하기 위해서 제
조업뿐만아니라많은분야에서다양한연구가진행되고있다.
제품 및 시스템의 설계 방법론의 변화
오늘날의 시장 환경은 다양한 고객의 욕구 충족과 새롭게 개발되
어지는 다양한 기술들로 인하여 제품의 종류는 점점 더 다양화되고
제품의 라이프사이클은 점점 짧아지고 있다. 이러한 극심한 변화를
가지는 시장 조건에서 제조업체들이 지속적으로 경쟁력을 가지기 위
해서는 시장의 욕구에 신속하게 대응할 수 있는 시스템 설계 및 구현
능력을갖추어야만한다.
20세기 말에 들어 급속하게 발달된 컴퓨터 기반 기술들은 가상공
학이라는 새로운 학문의 영역을 제시하였다. 제품의 설계에서부터
시스템의 구성은 물론 제품의 폐기에 이르기까지 제품의 전반적인
라이프사이클을가상의환경하에서관리하게되었다.
이러한 이유로 대부분의 제조업체들은 시스템 구성을 위한 전 단
계에 걸쳐서 가상현실(VR : Virtual Reality) 기술 기반의 디지털 제
조 기술들을 도입하여 사용하고 있다. 하지만 제조업체에서 주로 사
용되어지는 대부분의 VR 기술 기반의 방법론이나 소프트웨어들은
계획하는 대상물과 작업 환경을 완벽하게 표현하기 위해서 전체 시
스템에대한완벽한3D모델링이수행되어져야한다.
일반적으로 시스템의 설계도면과 실제 구현 환경과는 정확하게 일
치하지 않기 때문에 VR 기술을 적용하기 위해서는 새로운 모델링 작
업이 요구되어진다. 대부분의 3D 모델링 작업들은 매우 지루한 일이
거나 오랜 시간과 비용을 요구하게 되므로, 대부분의 제조업체에서
는디지털제조기술의도입이용이하지못한것이현실이다.
이러한 문제점을 해결하기 위해서 새롭게 등장한 것이 AR 기술이
다. AR 시스템은 작업 현장의 실제 환경을 그대로 사용하기 때문에
가상 환경을 구축하기 위해 수행되는 모델링 작업을 현저하게 감소
시켜준다.이를통해제품및시스템설계를위한모델링시간과비용
을줄일수있다.
이와동시에AR기술은실제환경과가상환경의결합으로제조공
정을 보다 현실적으로 가시화하고 생산 현장 상황에 적합한 기존의
지식이나 정보들을 실시간으로 이용하는 것을 가능하게 한다. 따라
서 AR 기술은 기존 생산 환경에서의 생산성 및 품질 향상을 획기적
으로개선할것으로기대되는기술이다(그림2).
증강현실 시스템의 구성
실제 환경에 가상의 물체를 정합하여 실제 환경의 현실감을 강화
시키는 AR 시스템은 영상 및 가상물체의 처리를 위한 AR 브라우저
와 관련장치들의 인터페이스로 구성된다. 카메라를 통해 획득되어진
영상은 AR 브라우저에서 영상 처리를 통해 가상물체와 정합이 이루
어진다. 정합된 영상 정보는 모니터 또는 HMD(Head Mounted
Display)와 같은 디스플레이 장치를 통해서 작업자에게 전달되어진
다(그림3).
획득된 영상 정보를 기반으로 가상물체를 생성하기 위한 영상 처
리를 수행하는 AR 브라우저는 크게 가상물체의 생성 기준 정보를 제
공하는 마커를 인식하고 추적하기 위한 트래킹(tracking) 모듈, 가상
물체의 생성/제거/이동을 위한 렌더링(rendering) 모듈과 가상물체
간의 거리 측정 및 간섭을 검사하기 위한 측정(measurement) 모듈
로구성된다.
3가지 주요 모듈들은 영상 처리를 위한 기본적인 알고리즘과 수학
적 연산처리를 수행하기 위한 C++ 기반의 라이브러리로 구성되어지
며, 이들 각각의 모듈들은 비주얼 소프트웨어의 통합 표준인 액티브
X(ActiveX)를기반으로상호통합되어진다.
차세대 가상생산기술, AR 테크놀로지 �
그림 2. 시스템 설계를 위한 혁신적인 기술로써의 AR 시스템
■ 제조 시스템 내의 여러 요소들(로
봇, 치공구, 공작물 취급도구, 이동 장
치 등)의 상호작용을 거의 알 수 없다.
■ 단순 도식적으로만 표현 가능하므로
실제 제조환경의 표시가 불가능하다.
■ 실제 환경을 충실히 제공 못하므로
제조 시스템 계획상 많은 오류가 발생
한다.
■ 실 제조 환경을 직접 활용하므로 모델링 시간이 단축된다.
■ 제조의 실제 환경을 전달하고 계획에 응용한다.
■ 실세계와 가상세계의 결합으로 제조 공정들을 가시화하고 계획한다.
■ 현 상황에 적합한 기존 지식 및 정보들(도면, BOM, 공정계획서 등)을 실
시간 이용 가능.
■ 향후 2D 계획을 위해 3D 객체들의 좌표값을 제공한다.
■ 웹 기반의 모바일 시스템이므로 협업성이 우수하다.
■ AR 응용에 의해 생산성 및 품질향상의 획기적 개선이 기대된다.
2D 플래닝
가상물체
로봇 티칭 수행
모니터링 화면
현장환경
증강 현실 애플리케이션
개선 혁
신
가상 플래닝
■ 제조 환경의 모델링 즉 디지털화를
위해 많은 비용과 시간이 소모된다.
■ 가상환경은 실제 환경을 정확히 묘
사할 수 없다.
■ 제조 환경의 잦은 변화를 짧은 시간
내에 표현 불가능하다.
■ 현 상황에 맞는 적합한 지식과 정보
를 계획자에게 제공하지 못한다.
■ 계획을 위해 실시간 상호 대화가 불
가능하다.
그림 3. AR 시스템의 구성
헤드 포즈
마커 실제 환경
가상 오브젝트
카메라 포즈
AR 브라우저
모니터
카메라
시-스루(see-through)
디스플레이
2D/3D
데이터
3. 트래킹 모듈
실제 영상에 가상물체를 생성시키기 위해서는 가상물체와 실제 영
상사이의매개체가필요하게된다. AR브라우저는이러한매개체를
지속적으로 추적하고 인식함으로써 가상물체의 생성을 위한 기준 좌
표계를설정한다.이러한역할을수행하는모듈이트래킹모듈이다.
트래킹을 수행하기 위하여 기계, 자기, 광학 등의 다양한 원리가
제공되고 있지만 현재 이들 중에서 가장 높은 정밀도를 보이는 것이
광학을 이용하는 방법이다. 이러한 이유로 스퀘어 마커를 이용한 광
학 트래킹이 AR 시스템의 주류를 이루고 있다. 광학 기반의 트래킹
방법은 조명에 영향을 많이 받게 되므로 이를 극복하기 위해서
IR(infrared)타깃을사용하는방법이사용되기도한다.
스퀘어 마커 기반의 트래킹 방법
광학을 이용한 트래킹을 위해서 주로 스퀘어 마커가 사용된다. 스
퀘어 마커를 기반으로 좌표계를 생성하기 위해서 AR 브라우저는 스
퀘어 마커의 추적(detection)과 인식(Recognition)을 위한 이미지
프로세스를순차적으로수행한다(그림5).
또한UI(UserInterface)를통하여제공되는마커의크기및패턴
정보와 마커 데이터베이스에 저장되어 있는 정보들간의 매칭을 통하
여 가상물체를 생성하기 위한 기준 좌표계를 생성하게 된다. 기준 좌
표계의방향결정을위해서흑백으로구성된2차원행렬마커나템플
릿이사용되어진다.
동적인 현장 시스템의 운영 프로그램을 생성하기 위해 스퀘어 마
커가 사용되는 경우에 있어서 다른 현장 구성 요소들에 의해서 스퀘
어 마커가 가려질 수 있다. 또한 로봇과 같이 위치와 방향이 자주 변
경되는 경우에도 카메라가 지속적으로 마커를 추적하는 것이 불가능
하다. 이러한 문제점들을 해결하기 위해서 멀티 마커 시스템을 이용
한 좌표계가 사용된다. 멀티 마커 시스템에 사용된 다수의 마커들 중
에서 카메라가 하나 이상의 마커 영상을 획득하는 것이 가능하다면
AR 브라우저는 기준 좌표계를 지속적으로 유지할 수 있게 된다(그
림6).
158∙C 2008/5
anufacturingM
그림 4. AR 브라우저의 구성
액티브X 컨트롤
비주얼 소프트웨어 컴포넌트 및 모듈 결합을 위한 마이크로소프트 표준
애플리케이션
커스터마이즈된 애플리케이션 제작 가능
모듈
옵티컬 트래킹, 3D 렌더링 등 복합 서비스를 위한 모듈의 집합
코어 개발
수학/컴퓨터 비전 알고리즘 등 기본 기능을 위한 C++ 라이브러리의 집합
메인 모듈
액티브X
유저인터페이스
실 세계 뷰
마커
조정 정보
마커 정보
조정 정보
오브젝트 정보
VRML
가상
오브젝트
비디오 이미지
스트림
비조정 이미지
측정 이미지&포즈 추정
증강 이미지
비디오 카메라
비디오
인터페이스
3D 모델링
마커 정보 DB
기업 리소스 DB
트래킹 모듈
- 조정 파라미터
- 마커 사이즈
- 마커 패턴
- 로드/언로드
- 번역
- 회전
- 스케일링
- 측정
+ 정합-정합
+ 3D 포인트
- 충돌
렌더링 모듈
측정 모듈
디스플레이 장치
그림 5. AR 브라우저에서 좌표계 생성을 위한 스퀘어 마커 추적과 인식
그림 6. 스퀘어 마커를 사용한 좌표계 생성
마커 추적
마커 인식
시점 변환 일반화
템플릿 매칭
(16×16)
2. 경계값 처리 이미지1. 오리지널 이미지 3. 연결된 컴포넌트 4. 윤곽선
미리 저장된 패턴
5. 마커 테두리와
모서리 추출
(a) 단일 마커 b) 다수의 마커
(c) 입체 마커
좌표계 중심
마커 중심
Y
Y
Y
Z
Z
X
X
X
4. 2008/5 C∙159
IR 타깃을 이용한 트래킹 방법
스퀘어 마커를 이용한 트래킹 방법은 AR 시스템이 적용되는 작업
장의 조명 조건, 카메라와 마커와의 거리 및 각도, 마커의 크기 등과
같이 영상 처리에 영향을 미치는 주변 환경 변수에 의해서 가상물체
의정합강건성에많은영향을받게된다.일반적으로작업현장은이
러한 조건들을 충족시키지 못한다. 이러한 문제들을 해결하기 위해
서IR타깃을이용한트래킹방법론이제시되었다.
우선 둘 이상의 적외선 카메라를 이용하여 작업 영역을 정의하고
전체 좌표계의 기준이 되는 월드 좌표계를 설정한다. 그리고 IR 타깃
을 이용하여 가상물체 생성을 위한 기준 좌표계를 생성한다.
ART(Advanced Realtime Tracking) GmbH사에서 제공하는 IR
타깃을 이용하는 경우에는 <그림 8>과 같이 3가지 방법으로 국부 좌
표계를설정하는것이가능하다.
ART 트래킹시스템에서 적외선 카메라는 IR 타깃을 지속적으로
트래킹하고, 월드 좌표계를 기준으로 획득되어진 국부 좌표계의 상
대적인 위치값들을 AR 시스템으로 전송하게 된다. 전송된 데이터를
기반으로 AR 브라우저에서는 가상물체의 생성을 위한 기준 좌표계
를 설정하게 된다. <그림 9>는 IR 타깃을 사용한 AR 시스템의 적용
사례를나타낸것이다.
필요에 따라서 이들 두 가지 방법은 동시에 사용되어질 수 있다.
<그림10>은스퀘어마커와IR타깃을이용한AR시스템의구성도를
나타낸것이다.
렌더링 모듈
가상물체의 생성 및 제거
트래킹 모듈을 통해 생성된 좌표계를 기반으로 가상물체의 생성
및 제거는 렌더링 모듈을 통해서 수행된다. 하나의 마커를 이용하여
여러 개의 가상물체를 생성하는 것이 가능하다. 그러므로 <그림 11-
a>와 같이 모든 가상물체가 상대적인 움직임을 가지지 않는 경우에
는하나의마커로가상시스템전체를실제환경에정합할수있다.
하지만AGV와같이가상물체간의상대적인움직임이있는경우에
는 생성되는 구성요소들 마다 각각의 기준 좌표계가 필요하게 된다.
그러므로해당가상물체마다각각의마커가필요하게된다(그림11).
생성된 가상물체들은 카메라와의 거리 정보를 기반으로 정합되는
순서를 가진다. 즉 카메라에 가까이 있는 가상물체에 의해서 멀리 있
는 가상물체는 가려지게 된다. 작업을 수행하는 과정에서 멀리 있는
가상물체의 정보가 요구될 수 있다. 이러한 경우에는 가까이 있는 가
상물체를 제거함으로써 멀리 있는 가상물체의 정보를 얻을 수 있다.
<그림 12>는 차체 코크피트(Cockpit) 모듈을 조립하는 과정에서 조
립정보획득을위해차체를제거한사례이다.
차세대 가상생산기술, AR 테크놀로지 �
그림 9. IR 타깃을 이용한 트래킹 사례
그림 11. 스퀘어 마커를 이용한 가상물체의 생성
(a) 조립 시스템 설계 (b) AGV 이동을 위한 경로 설계
그림 10. 스퀘어 마커와 IR 타깃을 동시에 사용하는 AR 시스템의 구성
그림 8. IR 타깃을 이용한 좌표계 생성
사각형
마커
구형
IR 타깃
ART
트래킹
시스템
AR 시스템
3 DOF/6 DOF
[UDP]
[UDP]
스위치
2 DOF
적외선 플래시
2 DOF
ART
트랙
ART
트랙
컬럼
랙 마커 AGV
마커
이송라인
그림 12. 조립 위치점의 시야 확보를 위한 가상물체의 제거(차체 코크피트 모듈을 조립)
숨겨진 영역 어셈블리 영역
제거
5. 가상물체의 좌표 이동
초기에 생성되는 가상물체는 마커의 중심을 원점으로 생성되게 된
다.현장의상황에따라서원하는위치에마커를위치할수없거나마
커 트래킹을 수행하는 동안 다른 물체의 시각적인 간섭을 받을 수도
있다.
이러한 경우에는 마커를 트래킹이 용이한 위치에 설치하고 AR 브
라우저상에서 가상물체를 정위치에 위치시키기 위해서 좌표이동을
수행한다. 로봇을 이용하여 코크피트 모듈을 조립하는 공정에서 가
상의 코크피트 모듈을 생성시키기 위한 마커는 로봇의 그리퍼 위에
위치하여야 한다. 또한 가상의 코크피트 모듈은 실제 그리퍼의 핑거
내부에 위치하여야 한다. 이를 위해서는 가상물체의 좌표 이동이 수
행되어져야한다(그림13).
또한 생성되어진 가상물체를 시스템 검증을 위해서 임의의 위치로
이동이 요구되어질 수 있다. <그림 14>는 좌표이동을 수행하여 수조
립공정을수행하는작업자의동선을나타낸것이다.
측정 모듈
AR 브라우저를 통해 획득되는 영상은 2차원이므로 가상물체들간
의 위치 및 거리정보를 한눈에 파악하는 것이 용이하지 못하다. 생성
된 가상물체들간의 거리 측정, 생성된 좌표계간의 거리와 방향 측정
및가상물체간의간섭여부를확인하기위하여다양한측정도구들이
필요하게된다.이를수행하는것이측정(measurement)모듈이다.
가상물체간의 거리 측정
가상물체는 마커를 중심으로 생성되어지므로 임의의 두 점 사이의
거리는 마커를 기반으로 한 P1과 P2를 이용하여 구할 수 있다. 실제
공간의 마커들간의 거리 정보를 추가함으로써 서로 다른 마커를 기
반으로생성된임의의두점사이의거리도측정하는것이가능하다.
가상물체와 실제 환경간의 간섭 체크
가상물체는 항상 실제 영상 위에 존재하게 된다. 즉 가상물체와 실
제 환경과의 간섭을 시각적으로 확인하는 것이 불가능하다. 이를 위
해서 클리핑 플레인(clipping plane)을 사용한다. 클리핑 플레인은
투명한 가상의 평판으로 역시 마커를 기반으로 생성된다. 클리핑 플
레인의 기능은 해당되는 기준 평면을 기준으로 한 쪽의 가상물체를
제거하는역할을수행한다.
<그림 16>에서와 같이 벽면에 부착되어 있는 마커를 기준으로 클
리핑 플레인을 생성함으로써 가상 차체와 주변 시스템과의 간섭을
육안으로파악하는것이가능하다.
이번호에서는AR기술의원리와시스템구성을위한프레임워크
와현장적용을위한일부기능을소개하였다.
다음 호부터는 4회에 걸쳐 AR 시스템을 이용하여 제품과 제조 시
스템의 설계, 제조 시스템의 운영 프로그래밍의 생성 및 시스템의 유
지/보수에대한현장적용사례를소개할것이다.
160∙C 2008/5
anufacturingM
그림 13. 가상 코크피트 모듈과 실제 그리퍼간의 정위치 정합을 위한 좌표 이동
그림 14. 조립작업 반경과 작업자의 이동 경로 검증을 위한 좌표 이동
그림 15. 가상물체간의 상대적 위치 측정
그림 16. 클리핑 플레인을 이용한 가상물체와 실제 환경과의 간섭 체크
마커 기반 조정 시스템
가상 오브젝트의
조정 시스템
랙2
랙1
작업 영역
자동차 차체의
마커
클리핑 플레인의
마커 충돌 영역
그리퍼(실제)
코크피트 모듈(가상)
Y
Y
Z
Z
△Rz2
△Z
△X
△Rz1
△Y2
△Y2
△X2
X1
X
Z
X
X
