9. 기술정의
VR(out there): puts people in a computer-generated world
VR: 컴퓨터로 만든 가상 공간이나 콘텐츠를 감각(시,청,촉,후,미 등)을
통해 몰입감 느끼며 상호작용
AR(here & now): Puts virtual content in a physical world
VR을 현실에서 몰입감 느끼며 상호작용
10. 가상증강현실의 현황
개별적이고 산발적으로 진행되고 있는 IoT, Big Data, AI,
Robot 등의 연구를 사용자 중심으로 통합적으로 연계 활용
할 수 있는 기술로 주목
VR/AR의 부상과 투자 확대로 신시장에 대한 기대
가상증강현실의 미래
VR/AR의 일상화, 가상과 현실의 공존
새로운 형태의 경험기반 사회경제 활동
컴퓨팅 환경을 확장하는 IT 기술, 시공간을 확장하는 VR/AR 기술을 결
합하면 시공간혁명을 통해 고부가가치의 신시장을 창출 전망
새로운 경험 공유 플랫폼은 신시장, 시공간 한계 극복과 비용 절감, 작
업/협업 효율성 증대, 응용 범위 확대
11. 가상증강현실 핵심기술
실감 콘텐츠 저작 및 증강기술
실감 콘텐츠 기반의 지능적 상호작용 과 협업
시공간 초월한 시청촉감 등 오감 통한 실감 경험
위치기반의 콘텐츠 소비와 경험 공유
And many more…
가상증강현실의 파급효과 및 대응:
핵심기술 확보 및 인력 양성
신시장 대응: IoT, Big Data, AI, 로봇 등 유관 기술과 연계하
여 4차 산업혁명에 선제적 대응 및 신산업 창출
사회 문제 대응
부작용 대응: 탈현실화, 소외, 중독 등 부작용 가능성
12. Milgram's Reality-Virtuality Continuum [94]
Azuma's definition on AR [97]
combines real and virtual
is interactive in real time
is registered in real 3D world
R. Azuma, A Survey of Augmented Reality, Presence, Vol.6, No.4, Aug. 1997, pp. 355‐385.
P. Milgram and A. F. Kishino, Taxonomy of Mixed Reality Visual Displays, IEICE Trans. on I&S, E77‐D(12), pp. 1321‐1329, 1994.
13. "Virtuality is a bridge from reality to
our imagination" - Chris Stapleton
VR vs. AR?
Mobile VR that will bring VR to the
masses – Amir Rubin (CEO at Sixense)
AR is not ready. VR will come
first in 2016 – Robert Scoble
AR needs to be experienced not
explained – Tipatat Chennavasin
AR will be used every day all the
time in the future VR will be a once
in a while thing – Steve Mann
AWE 2015: AR vs. VR = Mediality vs. Imaginality
The people making money don't care about this debate, though!"
VR is the gateway to AR (for next
few years)!” – Mark Billinghurst
wwoo@uvr
14. Is VR/AR Hype? (Google Trend)
VR vs. AR
G. Google Glass (Apr. 2012)
Facebook-Oculus $2B (Mar. 2014)
Google Cardboard (May 2014)
Samsung Gear VR (Sep. 2014)
Google-Magic Leap, $0.54B (Oct. 2014)
MS Hololens (Jan. 2015)
B. Sony Morpheus (Feb. 2015)
HTC Vive VR (Mar. 2015)
MINI (Apr. 2015)
Apple-Metaio (May 2015)
Google Jump with Go-pro (May 2015)
A. VR in E3 show (Jun. 2015)
Intel-Recon (Jun. 2015)
Samsung $99 HMD (Sep. 2015)
15. VR was Hot in 1990s!
VR is Hot Again!
Zuckerberg’s 3 predictions for what
SNS will look like in 10 years
1. There will be (a lot) more people on
the Internet.
2. We’ll be more likely to message people
through photos or SMS than the old
web interface.
3. The future of computing is AR/VR:
distraction-free, heads-up
communication, etc.
23. iOptik - a Glimpse into the Future
Could this be the future of augmented reality glasses?
24. 대상기술 범위
가상/증강현실 실현을 위한 현실세계 인지 및 가상화:
현실세계를 가상세계로 변환하기 위한 기술. 관심객체(Object)를 포함
한 현실세계를 스캐닝하여 공간적 정보와 오감 속성을 컴퓨터가 인식
하고 활용할 수 있는 형태로 모델링하는 기술
스토리기반 실감콘텐츠 저작:
오감을 통합적으로 모방하여 현실 수준의 사실성이 높은 복제나 모델
링인 된 가상세계를 스토리에 따른 체험이 가능한 콘텐츠 저작 기술
실감 증강, 상호작용 및 협업:
증강된 가상세계 또는 관심객체와 사용자의 음성, 제스쳐 등 직접적 상
호작용 또는 사용자의 묵시적 의도, 감정, 환경 등의 상황에 대응한 간
접적 상호작용 그리고 다수 사용자 간의 협업이 가능하도록 하는 기술
3D 지도기반 가상증강현실 체험 및 경험공유:
다양한 방식의 시공간을 초월한 체험 및 경험 공유를 지원하는 가상증
강현실 관리 및 3D 지도기반 서비스 플랫폼 기술
25. How does AR work?
Get video
from camera
Recognize
Object of
Interest
Estimate position
and orientation of
the camera
Render the
augmented
scene
Process the
interaction
Update the
status
28. Interaction, Collaboration and UI
Hand-based Interaction/collaboration for Ego-centric AR
Multimodal interaction and collaboration
Organic & Empathy UI
29. Context-awareness and AR Agent
Context-awareness and Visualization
Quantified-self for Augmented Human
Social agent for Quality of Social Life
31. User Experience for AH Platform
UX for
AH
Look
(Affordance)
Feel
(Sensibility/
Aesthetics)
Use
(Usability)
/AR
32. Modified MAR Reference Model*
External
Services
User profile
(Experience,
Knowledge,
Behavior)
Simulator
(Event, Space)
Renderer
MAR Execution Engine
Contextualized PoIs
Personal Device Display
User
Interface
MAR Scene
(Events, Targets, …)
Environment (or
wearable) Sensors
for Real World
Capturer
Internet of Thing
(IoT)
Sensors
Sensors
GPS
Compass
Gyro sensor
Personal Device
Embedded
Camera
Media
Assets
MAR Content
Virtual
Object
Physical
World
Open API
Physical World
User
User
Input
User
Command
Enhanced
Experience
MAR
Visualization
Recognition Data
Context Analyzer
PoI Analyzer
User Localization
View Point Setting
PoI Analyzing
Context Processor
Context Integration
Context Inference
Context Management
Recognized
PoIs
User Context
Sensor Data
PoI Recognition
Data
MAR
Anchor
Prope
rties
MAR Ontology
MAR
Entity
MAR
Entity Info.
33. 5W1H-based MAR Entity, Anchor, Content
5W1H Metadata Schema
who MAR Contents.Essential.Who
when MAR Contents.Essential.When
where MAR Contents.Essential.Where
what
MAR Contents.Essential.What, MAR Contents.{Type, Reference, MAR
Anchor.ID}, VO.{Type, String, Data File}, Media Asset.{Type, Data File}
how MAR Contents.Essential.How
Anchor
MAR Entity:
Metadata
1
3 MAR Conte
nt: Metadat
a
5W1H Metadata Schema
who MAR Anchor.Essential.Who
when MAR Anchor.Essential.When
where
MAR Anchor.{Essential.Where, PoI Coordinate, Contents Coordinate,
Coordinate Type}
what MAR Anchor.{Essential.What, MAR Entity.URI, MAR Contents.ID}
how MAR Anchor.{Essential.How, Scale, Interaction, Animation, Accessibility}
MAR Anchor:
Metadata
2
Anchor
MAR
Entity
Virtual
Contents
Anchor
5W1H Metadata Schema
who {PoI, Recognition Data, MAR Entity Information}.Essential.Who
when
{PoI, Recognition Data, MAR Entity Information}.Essential.When, MAR Entity
Information.{Begin Time, End Time}
where
{PoI, Recognition Data, MAR Entity Information}.Essential.Where, PoI.{Location, Front
Direction}, Recognition Data.{PoI 3D Position, GPS Location}, MAR Entity
Information.{Location}
what
{PoI, Recognition Data, MAR Entity Information}.Essential.What, PoI.{Recognition
Data.ID, MAR Entity.URI}, Recognition Data.{Data Set ID, Sub‐Data Set ID, Current Sub
Data, Candidate Sub Data}, MAR Entity.{URI, Label, MAR Entity Information.ID, PoI.ID,
MAR Anchor.ID, Property.URI}, MAR Entity Information.{Type, Description},
Property.{URI, Label}, Literal Value.{Type, Value}
how
{PoI, Recognition Data, MAR Entity Information}.Essential.How, Recognition
Data.{Scale}, MAR Entity Information.{Condition state}
PoI
MAR Entity
Information
Related
MAR
Entity
Property
34. 연계 활용 기술
스마트 I/O: 착용형, 부착형, 이식형 등
IoT, 빅데이터, AI, 네트웍, 등
드론, 로봇, 자율 주행, 등
신산업 창출 응용분야
교육
엔터테인먼트
의료
제조
국방
커머스
관광, 전시, 공연, 문화유산
35. Holistic Layers of Physical Spaces/Places
.
.
.
.
.
.
Real/Physical
Virtual/Cyber
Information/
Knowledge
SPACE
TIME
Layers Social/wisidom
36. 2D Picture Tracking (K.Kim) 3D Vase Tracking (Y. Park) 3D Vase Tracking (Y. Park)
Tracking (W. Baek) Tracking MO (W.Back) Multiple object Tracking
(Y.Park)
39. AiRSculpt: A Wearable AR 3D Sculpting
Sung-A Jang, Hyung-il Kim, Woontack Woo, Graham Wakefield, “AiRSculpt: A Wearable Augmented Reality 3D Sculpting System,”
HCII 2014, Vol.8530, pp.130-141, Jun. 2014
40. Hand Gesture Tracking in Trans Spaces
Ours HSKL FORTH
Y.Jang, S-T.Noh, H.J.Chang, T-K.Kim, W.Woo, "3D Finger CAPE: Clicking Action and Position Estimation under Self-
Occlusions in Egocentric Viewpoint," IEEE TVCG, vol. 21, no. 4, 2015. (presented in IEEE VR 2015).
41. Collaboration in Trans Spaces
Ours HSKL FORTH
S-T. Noh, H-S. Yeo, W. Woo, “An HMD-based Mixed Reality Framework for Avatar-Mediated
Remote Collaboration Using Bare-Hand Interaction”, ICAT-EGVE 2015, under review
42. Smartwatch-assisted AR Interaction
Hyung-il Kim, Woontack Woo, “Smartwatch-assisted Robust 6-DOF Hand Tracker for Object Manipulation in HMD-based Augmented
Reality,” IEEE Symposium on 3D User Interfaces (3DUI) 2016, Mar. 2016
43. SWOT of AR/VR in Korea
SWOT
STRENGTH
Global companies (Samsung
, LG, etc.)
Quality of HW products
WEAKNESS
Ill-prepared: few experts
Weak CPND eco-system
Loose collaboration
OPPORTUNITIES
Big investment
Reasonable HW/SW price
Growing potential markets
증강휴먼 공동연구센터 AHRC
Global Open Research Initiative:
Industries support ‘open R&D for CPND eco-system’
KAIST educates 100 experts for 5 years
AHRC provides open R&D opportunities for experts
THREATS
Too high expectation
HW-driven: few proven acce
ptance
Social appearance
44. CPND for VR/AR UX
Content
Platform
Network
Devices
AR-
UX
Content
Platform
Network
Device
The Economist 201604 http://goo.gl/2WofMf
• https://info.internet.org/
• Open Compute Project (http://www.opencompute.org)
Facebook, Intel, Apple, Microsoft, Rackspace, Cisco,
Juniper Networks, Goldman Sachs, Fidelity, Lenovo,
Bank of America, etc.
45. Content is King : more than P-N-D
Immersive AR/VR content authoring
Context is Queen
VR/AR-based o2o with IoT/IoE
Cloud-based storage/processing
Smart with Open Linked Data
User is God
Natural UI for AR &
Augmented Human
In-situ user participation
Emphasis on UX and
social acceptance
AR & AH
Eco-
system
Device:
wearable Network:
internet of
everything
Open
PlatformContent:
in-situ
mashup
Service:
context-
aware o2o
UX-driven:
User
participation
46. 일몰형 (10년) AR 공동연구소 설립 및 운영
국제적 경쟁력과 리더십을 갖춘 거점 공동연구소:
VR/AR분야의 국내외 연구역량을 결집하고 핵심 기술확보와 특허 선점
기존 출연연과 상호보완적 협력과 경쟁을 통해 연구 역량 확대.
국내외 산학연 연계의 허브 및 산업화 확산:
전임연구원과 참여 기관의 파견이나 중단기 방문 연구 인력은 5:5로
유지하고, 공동연구 수행.
일몰 후 파견 기관으로의 복귀, 창업, 취업 등을 통해 축적된 기술을 확
산하고 산업화
고급 연구인력 양성 및 유지:
참여 대학에 가상증강현실 프로그램 신설을 통해 체계적 인력을 양성
하고, 연구소 인력에게도 학위 과정의 기회를 부여.
대학원생에게는 공동연구 참여를 통한 연구역량 강화
47. AR 공동연구소의 두마리 토끼: 산업화와 삶의 질
산업화와 지속 가능한 CPND 생태계
핵심 기술: 콘텐츠(몰입감, 상호작용, UI, UX 공유) & PND
사용시 안정성 (멀미 등) 검증
과몰입, 중독, 가상과 현실의 혼동으로 인한 사회적 문제 (사회적 고립
/소외, 리셋/리플리 증후군 등) 예방
신산업: 교육, 오락, 의료, 제조, 국방, 커머스, 관광, 전시, 공연, 등
삶의 질 향상 위한 사회적 도전과제 (Social Agenda Project)
HRHR: Impact Investing to Social Problems
건강: 고령친화, 장애극복, (원격) 의료서비스, 예방
안전: 범죄, 재난재해, 보안, 개인정보,
경제: 고용, 양극화, 인구 구조의 변화
교육/사회/문화: 개인 맞춤형 교육, 협력, 사회통합, 문화유산
기타: 공공행정, 환경 (기후, 자원, 생태계), 교통 (운송, 물류)
48. AR 공동연구소의 목표 및 로드맵
VR/AR 분야 생태계 활성화 및 2025년 세계시장 10% 점유
범부처 협력: VR/AR 분야 CPND 생태계 구축 지원
VR/AR/AH 핵심기술 및 저작/체험 플랫폼 확보
[1단계] VR/AR/AH CPND 핵심기술 확보 (~’19)
핵심기술 확보: 실감 콘텐츠 저작, 상호작용/협력/공유, UI/UX, AH P. 등
VR/AR기반 사용자 인지/지식/경험 증강, 육체적/지적/사회적 능력확장
CPND 표준화, UX-driven BM 개발, 서비스 기반 구축, 실증 등
지속적 사용을 위한 안정성(멀미 등) 검증 및 확보
부작용 (과몰입, 중독, 소외, 가상-현실 혼동 등 탈현실화 등) 대응
‘산업화’와 공동체 ‘삶의 질’ 향상을 위한 사회적 도전과제 대응
[2단계] 가상증강현실 통합 운영 플랫폼 (~’22)
[3단계] IoT-Big Data-AI-로봇 연계 증강휴먼 플랫폼 (~’26)
* Facebook의 10년(2016-25) Roadmap: AR-VR-AI의 통합 플랫폼
49. Future Human in UVR era?
AR: extended space-time
How to extend human’s physical, intellectual, social
abilities?
http://goo.gl/yJPDtC
… After
Singularity?
(by Ray Kurzweil)
50. From HC Interaction to HC Integration
Augmenting Human Intellect w/ computing
Conceptual framework & Mouse [‘63 D. Engelbart]
AR for augmenting human physically
Quantified Self, Tracking Person
Life logging using data from Personal Behavior
as well as IoE [‘07 Gary Wolf, Kevin Kelly]
Small Data but
Big ‘Challenge & Opportunity’
51. From AR to Augmented Human [Woo]
To improve human’s
‘Intellectual, Physical, Social’
abilities
How to achieve AH?
Augmented Perception,
Intelligence, Experience
P: Enhancing 5+ Sensation
and perception
I: Offering wisdom with
QS, LOD, and IoE/IoT
E: Improving sociality
with social agent
52. How does AH Platform work?
Get video
from camera
Recognize
Object of
Interest
Estimate position
and orientation of
the camera
Render the
augmented
scene
Process the
interaction
Update the
status
•Context-aware & Visualization
•Quantified Self for AH Platform
•Social Agent for Quality of Social Life
53. Applications of Quantified Self
Personal AR Guardian
(healthcare, life coach/guard, etc.)
Sustainable self-management
with game-like competition
Personal black-box for
protecting self from criminal
54. From Quantified Self to Quality of Social Life:
사회적 관계 형성: Human-to-Human Social Networking
경험의 공유와 공감: Empathy
타인 가치의 존중과 협상: Negotiation
추천과 결정: Deliberative decision-making
Family
Friends
Groups
Communities
Companies
Countries
…
Trusted
Organization
Personalized
Augmentation
UX Sharing
Sensing and
Monitoring
Context-
aware
Negotiation
Quantified Self
55. 가상증강현실의 현황과 미래
개별적으로 진행중인 IoT, Big Data, AI, Robot 등의 연구를 사용
자 중심으로 통합적으로 연계 활용할 수 있는 기술로 주목
VR/AR의 일상화: 가상과 현실의 공존
새로운 형태의 경험기반 사회경제 활동
컴퓨팅 환경을 확장하는 IT 기술, 시공간을 확장하는 VR/AR 기술을 결합
하면 시공간혁명을 통해 고부가가치의 신시장을 창출 전망
새로운 경험 공유 플랫폼은 신시장, 시공간 한계 극복과 비용 절감, 작업/
협업 효율성 증대, 응용 범위 확대
대응: 일몰형 AR 공동연구소:
VR/AR/AH CPND 핵심기술 확보 및 인력 양성
부작용: 멀미, 과몰입, 중독, 소외, 가상-현실 혼동 등 탈현실화, etc.
신시장 대응: IoT, Big Data, AI, 로봇 등 유관 기술과 연계하여
CPND 전 분야의 신산업 창출
공동체 ‘삶의 질’ 향상을 위한 사회적 도전과제 대응
56. “The future is already here. It is just not
uniformly distributed” by William Gibson (SF writer)
More Information
Woontack Woo, Ph.D.
FB @wtwoo
wwoo@kaist.ac.kr
http://uvr.kaist.ac.kr
11th ISUVR 2016 @Aug. 1-5, 2016