1. plus X
멀티모달 기술과
이재호
백기환
관련 문헌,
권해정
이정현
사례 조사
조건미
2012.03.20
2012년 1학기 영상디자인 스튜디오

2. plus X
목차
0. 터치가 우리의 미래인가?
1. 멀티모달이란?
2. 멀티모달 인터랙션의 장점
3. 멀티모달 인터랙션의 역사와 사례
4. 멀티모달 인터랙션의 과제
2012.03.20
2012년 1학기 영상디자인 스튜디오

3. plus X
?
plus X
멀티모달 기술과
관련 문헌,
사례 조사

4. plus X
!
plus X
이재호 + 백기환 + 권해정 + 이정현 + 조건미
+experience
멀티모달 기술과
관련 문헌,
사례 조사

5. 0. 터치가 우리의 미래인가? plus X
©Microsoft
Microsoft의 Future Vision (2011)
멀티모달 기술과
관련 문헌,
사례 조사

6. 0. 터치가 우리의 미래인가? plus X
©Bret Victor
애플의 Human-Interface Inventor로 일했었던 Bret Victor의 비판 ●
멀티모달 기술과
관련 문헌,
사례 조사

7. 0. 터치가 우리의 미래인가? plus X
©Bret Victor
“Any dancer or doctor knows full well what an incredibly
expressive device your body is. 300 joints! 600 muscles!
Hundreds of degrees of freedom!”
멀티모달 기술과
관련 문헌,
사례 조사

8. 0. 터치가 우리의 미래인가? plus X
우리가 인간과 소통할 때는 목소리의 톤, 손짓,
몸의 기울기, 말하는 속도, 얼굴 표정 등 수많은
입력과 출력 요소들을 이용한다.
컴퓨터도 ‘눈치’가 있어야 하는 것 아닐까?
멀티모달 기술과
관련 문헌,
사례 조사

9. 1. Multimodal? plus X
멀티모달이란?
전통적인 WIMP와 같은 유니모달
패러다임과 달리 다양한 입력과 출력 장치,
즉 다양한 모덜리티를 통해 컴퓨터와
소통하는 것.
©W3C
멀티모달 기술과
관련 문헌,
사례 조사

10. 1. Multimodal? plus X
WIMP
Windows, Icons, Menus, Pointer
전통적인 그래픽 유저 인터페이스
제록스 PARC에서의 개발 (1973)
매킨토시 (1984) -대중화된 GUI
멀티모달 기술과
관련 문헌,
사례 조사

11. 1. Multimodal? plus X
키보드
일반적인 모달리티
마우스
WIMP형 GUI에서 사용하는
WIMP
입력과 출력을 하는 방식들 음성
Modalities
필기
영상
멀티모달 기술과
관련 문헌,
사례 조사

12. 1. Multimodal? plus X
필기
멀티모달에서의
모달리티 마우스 GPS
멀티모달 디바이스에서
입력을 하거나 출력을 받는 방식들 키보드 Multimodal 시선
(Eye gaze)
Interaction
새로운 모달리티에 대한
연구들도 계속 진행되고 있음
(발의 스텝, 대화 간격, 사람과 사람간의 간격, 음성 몸동작
목소리에 담긴 감정 등) (Gesture)
온도,
광량 등
멀티모달 기술과
관련 문헌,
사례 조사

13. 2. 멀티모달 인터랙션의 장점 plus X
멀티모달 인터랙션이 왜
필요한가?
-더 자연스럽고 쉬운 인터페이스
-더 효율적인 작업 수행
-장애인이나 초심자에 대한 접근성
멀티모달 기술과
관련 문헌,
사례 조사

14. 2. 멀티모달 인터랙션의 장점 plus X
더 자연스럽고 쉬운 인터페이스
스크롤이나 버튼 누르기 등의 단순한 조작일 경우,
사람들은 유니모달 인터페이스를 이용하지만 여러
가지 컨텍스트가 혼합된 복잡한 작업을 수행할 경우
멀티모달 인터페이스를 더 사용했다는 연구
(Oviatt et al., 1997)
©Sharon Oviatt
멀티모달 기술과
관련 문헌,
사례 조사

15. 2. 멀티모달 인터랙션의 장점 plus X
더 효율적인 인터페이스
연구사례:
-사용자가 컴퓨터 전문 용어에 대해 잘 모를 때 생길 수 있는 문제와
기타 심각한 오류들이 멀티모달 인터페이스를 사용할 시 36%에서
50%까지 줄어들음
-펜과 음성인식을 동시에 사용해 작업을 수행할 경우 음성인식만 사
용하는 것보다 더 문장이 간결해짐.
(Oviatt, 1997)
멀티모달 기술과
관련 문헌,
사례 조사

16. 2. 멀티모달 인터랙션의 장점 plus X
장애인이나 초심자에 대한 접근성
-장애인들은 제한적인 운동 환경과 인지 능력을 가지고 있으므로,
기계들의 사용 자체(버튼 등)은 편하게 되어 있지만 한가지 기계로
너무 많은 작업을 수행해야 해서 Cognitive load(인지부하)가 크다
-다양한 모달리티의 사용으로 장애인들의 미디어 센터에
대한 작업 속도와 만족도의 개선을 연구한 사례
(Turunen, 2010)
© Turunen et al.
멀티모달 기술과
관련 문헌,
사례 조사

17. 3. 멀티모달 인터랙션의 역사와 사례 plus X
멀티모달 인터랙션의 역사
Evan Sutherland의 Sketchpad(1962)
라이트 펜을 이용한 CAD 입력 장치,
원하는 곳을 펜으로 가리키고 명령 버튼을 누르는 방식
Draw, circle center, stop, move, delete...
멀티모달 기술과
관련 문헌,
사례 조사

18. 3. 멀티모달 인터랙션의 역사와 사례 plus X
멀티모달 인터랙션의 역사
© Frogdesign
Doug Engelbart의 최초의 현대적 모달리티 시연,
“The mother of all demos” (1968)
마우스와 키보드 등을 이용한 비디오 컨퍼런스, 워드프로세서,
하이퍼미디어 등의 프로그램 시연.
멀티모달 기술과
관련 문헌,
사례 조사

19. 3. 멀티모달 인터랙션의 역사와 사례 plus X
멀티모달 인터랙션의 역사
Put That There (1979) ●
최초의 본격적인 멀티모달 인터페이스 연구
음성인식, 제스쳐 인식(가리키기), 조이스틱을 이용한 조작
Make, put, delete, call...
© Bolt, R.
멀티모달 기술과
관련 문헌,
사례 조사

20. 3. 멀티모달 인터랙션의 역사와 사례 plus X
멀티모달 인터랙션의 역사
표준 제정 연구
W3C Multimodal Interaction Working Group
IBM X+V
MS SALT(Speech Application Language Tags)
OMA(Open Mobile Alliance)
© W3C
멀티모달 기술과
관련 문헌,
사례 조사

21. 3. 멀티모달 인터랙션의 역사와 사례 plus X
멀티모달 인터랙션의 역사
게임용 NUI 디바이스들의 등장과 그의 응용
© GameRant.com
멀티모달 기술과
관련 문헌,
사례 조사

22. 3. 멀티모달 인터랙션의 역사와 사례 plus X
멀티모달 인터랙션의 역사
모바일 스마트 디바이스들의 대중적 보급
모바일 웹 트래픽의 증가 ●
Q4 2010 – 6.25%
Q1 2011 – 6.93%
Q2 2011 – 8.35%
Q3 2011 – 10.34%
Q4 2011 – 12.59%
멀티모달 기술과
관련 문헌,
사례 조사

23. 3. 멀티모달 인터랙션의 역사와 사례 plus X
멀티모달 인터랙션의 역사 ●
2002
1985 1994
©Google
멀티모달 기술과
관련 문헌,
사례 조사

24. 3. 멀티모달 인터랙션의 역사와 사례 plus X
멀티모달 인터랙션 관련 사례
게임용 NUI 디바이스를 이용한 사례들
(Johnny Chung Lee의 hack)
© Johnny Chung Lee
멀티모달 기술과
관련 문헌,
사례 조사

25. 3. 멀티모달 인터랙션의 역사와 사례 plus X
멀티모달 인터랙션 관련 사례
Microsoft Research 사례들
Interactive Displays Behind the Screen Overlay Interactions
© Techgenie.com
Interactive Displays Seeing Displays
Augmenting Indoor Spaces Using Interactive Environment-
aware Handheld Projectors
DaVinci
Wearable Multitouch Projector
Pen + Touch
Natural User Interfaces with Physiological Sensing
Holoflector
...
멀티모달 기술과
관련 문헌,
사례 조사

26. 3. 멀티모달 인터랙션의 역사와 사례 plus X
멀티모달 인터랙션 관련 사례
Tabletop device / Tangible device
ReacTable
Mozart
© Reactable
멀티모달 기술과
관련 문헌,
사례 조사

27. 3. 멀티모달 인터랙션의 역사와 사례 plus X
멀티모달 인터랙션 관련 사례
기타
Motionbeam
© Disney Research
Playstation move + Eye
LG Pentouch TV
멀티모달 기술과
관련 문헌,
사례 조사

28. 4. 멀티모달 인터랙션의 과제 plus X
멀티모달 인터랙션의 문제점과 향후 과제
-사용성 평가의 어려움
-인간의 멀티모달 컨텍스트를 기계로 자연스럽게 번역하는 것
멀티모달 기술과
관련 문헌,
사례 조사

29. 4. 멀티모달 인터랙션의 과제 plus X
사용성 평가의 어려움
-입력과 출력의 모드가 많고, 또한 굉장히 다양한 만큼 테스트를 해
야 하는 항목이 많이 늘어나게 되며, 또한 멀티모달 인터랙션은 실제
사용의 컨텍스트가 다양(집, 공공장소 등...)하므로 사용성의 평가가
어렵다.
-사용자들은 멀티모달 인터페이스일 경우 유니모달일 때와 다른 행
동양태들을 보이므로, 그에 맞는 사용성 평가 방법이 필요함
(Oviatt, 1999)
멀티모달 기술과
관련 문헌,
사례 조사

30. 4. 멀티모달 인터랙션의 과제 plus X
인간의 멀티모달 컨텍스트를 기계로
자연스럽게 번역하는 것
-인간이 다양한 도구나 신체 기관을 이용하여 소통하긴 하지만,
기계와의 소통은 또 다른 문제
-여러가지의 모드를 동시에 사용할 때 자연스럽게 느낄 수 있도록
모달리티의 조합을 디자인하는 것이 과제
멀티모달 기술과
관련 문헌,
사례 조사

31. 결론 plus X
결론:
-NUI 디바이스와 스마트 모바일 디바이스의 보급으로 멀티모달의 미래가 점
차 현실화되어가고 있으나, 엔터테인먼트 기기 외에 대중적으로 응용할 수 있
는 멀티모달 기술이나 연구는 기초적인 수준에 머물러 있음
-여러가지 문제점들이 있지만 멀티모달 기술의 발전은 더욱 자연스럽고 쉬운
인터페이스의 이용을 위해 필수적이며 디자인 방법, 사용성 평가 등에서의 연
구 개척이 요구되는 상황
멀티모달 기술과
관련 문헌,
사례 조사

32. References plus X
참고한 문헌과 자료들 (순서대로)
Victor, B. A Brief Rant on the Future of Interaction Design. 2011. http://worrydream.com/ABriefRantOnTheFutureOfInteractionDe-
sign
Oviatt, S.L., DeAngeli, A. and Kuhn, K. Integration and synchronization of input modes during multimodal human-computer interaction.
In Proceedings of Conference on Human Factors in Computing Systems CHI‘97 (March 22–27, Atlanta, GA). ACM Press, NY, 1997,
415–422.
Oviatt, S.L. Multimodal interactive maps: Designing for human performance. Human-Computer Interaction 12, 1997, 93–129.
Markku Turunen, H Soronen, S Pakarinen, J Hella, T Laivo, J Hakulinen, A Melto, J P Rajaniemi, E Makinen, T Heimonen, Et Al. Ac-
cessible Multimodal Media Center Application for Blind and Partially Sighted People. Computers in Entertainment CIE, ACM, 2010,
Volume 8, Issue 3, 16.
Oviatt, S. Mutual disambiguation of recognition errors in a multimodal architecture. Proceedings of the SIGCHI Conference on Human
Factors in Computing Systems: the CHI is the Limit (1999) 576-583.
멀티모달 기술과
관련 문헌,
사례 조사

33. plus X
발표를 경청해 주셔서
감사합니다.
멀티모달 기술과
관련 문헌,
사례 조사