Unblocking The Main Thread Solving ANRs and Frozen Frames
Sj 공학심리학 Ch3 Selective Attention
1. Chapter 3. Attention in Perception and Display Space
Selective Attention
Engineering Psychology and Human Performance Page 69 ~ page 86
Seo-jung ko, Industrial Engineering, Hanyang University
2. Ch3. Attention in Perception and Display Space
Overview
• Experimental finding of attentions in perception
1. Selective attention
2. Focused attention
3. Divided attention
• Relevance to Display layout
• Aspects of Serial attention
• Parallel characteristics in Vision and Audition
Seo-jung ko, Industrial Engineering, Hanyang University
3. Overview
The limitation of human attention
Three categories of attention Failures
1.Selective attention
decision makers sometimes selects the cues that stand out than useful
decision maker가 (의도적으로) 유용한 것보다 눈에 띄는것을 선택함
ex) chapter1에 등장한 운전자는 네비게이션, 도로, 계기판 등을 모두 확인 해야 했음.
하지만 운전자는 네비게이션에 너무 selective attention … 사고로 이어짐.
2.Focused attention
*unable to concentrate on one source in the environment by external information.
decision maker 의 의도와 달리 외부의 정보에 의해 최적이 아닌 값을 선택함
ex) 떠들썩한 방에서 테이프에서 나오는 소리를 글로 옮기는 작업을 수행하는 사무원
3.Divided attention
*unable to divide our attention among tasks, all of which we wish to process.
decision maker는 의도적으로 여러 자극, tasks에 주의를 분산시키지만
동시에 여러 과제를 수행하기 위한 time-share performance의 한계에 의해 제한됨.
ex) fault diagnostician 의 경우. 여러 개의 가설을 working memory에서 계속 생각하면서, 진단을 위해 환경을 살피고,
이 정보를 기록해야 했다. 즉, 동시에 너무 여러곳에 주의를 분산시키다가 오진이 발생.
Seo-jung ko, Industrial Engineering, Hanyang University
4. Overview
The limitation of human attention in human information processing
*Three categories of attention Failures
1. Selective attention
2. Focused attention
3. Divided attention
*Experimental findings of (S,F,D) attentions in Perception
*Relevance to Display layout
*Aspects of Serial attention & Parallel characteristics .
*in Vision and Audition
Seo-jung ko, Industrial Engineering, Hanyang University
5. Selective Attention
1. Visual Sampling
• Eye fixation system
• Visual Sampling behavior
2. Supervisory Control Sampling
• Optimality of selective attention
3. Eye Movement in Target Search
• Characteristics of visual Search & Scanning
4. Visual Search Models
• model 1 - predict time to detect a flaw in a product
• model 2 – variables that affect search speed
5. Structured Search
• Basic of Structured Search
• Application of Structured Search, Menu
6. Directing Attention
Seo-jung ko, Industrial Engineering, Hanyang University
6. 1.Visual Sampling
Characteristics of the eye fixation system
Definition of fovea
only small region of visual field perceives detail 2°
region about 2 degrees of visual angle that.
fovea 안에 물체를 넣고 주시하기 위한 안구운동
1. pursuit movement
움직이는 표적을 연속적으로 fovea안에 넣을 수 있는 movement
2. saccadic movement
움직이는 표적의 속도가 빠를때, 일단 눈으로 물체의 위치를 따라잡은 후에 fovea 안에 넣음
1) Saccade -visual input 이 제한됨
2) Fixation -visual input 을 받음.
*location :: the center of the fixation
*useful field of view :: 정보가 추출될 수 있는 중심 주변의 영역
* dwell time :: how long the eye remain at that location
Seo-jung ko, Industrial Engineering, Hanyang University
7. 1.Visual Sampling
Characteristics of the eye fixation system
Definition of fovea
only small region of visual field perceives detail 2°
region about 2 degrees of visual angle that.
fovea 안에 물체를 넣고 주시하기 위한 안구운동
1. pursuit movement
움직이는 표적을 연속적으로 fovea안에 넣을 수 있는 movement
2. saccadic movement
움직이는 표적의 속도가 빠를때, 일단 눈으로 물체의 위치를 따라잡은 후에 fovea 안에 넣음
Visual Sampling Behavior
Supervisory Control Target Search
표적의 위치나 존재여부를 모른다.
표적의 위치를 알고 있다. 한 영역을 조사하며 표적을 찾는다.
원하는 표적을 적절한 시간에 sampling Ex) 품질관리 검사관: 회로판에 고장이 있나 찾아봄
하는 게 관건. Ex) 추락한 비행기 찾기
Ex) 항공기 조종실 Visual Scanning Visual Search
여러 display들을 응시하며 주의를 할당함 detail process of Product of the Search
Search
Seo-jung ko, Industrial Engineering, Hanyang University
8. Selective Attention
1. Visual Sampling
• Eye fixation system
• Visual Sampling behavior
2. Supervisory Control Sampling
• Optimality of selective attention
3. Eye Movement in Target Search
• Characteristics of visual Search & Scanning
4. Visual Search Models
• model 1 - predict time to detect a flaw in a product
• model 2 – variables that affect search speed
5. Structured Search
• Basic of Structured Search
• Application of Structured Search, Menu
6. Directing Attention
Seo-jung ko, Industrial Engineering, Hanyang University
9. 2.Supervisory Control Sampling
Optimality of selective Attention
Optimality
Target의 위치를 이미 다 알고있는 상태
원하는 정보를 적절한 시간에, 최소의 sampling으로 얻을때.
behavior that will maximize expected value or minimize expected cost
Expected cost - sampling miss.
sampling을 못해서 놓쳤을때 예상되는 cost.
*Frequency ::
Frequency ↑ Expected cost ↑ ch1 ch2 ch3 ch4
마지막으로 sampling 된 이후, 시간 ↑ Expected cost ↑ 1 4 9 3
*Uncertainty :: 사건이 조금 예측 가능한 비율로 발생할 때
ex) instrument dial. (Figure3.1.)
event : needle moving into danger zone.
이 연구에 대해 6가지 결론이 나타남
Seo-jung ko, Industrial Engineering, Hanyang University
10. 2.Supervisory Control Sampling
Conclusion of instrument dial Study
1. Mental model
“경험적으로 통계를 내보니 각 계기판에 events가 언제쯤, 얼마나 자주 나타나더라“
전문성이 높을 수록 심적 모형이 정교하고
자주 sampling되는 display를 중앙에, 순차적으로 표집하는 display들은 가까이 두는식
으로 sampling strategies가 변화.
2. Adjustment to event rate – sluggish beta.
“계기판 바늘이 천천히 변한다면, 자주 표집할 필요 없다. Ex) 4번 계기판“
불확실성이 최대로 증가했을때 한 번 sampling 해주면, 다시 uncertainty가 0이 됨.
3. Sampling affected by arrangement
“eye movement 수평 움직임이 대각선 움직임보다 잦음 ”
채널 및 사건 발생률 뿐만 아니라, 계기의 배치도 scanning에 영향을 줌.
Seo-jung ko, Industrial Engineering, Hanyang University
11. 2.Supervisory Control Sampling
Conclusion of instrument dial Study
4. Memory imperfect, Sampling imperfect
“기억력이 완벽하면, 불완전 할 때 보다 더 자주 sampling 증가.
기억이 잘 안난다. (= 바늘이 이땐 안움직인것 같은데..) Sampling 감소.
이런 memory의 한계 때문에, 'sampling reminder’의 유용성이 강조됨.
5. Preview helps
“미래에 일어날 예정된 사건을 Preview할 경우, 불확실성이 줄어 optimal에 가까워짐”
교과과정을 미리 알려주어 여러교과목(channels)에 대한 과제를 preview.
하지만 교과목수(number of channels)이 증가할 경우, preview 작업이 과부하 될 수 있음.
6. Processing Strategies – Cognitive tunneling
“selective attention이 과하여 다른 작업을 병행하지 못함. Visual attention의 낭비quot;
ex1) 하나의 system error에 대해 고장 진단이 수행되는 동안 다른 system들의 상태파악을 하지않음.
ex2) 하나의 정보에 대해 피드백이 어떤 지시계로 display되는 경우, 피드백이 올때 까지 그 지시계만 쳐
다볼 뿐 다른 작업을 하지 않음.
Seo-jung ko, Industrial Engineering, Hanyang University
12. Selective Attention
1. Visual Sampling
• Eye fixation system
• Visual Sampling behavior
2. Supervisory Control Sampling
• Optimality of selective attention
3. Eye Movement in Target Search
• Characteristics of visual Search & Scanning
4. Visual Search Models
• model 1 - predict time to detect a flaw in a product
• model 2 – variables that affect search speed
5. Structured Search
• Basic of Structured Search
• Application of Structured Search, Menu
6. Directing Attention
Seo-jung ko, Industrial Engineering, Hanyang University
13. 3.Eye Movement in Target Search
Characteristics of visual Search & Scanning
1. Environmental Expectation
target search :: scanning where a target is likely to be found
초보자와 숙련자의 차이 :: x-ray판으로 종양을 찾을때
숙련자- 자주 나타나는 영역을 먼저, 세밀하게
초보자- 전체 판을 고르게
같은 그림이라도 viewer의 목적이 다른경우 scanning path 가 달라짐
2. Display Factor and Salience
visual search behavior은 원래 일관된/최적의 pattern은 없다.
하지만 몇가지 요인은 visual attention을 유도하기도 한다.
1) large, bright, colorful and changing
2) an abrupt stimulus onset
3) singletons (단일자)
4) 왼쪽 위부터 scan시작
5) 수평,수직 scan이 대각선 scan보다 흔하다.
6) 디스플레이의 가장자리에는 잘 집중하지 못함 (edge-effect)
3. Display-Driven and Conceptually Driven Processing
display 로 conceptual한 정보를 이끌어내고
사용자가 기대하는 곳에 적당한 display를 만들어 둔다.
Seo-jung ko, Industrial Engineering, Hanyang University
14. 3.Eye Movement in Target Search
Characteristics of visual Search & Scanning
4. Search Coverage and the Useful Field of View 2°
UFOV (Useful Field Of View) :: Mackworth(1976) 정의
: a circular area around the fixation point
from which information necessary for the task can be extracted.
* Size of UFOV : minimum distance of between successive fixations in a search task,
on assumption that two adjacent UFOVs touch but not overlap.
varies from 1 to 4 degrees of visual angle
* Several Factors affect the UFOV
1. 정보밀도 저밀도 /고밀도
2. 배경(background) 유리 / 회로판
3.나이 나이든성인 /젊은성인
4. foveal task 난이도 쉬움 /어려움
5.시간제한 있을때 2~4 개/SEC /없을때
6. decision criterion 각자의 기준에 따라 다르다.
Seo-jung ko, Industrial Engineering, Hanyang University
15. 3.Eye Movement in Target Search
Characteristics of visual Search & Scanning
5. Fixation Dwells
• a mount of information
Survey Dwells (조사체류) Examination Dwells (검사체류)
Ex) 비행영역 안에서 비행 중인가. Ex) 비행기 시야 안에 장애물이 있는가.
단순한 확인. 짧은 시간 동안 fixation 중요한 확인. 자주, 오랫동안 fixation
• difficulty
어려운, 조밀한 정보의 display – Fixation Dwell ↑
ex) 독서 - 어려운 글, 낯선 단어
ex) 그림 - 전체 맥락에서 벗어나 이질적인 부분
• low frequency (Information Theory)
low frequency - Hs ↑(높은 정보량) - 어려운, 난이도 높은 정보
so, Fixation Dwells :: 초보자 > 숙련자
Conclusion :: Visual Scanning Behavior
1. scanning tell us a good deal about the internal expectancies that drive selective attention
2. area of diagnostics (진단영역)
:: frequently watched instruments
:: Differences of novice and expert
:: display items that require long dwells may indicate nonoptimal formatting
Seo-jung ko, Industrial Engineering, Hanyang University
16. Selective Attention
1. Visual Sampling
• Eye fixation system
• Visual Sampling behavior
2. Supervisory Control Sampling
• Optimality of selective attention
3. Eye Movement in Target Search
• Characteristics of visual Search & Scanning
4. Visual Search Models
• model 1 - predict time to detect a flaw in a product
• model 2 – variables that affect search speed
5. Structured Search
• Basic of Structured Search
• Application of Structured Search, Menu
6. Directing Attention
Seo-jung ko, Industrial Engineering, Hanyang University
17. Target Search
4. Visual Search Models 표적의 위치나 존재여부를 모른다.
한 영역을 조사하며 표적을 찾는다.
Ex) 품질관리 검사관: 회로판에 고장이 있나 찾아봄
Characteristics of Visual search Ex) 추락한 비행기 찾기
Visual Scanning Visual Search
1. Target identification 의 불확실성을 알 수있다.
detail process of Search Product of the Search
Physical make up of target 을 알 수 있다.
2. Search의 수치적 성과를 예측할 수 있는 model 개발 가능
Model 1 . Predict time to detect a flaw in a product
Stage 1. target Search
검색시간이 주어질수록 찾을 확률증가, 증가율 감소
증가율감소원인
1. 한 번 이상 fixation 하더라도 탐지되지 않을 수 있다.
2. search strategies 는 충분한 시간이 주어져도 전체 영역을
fixation 하지 않는다.
Stage 2. 결정단계
chapter2에서 한 베타와 같음
expectancy of flaw가 높으면, criterion가 낮게 설정된다.
* Figure 3.2 의 곡선의 의미
검사시간에 드는 손실(linear) , loss(간과)에 의한 손실 을 계산하여 각 제품의 최적 검사시간을 구할 수 있다.
Seo-jung ko, Industrial Engineering, Hanyang University
18. 4. Visual Search Models
Model 2 . Variables that affect Search speed
Particular target의 위치를 찾을때, 검색속도에 영향을 주는 변수들을 modeling.
Ex) 택배회사에서 지도상으로 놀고있는 차량의 위치를 찾을때.
Ex) 군지휘관이 특정 부대의 기호를 지도상으로 찾을때.
Task1. the presence of White X
Task2. the presence of Large T
Task3. the presence of black target
Parallel Search
Serial and Self terminating Search
Seo-jung ko, Industrial Engineering, Hanyang University
19. 4. Visual Search Models
Model 2 . Variables that affect Search speed
1. TASK1,2) Serial and Self-terminating
The number of elements to be searched has the dominant effect to search time
2. TASK3) 병렬 처리- Serial search의 예외
target이 다른 차원의 한 수준으로 정의될 때. Task3 – 차원(Color)의 한 수준(Black)
이 경우 검색시간는 항목들의 수에 거의 영향을 받지 않는다.
순차 검색 Serial Search 병렬 처리 Parallel Search
Black J
• Requires attentional resources • Preattentive
• UFOV(시야의 제한된 부분)상에서만 (requiring few attentional resources) Color Gray U
수행될 수 있다. • Entire visual field 탐색가능 White T L S U
( Treisman & Gelad, 1980 ; Wolfe,1994 )
3. Target 의 변별성
QQQQQ OOOOO
- 타겟이 방해 자극들과 변별되기 어려울 때 (색 차이↓/ 휘도↓) QQQQQ OOOOO
QQQQQ OOOOO
방해 자극의 수 ↑ 검색 시간 ↑ -순차검색
QQQQQ OQOOO
- 타겟이 특징있는 것으로 정의됐을 때 QQQOQ OOOOO
방해 자극의 수가 검색 시간에 거의 영향을 미치지 않는다. -병렬처리 순차 검색 병렬 처리
Seo-jung ko, Industrial Engineering, Hanyang University
20. 4. Visual Search Models
Model 2 . Variables that affect Search speed
4. 요소들 사이의 거리-밀한 정도-는 검색속도에 별로 중요하지 않다.
소요시간
간격
고밀도 저밀도
5. 타겟 검색시 고려해야하는 타입이 많을 수록 검색 속도가 느리다.
여러 different Type
색, 크기, 모양 등등 <
검색속도
Only one Type
색
Ex) X 와 K 를 검색 - [모양] : 대각선을 갖는 문자들
이런 특징을 변별하는 능력은 훈련으로 늘릴 수 있음 EX) 산업체 검사원
6. 검색을 반복시행시 target이 nontarget으로 나타나지 않는 경우(consistent mapping)
2차 검색결과
검색 속도가 빠르다.
target과 nontarget이 분명하게 분리 -> automatic -> Parallel Search
1차 검색결과
검색 반복 시행시 target이 nontarget으로 나타난 경우
Seo-jung ko, Industrial Engineering, Hanyang University
21. 4. Visual Search Models
Model 2 . Variables that affect Search speed
차원2.
Size
Application :: Symbol coding
Target을 다차원으로 부호화 할 때 사용
- 검색기준을 여러가지 차원으로 나눈다.
차원 1. color
차원 2. size
차원 3. shape
...
차원3.
Shape
- 각 차원을 검사한다.
차원1.
방법 1. 각 차원의 level을 순차적으로 검사한다 Color
∴ 차원의 수↑ 검색시간 ↑
방법 2. 원하는 특정 순서대로 차원을 검사한다. 동일 타겟
가장 빠른 순서의
∴ 검색시간이 차원들의 검색 순서에 의해 결정 됨 검색량
EX) 오른쪽 그림의 경우
가장 빠른 순서 : 2.size - 1.color - 3.shape
동일 타겟
가장 느린 순서 : 3.shape - 1.color - 2.size
가장 느린 순서의
검색량
Seo-jung ko, Industrial Engineering, Hanyang University
22. Selective Attention
1. Visual Sampling
• Eye fixation system
• Visual Sampling behavior
2. Supervisory Control Sampling
• Optimality of selective attention
3. Eye Movement in Target Search
• Characteristics of visual Search & Scanning
4. Visual Search Models
• model 1 - predict time to detect a flaw in a product
• model 2 – variables that affect search speed
5. Structured Search
• Basic of Structured Search
• Application of Structured Search, Menu
6. Directing Attention
Seo-jung ko, Industrial Engineering, Hanyang University
23. 5.Structured Search
Basic of Structured Search
이전 내용까지는 free field search 로서, target이 모형의 어느영역에서 발견될지 모른다.
Structured Search는 체계적인 검색 순서가 있어서, 검색을 도와주는 정보를 display상에서 얻을 수 있다.
Basic Model :: Letter-search Paradigm , application Model :: Menus
Basic Model :: Letter-search paradigm (Neisser, 1963)
• 행,열에 무작위 배치된 문자들 중
target 문자를 찾는데 걸리는 시간을 조사
①②③
• X : target 문자의 위치
④⑤⑥
Y : Search time
⑦⑧⑨
• 선형관계. 이 때의 기울기가 한문자 search당 걸린 시간.
• The slope of this function, which represents the time to
process each letter in this structures search, is roughly the
same as what was observed in free field search.
∵ visual attention을 유도하는 몇가지 중 하나로 ‘왼쪽 위부터
scan시작‘ 과 ’수평scan선호’가 있었다. 이 study의 Structured
search와 같은 방식이므로 기울기가 비슷하다..
Seo-jung ko, Industrial Engineering, Hanyang University
24. 5.Structured Search
Application of Structured Search :: MENU
Menu task. User must locate a target word, symbol, or command.
원하는 item을 찾을 때까지 목록을 scan, 찾은 후에 버튼을 클릭.
메뉴구조화 :: Minimum average time 에 target이 찾아지도록 구조화
• linear search strategy. (대각선<수평,수직)
self-terminating search. (target 찾으면 search 종결)
NT/2 ( N: 메뉴size, T: search time/item)
• the various menu 에 대해 The Lee and MacGregor (1985)
Reading speed 와 Computer response speed 를 고려했을 때,
메뉴당 최적 항목 수는 3~10개 임을 계산함.
• menu alternative 와 target, menu alternative 와 menu alternative 의 유사성 고려시,
menu alternative 와 target :: 서로 유사할 수록 검색속도 증가
menu alternative 와 menu alternative :: 서로 유사할수록 검색속도 감소
• a criterion-based model
reject accept
Seo-jung ko, Industrial Engineering, Hanyang University
25. Selective Attention
1. Visual Sampling
• Eye fixation system
• Visual Sampling behavior
2. Supervisory Control Sampling
• Optimality of selective attention
3. Eye Movement in Target Search
• Characteristics of visual Search & Scanning
4. Visual Search Models
• model 1 - predict time to detect a flaw in a product
• model 2 – variables that affect search speed
5. Structured Search
• Basic of Structured Search
• Application of Structured Search, Menu
6. Directing Attention
• Peripheral cues, central cues
Seo-jung ko, Industrial Engineering, Hanyang University
26. 6.Directing Attention
SOA (stimulus-onset asynchrony)
cues(or warnnig) 가 target이 출현하기 몇 초 전에 등장하느냐.
ex) the cue appears 200 milliseconds before the target. SOA=200ms.
SOA ↑ , Target search ↑
Cues
Peripheral cues Central cues
Cues at the pending target location , which is Some neutral foveal location but indicates the
typically out of foveal vision. target location in someway
짧은 SOA에 더 효과적이고, 긴 SOA에서 효과적이며 (e,g, 400ms) ,
그 효과가 일시적이다 효과가 오래간다.
Stimulus-driven 자극물주도적 Goal-directed 목표지향적
Seo-jung ko, Industrial Engineering, Hanyang University
27. 6.Directing Attention
Switch attention : discrete, „all-or-none‟ fashion
intermediate elements in the display would not be attended
as the switch was being made.
Cost-benefit relationship : cues are not perfectly valid indicators of target.
80% 신뢰할만한 cues : 80% 는 target을 더 빨리 찾고 더 적은 error를 냄
20%는 target을 더 늦게 찾고 더 잦은 error를 냄.
적은 error : criterion 을 낮춰서 인가 or 민감도를 높여서인가?
criterion만 낮추면 단서는 잘 찾아내지만, target을 찾는 정확도는 변하지 않는다.
적은 error을 내려면 criterion도 낮고 민감도도 높아야 한다.
Seo-jung ko, Industrial Engineering, Hanyang University
28. 6.Directing Attention
Applications : automated systems , hightlighting
automated systems
• Cueing lowered target detection response times for expected targets
but made it more difficult to detect unexpected targets. (cost-benefit relationship)
• 단서가 신뢰할만 하지 못하면, target도 nontarget 취급해버리는 경우가 많다.
단서가 신뢰할만 하면, 무분별하게 target 취급해버리는 경향이 있다.
그러므로 direction attention은 효과적일 수도, 비효과적일 수도 있다.
highlighting
이러한 directing attention 말고도 highlighting 를 통해 복잡한 display에서의 attention을
이끌어 낼 수 도 있다. 밑줄긋기, 깜빡임, 상자씌우기 등등.
주의해야 할 것은 highlighting 때문에 해석능력을 떨어뜨리는 경우이다.
예를 들어 글자를 깜빡이게 하는것은 읽는 능력을 떨어뜨린다.
또한 Highlighting은 강조하는 영역의 내용들이 모두 search에 도움이 되는 내용들인지에 대
한 것인지, 확신하기 어려울때가 종종 있다. 하지만 낮은 타당성을 갖는 highlighting이라도
검색시간이 감소하는 결과를 낳는다.
Seo-jung ko, Industrial Engineering, Hanyang University