SlideShare a Scribd company logo
1 of 18
• 컴퓨터 및 관련 과학 기술의 발달 
특히, 인터넷의 발달로 전통적인 교육의 장면을 
변화시킴 
미국 ETS의 컴퓨터화한 검사를 선보인 것이 최초 
우리나라도 2000년 10월부터 컴퓨터화 검사를 
진행
평가의 타당성 증가 
 비언어적인 능력을 타당하게 평가 가능 
표준화를 통해 신뢰도가 증가 
 검사 환경의 표준화가 높아져 신뢰도를 증가 시킴 
얻을 수 없던 정보의 획득 
 학생들의 문제를 푸는 과정에 대한 정보를 확보 
검사 시행의 편리 
 검사 관련 업무에서 컴퓨터를 활용할 시 빠르고 일관되며 
정확한 수행이 가능
컴퓨터 보조 
검사 
컴퓨터 이용 
검사 
컴퓨터 개별 
적응 검사 
•보조적인 역할 
을 수행 
검사의 채점과 
결과 통보에 걸 
리는 인력과 시 
간,경비를 절약 
• 검사 장면에서 
컴퓨터를 이용 
새로운 유형의 
검사로 피험자의 
다양한 능력 측정 
• 단순 매체가 아닌 피험자 
의 수준에 적합하게 검사 
를 시행 
피험자의 능력에 적합한 
최소한의 문항으로 검사하 
여 보다 정확한 능력 추정 
을 가능하게 함.
컴퓨터화 검사는 컴퓨터화 검사, 컴퓨터 개별 적응 검사, 지 
속적 측정 ,지능적 측정의 4 단계로 발달할 것으로 예측된다. 
•지속적 측정 
기존의 교육측정, 연구, 교수 등과 달리 연구나 교수로 구 
별되는 활동이 아니라 통합적으로 이루어짐. 
즉, 각 개인의 변화 과정이 수업의 진행 과정 속에서 측정, 
관리되며, 학습자의 성장과정이 수시로 평가되어 후속 학 
습이 이루어짐. 
•지능적 측정 
개인의 성장 과정과 학습 프로파일에 근거하여 그에 적 
응적이고 지적인 교수학습을 안내하는 방식
지필 평가에서 컴퓨터를 이용하는 평가로 
바뀌는 단순한 매체의 변화가 아니라 전반 
적인 검사의 틀과 검사에서 얻을 수 있는 정 
보가 달라졌음을 의미
•다양한 형태의 자료를 문항에 하여 기존의 검사에서 
는 측정하기 어려웠던 능력의 측정이 가능 
 다양한 자료를 통해 피험자에게 검사에 대한 흥미와 더불어 문항의 이해도를 
증가시킴 
•문항과 피험자에 대한 다양한 정보를 제공해 
 문항에 소요한 시간, 검사를 치르는 양상 및 문항을 푸는 순서 등 피험자의 능 
력에 대한 중요한 정보를 제공 
•검사 시행에서의 편리 
 검사가 끝나는 동시에 검사 점수에 대한 정보를 제공하여 피험자들에게 즉각 
적인 피드백이 가능 
•장기적으로 경제적 
 초기 자본이 많이 소요되지만 지속적 사용에 이점을 가짐
•지필검사와의 동등성이 검증되지 않음 
특정 문항의 경우 컴퓨터이용검사와 지필검사의 양식이 다르게 기 
능하는 양식효과가 발생 
•컴퓨터의 조작 능력으로 측정오차가 발생함 
검사가 측정하고자 하는 능력 이외에 컴퓨터에 대한 숙련도가 피 
험자에게 영향을 줄 수 있다. 
•컴퓨터의 시스템이 문항의 형태를 제한하여 
일부 교과에 비적절함 
복잡한 계산을 요구하는 문항이나 집중적인 독해를 요구하는 문항 
의 경우 가시성이 떨어짐 
•검사 시행을 위한 초기 비용이 큼 
관련 소프트웨어와 하드웨어 설치에 소요되는 비용이 크다.
•컴퓨터 개별적응검사 
모든 피험자에게 동일한 순서로 동일한 문항을 제시하는 것 
이 아니라, 사전에 구축된 문제은행에서 컴퓨터의 연산 능력 
을 이용하여 피험자의 정답여부에 따라 능력수준에 부합하는 
난이도를 가진 문항을 선택하여 제시하는 과정을 반복함으로 
써 피험자의 능력을 추정하는 검사방법 
• 단일 검사가 아닌 복수의 검사를 피험자들 
이 치르게 되는 방식 초기에 
분류검사를 시행하여 학생들의 능력 수준을 판정한 후 
이에 적합한 문제로 다음 시험을 보는 형식 
다단계 검사 
• 동일한 문항으로 시작하여 그 결과에 따라 
문항이 변경되는 방식 전체 검사 
의 형태가 초기 문항부터 시작되어 피라미드식으로 진행 
되어가는 특성을 지님 
피라미드식 검사
컴퓨터 개별 
적응검사 
문제은행 
지필 검사보다 많은 수 
의 양질의 문항이 필요하 
기 때문에 문항들을 데이 
터베이스화한 형태가 필 
요 
문항반응이론 
문항의 난이도에 상관 
없이 피험자의 문항모수 
추정의 불변성을 확보하 
여 피험자의 능력을 정확 
하게 추정 가능함 
검사알고리즘 
진행과정에 따라 초기 
에 특정 문항을 제시하는 
기준, 다음 문항을 선별 
하는 기준, 검사를 종료 
하는 기준으로 구성되어 
있음
1. 피험자의 능력 수준에서 크게 벗어나는 문항은 제 
공하지 않음 
2. 보다 효율적인 검사를 실시할 수 있으며 시간과 경 
비가 절감되는 효과를 가져옴 
3. 보안 문제와 시험 실시 중에 발생할 수 있는 부정행 
위의 근절이 가능함 
4. 정답에 오류가 있다하더라도 전체 검사 결과에는 
큰 영향을 미치지 않음
문제의 재검토가 어려움 
검사의 정확성과 효율성 
에 손실을 주기 때문에 
피험자들에게 부담을 주 
는 경향이 있음 
검토와 수정이 불가능하 
기때문에 
공정한 검사를 실시하는 
데 방해가 됨 
맥락효과를 지니는 문항 
이 있을경우 
새로운 보안의 문제 발 
생 가능 
특정 문항의 노출이 빈 
번하게 일어날 수 있음 
지필검사와의 동등성이 
검증되지 않음 
앞으로 많은 연구가 필 
요
컴퓨터화 평가

More Related Content

Viewers also liked

Finalreport 130821121835-phpapp01
Finalreport 130821121835-phpapp01Finalreport 130821121835-phpapp01
Finalreport 130821121835-phpapp01
Sakib Anik
 
Open data policy in Catalonia. New European judicial framework for opening ac...
Open data policy in Catalonia. New European judicial framework for opening ac...Open data policy in Catalonia. New European judicial framework for opening ac...
Open data policy in Catalonia. New European judicial framework for opening ac...
gencat .
 
Life Scientists Go Online - UKSG 2010
Life Scientists Go Online - UKSG 2010Life Scientists Go Online - UKSG 2010
Life Scientists Go Online - UKSG 2010
Lucy Power
 
Ch8lifeattheturnofthe20thcentury
Ch8lifeattheturnofthe20thcenturyCh8lifeattheturnofthe20thcentury
Ch8lifeattheturnofthe20thcentury
bguizar1
 
What i have learnt from my preliminary task
What i have learnt from my preliminary taskWhat i have learnt from my preliminary task
What i have learnt from my preliminary task
07weeksjor
 
Angry bird game kang da jeong
Angry bird game   kang da jeongAngry bird game   kang da jeong
Angry bird game kang da jeong
다정 강
 

Viewers also liked (20)

Strategies for Effective Engagement at the Nebraska Legislature 8.28.14
Strategies for Effective Engagement at the Nebraska Legislature 8.28.14Strategies for Effective Engagement at the Nebraska Legislature 8.28.14
Strategies for Effective Engagement at the Nebraska Legislature 8.28.14
 
Finalreport 130821121835-phpapp01
Finalreport 130821121835-phpapp01Finalreport 130821121835-phpapp01
Finalreport 130821121835-phpapp01
 
Open data policy in Catalonia. New European judicial framework for opening ac...
Open data policy in Catalonia. New European judicial framework for opening ac...Open data policy in Catalonia. New European judicial framework for opening ac...
Open data policy in Catalonia. New European judicial framework for opening ac...
 
Life Scientists Go Online - UKSG 2010
Life Scientists Go Online - UKSG 2010Life Scientists Go Online - UKSG 2010
Life Scientists Go Online - UKSG 2010
 
Project Risk Management
Project Risk ManagementProject Risk Management
Project Risk Management
 
Ch8lifeattheturnofthe20thcentury
Ch8lifeattheturnofthe20thcenturyCh8lifeattheturnofthe20thcentury
Ch8lifeattheturnofthe20thcentury
 
What i have learnt from my preliminary task
What i have learnt from my preliminary taskWhat i have learnt from my preliminary task
What i have learnt from my preliminary task
 
The Secret Life of Rocks
The Secret Life of RocksThe Secret Life of Rocks
The Secret Life of Rocks
 
SME Growth Hack - Ben Hopkins '750 000 customers can't be wrong'
SME Growth Hack - Ben Hopkins '750 000 customers can't be wrong'SME Growth Hack - Ben Hopkins '750 000 customers can't be wrong'
SME Growth Hack - Ben Hopkins '750 000 customers can't be wrong'
 
Punctuated Equilibrium
Punctuated EquilibriumPunctuated Equilibrium
Punctuated Equilibrium
 
보이는 소리 들리는 마음 @노선영 청각장애인 작가
 보이는 소리 들리는 마음  @노선영 청각장애인 작가 보이는 소리 들리는 마음  @노선영 청각장애인 작가
보이는 소리 들리는 마음 @노선영 청각장애인 작가
 
Game: Jeopardy - Relative Clauses
Game: Jeopardy - Relative ClausesGame: Jeopardy - Relative Clauses
Game: Jeopardy - Relative Clauses
 
Cyber Attack Survival: Are You Ready?
Cyber Attack Survival:  Are You Ready?Cyber Attack Survival:  Are You Ready?
Cyber Attack Survival: Are You Ready?
 
Angry bird game kang da jeong
Angry bird game   kang da jeongAngry bird game   kang da jeong
Angry bird game kang da jeong
 
[동그라미재단] 2014ㄱ찾기_어썸스쿨_두런두런 학교변화 프로젝트_8주차 기회기획서 작성
[동그라미재단] 2014ㄱ찾기_어썸스쿨_두런두런 학교변화 프로젝트_8주차 기회기획서 작성[동그라미재단] 2014ㄱ찾기_어썸스쿨_두런두런 학교변화 프로젝트_8주차 기회기획서 작성
[동그라미재단] 2014ㄱ찾기_어썸스쿨_두런두런 학교변화 프로젝트_8주차 기회기획서 작성
 
제1회 이그나이트 광산 1.심민호 콘크리트사막에서 오아시스를 찾다
제1회 이그나이트 광산 1.심민호   콘크리트사막에서 오아시스를 찾다제1회 이그나이트 광산 1.심민호   콘크리트사막에서 오아시스를 찾다
제1회 이그나이트 광산 1.심민호 콘크리트사막에서 오아시스를 찾다
 
정치적으로 올바른 경제신문 읽기
정치적으로 올바른 경제신문 읽기정치적으로 올바른 경제신문 읽기
정치적으로 올바른 경제신문 읽기
 
sw 자산관리 모범사례
sw 자산관리 모범사례sw 자산관리 모범사례
sw 자산관리 모범사례
 
A review and exploration of graham swift
A review and exploration of graham swiftA review and exploration of graham swift
A review and exploration of graham swift
 
한솔제지 친환경 재생용지 브로셔
한솔제지 친환경 재생용지 브로셔한솔제지 친환경 재생용지 브로셔
한솔제지 친환경 재생용지 브로셔
 

Similar to 컴퓨터화 평가

표준화 검사 박성훈
표준화 검사 박성훈표준화 검사 박성훈
표준화 검사 박성훈
parksunghunv
 
표준화검사 20130065 사회교육과 양혜진
표준화검사 20130065 사회교육과 양혜진표준화검사 20130065 사회교육과 양혜진
표준화검사 20130065 사회교육과 양혜진
혜진 양
 
평가도구의 질 판단 기준(타당도)
평가도구의 질 판단 기준(타당도)평가도구의 질 판단 기준(타당도)
평가도구의 질 판단 기준(타당도)
1heeyeon
 
평가도구의 질 판단 기준(타당도)
평가도구의 질 판단 기준(타당도)평가도구의 질 판단 기준(타당도)
평가도구의 질 판단 기준(타당도)
1heeyeon
 
6월 9일 발표자료_최종.pptx
6월 9일 발표자료_최종.pptx6월 9일 발표자료_최종.pptx
6월 9일 발표자료_최종.pptx
ssuserd4afad
 

Similar to 컴퓨터화 평가 (20)

컴퓨터화 검사 3분반 윤주리
컴퓨터화 검사 3분반 윤주리컴퓨터화 검사 3분반 윤주리
컴퓨터화 검사 3분반 윤주리
 
제5장표준화검사컴퓨터화검사 송화담
제5장표준화검사컴퓨터화검사 송화담제5장표준화검사컴퓨터화검사 송화담
제5장표준화검사컴퓨터화검사 송화담
 
교육평가 제5징 표준화검사화 컴퓨터화검사
교육평가 제5징 표준화검사화 컴퓨터화검사교육평가 제5징 표준화검사화 컴퓨터화검사
교육평가 제5징 표준화검사화 컴퓨터화검사
 
제5장p179 컴퓨터화검사 3김준호
제5장p179 컴퓨터화검사 3김준호제5장p179 컴퓨터화검사 3김준호
제5장p179 컴퓨터화검사 3김준호
 
표준화 검사 박성훈
표준화 검사 박성훈표준화 검사 박성훈
표준화 검사 박성훈
 
교육평가
교육평가교육평가
교육평가
 
교육평가
교육평가교육평가
교육평가
 
표준화검사 20130065 사회교육과 양혜진
표준화검사 20130065 사회교육과 양혜진표준화검사 20130065 사회교육과 양혜진
표준화검사 20130065 사회교육과 양혜진
 
제5장173p 표준화검사 4양혜진
제5장173p 표준화검사 4양혜진제5장173p 표준화검사 4양혜진
제5장173p 표준화검사 4양혜진
 
교육평가의 이해(수행평가) 송한슬
교육평가의 이해(수행평가) 송한슬교육평가의 이해(수행평가) 송한슬
교육평가의 이해(수행평가) 송한슬
 
Istqb 4-테스트설계기법-2015-1
Istqb 4-테스트설계기법-2015-1Istqb 4-테스트설계기법-2015-1
Istqb 4-테스트설계기법-2015-1
 
표준화검사
표준화검사표준화검사
표준화검사
 
제2장평가도구의질판단기준 김소희
제2장평가도구의질판단기준 김소희제2장평가도구의질판단기준 김소희
제2장평가도구의질판단기준 김소희
 
제2장 평가도구의 질 판단 기준 컴퓨터 정창면
제2장 평가도구의 질 판단 기준 컴퓨터 정창면제2장 평가도구의 질 판단 기준 컴퓨터 정창면
제2장 평가도구의 질 판단 기준 컴퓨터 정창면
 
제6장193p 교육평가의이해(수행평가) 4최주혜
제6장193p 교육평가의이해(수행평가) 4최주혜제6장193p 교육평가의이해(수행평가) 4최주혜
제6장193p 교육평가의이해(수행평가) 4최주혜
 
Istqb 1-소프트웨어테스팅기초-2015
Istqb 1-소프트웨어테스팅기초-2015Istqb 1-소프트웨어테스팅기초-2015
Istqb 1-소프트웨어테스팅기초-2015
 
Istqb 1-소프트웨어테스팅기초
Istqb 1-소프트웨어테스팅기초Istqb 1-소프트웨어테스팅기초
Istqb 1-소프트웨어테스팅기초
 
평가도구의 질 판단 기준(타당도)
평가도구의 질 판단 기준(타당도)평가도구의 질 판단 기준(타당도)
평가도구의 질 판단 기준(타당도)
 
평가도구의 질 판단 기준(타당도)
평가도구의 질 판단 기준(타당도)평가도구의 질 판단 기준(타당도)
평가도구의 질 판단 기준(타당도)
 
6월 9일 발표자료_최종.pptx
6월 9일 발표자료_최종.pptx6월 9일 발표자료_최종.pptx
6월 9일 발표자료_최종.pptx
 

Recently uploaded

Recently uploaded (6)

TDM(Text Data Mining) Studio manual(2024)
TDM(Text Data Mining) Studio manual(2024)TDM(Text Data Mining) Studio manual(2024)
TDM(Text Data Mining) Studio manual(2024)
 
친환경, 그린, 탄소저감 미래 교육 공간 디자인의 이해와 사례들에 대한 강의 자료
친환경, 그린, 탄소저감  미래 교육 공간 디자인의 이해와 사례들에 대한 강의 자료친환경, 그린, 탄소저감  미래 교육 공간 디자인의 이해와 사례들에 대한 강의 자료
친환경, 그린, 탄소저감 미래 교육 공간 디자인의 이해와 사례들에 대한 강의 자료
 
코딩테스트 합격자 되기 C++ 03장(시간 복잡도)를 설명한 ppt입니다
코딩테스트 합격자 되기 C++ 03장(시간 복잡도)를 설명한 ppt입니다코딩테스트 합격자 되기 C++ 03장(시간 복잡도)를 설명한 ppt입니다
코딩테스트 합격자 되기 C++ 03장(시간 복잡도)를 설명한 ppt입니다
 
이번에 새로 나온 코딩 테스트 합격자 되기 C++편 책을 소개하는 PPT 입니다.
이번에 새로 나온 코딩 테스트 합격자 되기 C++편 책을 소개하는 PPT 입니다.이번에 새로 나온 코딩 테스트 합격자 되기 C++편 책을 소개하는 PPT 입니다.
이번에 새로 나온 코딩 테스트 합격자 되기 C++편 책을 소개하는 PPT 입니다.
 
코딩 테스트 합격자 되기 C++ 00장~ 01장을 정리한 강의자료 입니다.
코딩 테스트 합격자 되기 C++ 00장~ 01장을 정리한 강의자료 입니다.코딩 테스트 합격자 되기 C++ 00장~ 01장을 정리한 강의자료 입니다.
코딩 테스트 합격자 되기 C++ 00장~ 01장을 정리한 강의자료 입니다.
 
바리스타이론기초-1 수정 후 111111111111111111111111
바리스타이론기초-1 수정 후 111111111111111111111111바리스타이론기초-1 수정 후 111111111111111111111111
바리스타이론기초-1 수정 후 111111111111111111111111
 

컴퓨터화 평가

  • 1.
  • 2.
  • 3.
  • 4. • 컴퓨터 및 관련 과학 기술의 발달 특히, 인터넷의 발달로 전통적인 교육의 장면을 변화시킴 미국 ETS의 컴퓨터화한 검사를 선보인 것이 최초 우리나라도 2000년 10월부터 컴퓨터화 검사를 진행
  • 5. 평가의 타당성 증가  비언어적인 능력을 타당하게 평가 가능 표준화를 통해 신뢰도가 증가  검사 환경의 표준화가 높아져 신뢰도를 증가 시킴 얻을 수 없던 정보의 획득  학생들의 문제를 푸는 과정에 대한 정보를 확보 검사 시행의 편리  검사 관련 업무에서 컴퓨터를 활용할 시 빠르고 일관되며 정확한 수행이 가능
  • 6.
  • 7. 컴퓨터 보조 검사 컴퓨터 이용 검사 컴퓨터 개별 적응 검사 •보조적인 역할 을 수행 검사의 채점과 결과 통보에 걸 리는 인력과 시 간,경비를 절약 • 검사 장면에서 컴퓨터를 이용 새로운 유형의 검사로 피험자의 다양한 능력 측정 • 단순 매체가 아닌 피험자 의 수준에 적합하게 검사 를 시행 피험자의 능력에 적합한 최소한의 문항으로 검사하 여 보다 정확한 능력 추정 을 가능하게 함.
  • 8. 컴퓨터화 검사는 컴퓨터화 검사, 컴퓨터 개별 적응 검사, 지 속적 측정 ,지능적 측정의 4 단계로 발달할 것으로 예측된다. •지속적 측정 기존의 교육측정, 연구, 교수 등과 달리 연구나 교수로 구 별되는 활동이 아니라 통합적으로 이루어짐. 즉, 각 개인의 변화 과정이 수업의 진행 과정 속에서 측정, 관리되며, 학습자의 성장과정이 수시로 평가되어 후속 학 습이 이루어짐. •지능적 측정 개인의 성장 과정과 학습 프로파일에 근거하여 그에 적 응적이고 지적인 교수학습을 안내하는 방식
  • 9.
  • 10. 지필 평가에서 컴퓨터를 이용하는 평가로 바뀌는 단순한 매체의 변화가 아니라 전반 적인 검사의 틀과 검사에서 얻을 수 있는 정 보가 달라졌음을 의미
  • 11. •다양한 형태의 자료를 문항에 하여 기존의 검사에서 는 측정하기 어려웠던 능력의 측정이 가능  다양한 자료를 통해 피험자에게 검사에 대한 흥미와 더불어 문항의 이해도를 증가시킴 •문항과 피험자에 대한 다양한 정보를 제공해  문항에 소요한 시간, 검사를 치르는 양상 및 문항을 푸는 순서 등 피험자의 능 력에 대한 중요한 정보를 제공 •검사 시행에서의 편리  검사가 끝나는 동시에 검사 점수에 대한 정보를 제공하여 피험자들에게 즉각 적인 피드백이 가능 •장기적으로 경제적  초기 자본이 많이 소요되지만 지속적 사용에 이점을 가짐
  • 12. •지필검사와의 동등성이 검증되지 않음 특정 문항의 경우 컴퓨터이용검사와 지필검사의 양식이 다르게 기 능하는 양식효과가 발생 •컴퓨터의 조작 능력으로 측정오차가 발생함 검사가 측정하고자 하는 능력 이외에 컴퓨터에 대한 숙련도가 피 험자에게 영향을 줄 수 있다. •컴퓨터의 시스템이 문항의 형태를 제한하여 일부 교과에 비적절함 복잡한 계산을 요구하는 문항이나 집중적인 독해를 요구하는 문항 의 경우 가시성이 떨어짐 •검사 시행을 위한 초기 비용이 큼 관련 소프트웨어와 하드웨어 설치에 소요되는 비용이 크다.
  • 13.
  • 14. •컴퓨터 개별적응검사 모든 피험자에게 동일한 순서로 동일한 문항을 제시하는 것 이 아니라, 사전에 구축된 문제은행에서 컴퓨터의 연산 능력 을 이용하여 피험자의 정답여부에 따라 능력수준에 부합하는 난이도를 가진 문항을 선택하여 제시하는 과정을 반복함으로 써 피험자의 능력을 추정하는 검사방법 • 단일 검사가 아닌 복수의 검사를 피험자들 이 치르게 되는 방식 초기에 분류검사를 시행하여 학생들의 능력 수준을 판정한 후 이에 적합한 문제로 다음 시험을 보는 형식 다단계 검사 • 동일한 문항으로 시작하여 그 결과에 따라 문항이 변경되는 방식 전체 검사 의 형태가 초기 문항부터 시작되어 피라미드식으로 진행 되어가는 특성을 지님 피라미드식 검사
  • 15. 컴퓨터 개별 적응검사 문제은행 지필 검사보다 많은 수 의 양질의 문항이 필요하 기 때문에 문항들을 데이 터베이스화한 형태가 필 요 문항반응이론 문항의 난이도에 상관 없이 피험자의 문항모수 추정의 불변성을 확보하 여 피험자의 능력을 정확 하게 추정 가능함 검사알고리즘 진행과정에 따라 초기 에 특정 문항을 제시하는 기준, 다음 문항을 선별 하는 기준, 검사를 종료 하는 기준으로 구성되어 있음
  • 16. 1. 피험자의 능력 수준에서 크게 벗어나는 문항은 제 공하지 않음 2. 보다 효율적인 검사를 실시할 수 있으며 시간과 경 비가 절감되는 효과를 가져옴 3. 보안 문제와 시험 실시 중에 발생할 수 있는 부정행 위의 근절이 가능함 4. 정답에 오류가 있다하더라도 전체 검사 결과에는 큰 영향을 미치지 않음
  • 17. 문제의 재검토가 어려움 검사의 정확성과 효율성 에 손실을 주기 때문에 피험자들에게 부담을 주 는 경향이 있음 검토와 수정이 불가능하 기때문에 공정한 검사를 실시하는 데 방해가 됨 맥락효과를 지니는 문항 이 있을경우 새로운 보안의 문제 발 생 가능 특정 문항의 노출이 빈 번하게 일어날 수 있음 지필검사와의 동등성이 검증되지 않음 앞으로 많은 연구가 필 요