Talk on E-Assessment during AMEE 2011 in Vienna

1. J. Ehlers, E. Schaper, K-H. Windt, S. Aboling, A. Tipold Diversification of electronic assessment in veterinary medicine

3. 883 firstyearstudentsfrom 6,553 applicants

4. 180 items/30 min

6. Summative assessment Q [kju:] (Codiplan) 30.08.2011 4 Start: August 2008 126 exams 25,443 individual exams 9,602 questions Partlyblendedassessment EHLERS JP, CARL T, WINDT K-H, MÖBS D, REHAGE J, TIPOLD A: BlendedAssessment: Mündliche und elektronische Prüfungen im klinischen Kontext. In: Zeitschrift für Hochschulentwicklung 4, 3 (2009) 24-36

7. Students´ view

8. Post-review Statisticsforeach item & wholeexam 30.08.2011 6 Log files & item database

9. Acceptance summative e-assessment 30.08.2011 7 Was the system easy to use? (n = 5328, mean: 1,8) 1 2 3 How do you rate thewholeexam? (n = 5155, mean: 3,0) 1 2 3 4 5 6 (1= „yes, very, a lot, verygood“ to 6= „no, not at all, nothing, verybad“)

10. Acceptance summative e-assessment 30.08.2011 8 Do youtrust in theusedtechniques? (n = 5268, mean: 3,0) 1 2 3 4 5 6 Doesitmake sense touse an electronic systemforwrittentests? (n = 5249, mean: 3,1) 4 5 6 1 2 3 (1= „yes, very, a lot, verygood“ to 6= „no, not at all, nothing, verybad“)

11. Acceptance summative e-assessment 30.08.2011 9 Doesitmake sense touse MCQs? (n = 5283, mean: 3,7) 1 2 3 4 5 6 Shouldtherebemorewrittenthan oral exams? (n = 5228, mean: 3,8) 1 2 3 4 5 6 Do youthingwrittenexamsaremor fair than oral exams? (n = 5217, mean: 3,1) 1 2 3 4 5 6 (1= „yes, very, a lot, verygood“ to 6= „no, not at all, nothing, verybad“)

12. Pyramide ofcompetencies (MILLER) 30.08.2011 10 Perfomance„in vivo“: MiniCEX (undercov. stand. patients) Does Performance „in vitro“: OSCE (stand. patients) Shows Prozedurale knowledge: Key-feature, oral exams Knows how Deskriptive/ elaborativeKnowledge: MCQ, oral exams Knows MILLER GE (1990): The Assessment of Clinical Skills/Competence/Performance. AcadMed 65, 63-67

13. Proceduraleknowledge Useofmedia 30.08.2011 11

14. Proceduraleknowledge Picture analysis 30.08.2011 12

15. Proceduralknowledge 30.08.2011 13 N²E² Niedersächsisches Netzwerk für ePrüfungen und eAssessment Answer question 1 Answer question 2 Continuationvignette Continuationvignette Vignette Question 3 Question 1 Question 2 SCHAPER E, FISCHER MR, TIPOLD A, EHLERS JP: Fallbasiertes, elektronisches Lernen und Prüfen in der Tiermedizin - auf der Suche nach einer Alternative zu Multiple-Choice Prüfungen. Tierärztl. Umschau 66, 261-268

16. Key-featureexample 30.08.2011 14 N²E² Niedersächsisches Netzwerk für ePrüfungen und eAssessment 11 KFQ, 40 examinees -> Cronbach´sα = 0,68

17. Proceduraleknowledge/skills Botany „o-test“ 30.08.2011 15 E-exampartlywith„peer-generated“ MCQ Identification-exercise in theuniversity´sbotanicalgarden ABOLING S, WINDT K-H, POHL D, EHLERS JP: Lehr- und Prüfungsmethoden im Fach veterinärmedizinische Botanik mit besonderer Berücksichtigung des Konzepts o-test. ZFHE 6/1, 19-33

18. Last days…. 30.08.2011 16 Histology Botany

19. Conclusions… E-assessmentispossible! Regardtheir potential! Develop e-assessmentfurther! (don´tonlycopywrittentests) 30.08.2011 17

20. Thankyouforyourattention! 30.08.2011 18 Contact Dr. Jan P. Ehlers, M.A. E-learningconsultant University ofVeterinaryMedicine Hannover Bünteweg 2 – D-30559 Hannover +49-511-953-8054 jan.ehlers@tiho-hannover.de www.tiho-hannover.de