Más contenido relacionado Más de Karsten D. Wolf (20) Simulations- und spielbasierte Kompetenzmessung1. Workshop A1
Simulations- und spielbasierte
Kompetenzmessung?
Karsten D. Wolf
Fachbereich 12
Didaktische Gestaltung multimedialer Lernumgebungen
6. Fernausbildungskongress
8.10.2009 Helmut-Schmidt Universität der Bundeswehr, Hamburg
A1 Simulations- und spielbasiertes Lernen
rickydiver78 on flickr
© Karsten D. Wolf 2008
Montag, 21. September 2009
2. Videostill (Smash Court Tennis 3 on Playstation 3) rickydiver78D. Wolfflickr
cc by Karsten on 2007
Montag, 21. September 2009
5. Es muss nicht immer ein Computer sein
Montag, 21. September 2009
6. Is Simulation Worth the Effort?
Johnson 2006
• Hohe Entwicklungskosten müssen sich lohnen
• Identifikation hochkompetenter Personen besonders wertvoll
• Identifikation schlechter Performanz besonders wichtig
• Echte Arbeitsleistungen liegen zur Bewertung nicht vor
• Zu gefährlich
• Zu selten
• Gelegenheit zum Testen nicht vorhanden oder schwierig zu beobachten
• Zulassungsprüfung, um „echt“ zu arbeiten
• Kombination mehrerer Fertigkeiten miteinander, Messung einzelner
Konstrukte greift zu kurz
© Karsten D. Wolf 2009
Montag, 21. September 2009
7. Weitere Punkte, die bedacht werden müssen
• Realistische Simulation überhaupt möglich?
• Interaktionspartner Menschen oder physikalische Strukturen bzw. künstliche
Algorithmen?
• Frage der (insbesondere äußere Kriteriums-) Validität
• Finanzierbarkeit ab 1000+ Personen
• Gibt es nicht einfachere bzw. bereits vorliegende Kennzahlen?
© Karsten D. Wolf 2009
Montag, 21. September 2009
10. • gefahrene Kilometer/Monat
• Spritverbrauch
• Termintreue
• Unfälle
• Reparaturkosten
• etc.
Nandu Chitnis on flickr
Montag, 21. September 2009
13. • Umsatz / Monat
• Beschwerden / Verkaufsfälle
• Umtauschfälle / Verkaufsfälle
• Kundenzufriedenheit
• etc.
hugovk on flickr
Montag, 21. September 2009
14. Entertaining Games with Non-Entertainment
Goals
Goal orientated ‘play’, often in real world
scenarios, intended to ‘improve’ the player/s
knowledge, awareness or skills (Gary Hayes)
Datenbank mit 500+ Serious Games
Montag, 21. September 2009
15. Neuer Trend:
Productivity Games
Beim Spielen Arbeit erledigen…
Montag, 21. September 2009
16. Social
Reality
Game
Montag, 21. September 2009
19. „…we learned that the transparent
environments created in online
games made leadership easier to
assume. And that leadership in
online games is more temporary
and flexible than it is in the
business world. And finally, online
games give leaders the freedom
to fail, and experiment with
different approaches and
techniques, something that any
Fortune 500 company that hopes
to innovate needs to understand.“
Montag, 21. September 2009
20. Learn from mistakes of self and others
Follows through on commitments / words = actions
Montag, 21. September 2009
23. Kompetenzen als Lern-Lehr-Ziele
Nach Weinert (2001, S.27 f.) versteht man Kompetenzen als
„die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven
Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die
damit verbundenen motivationalen, volitionalen und sozialen
Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen
Situationen erfolgreich und verantwortungsvoll nutzen zu können“.
Nach Straka & Macke (2009) beinhalten Kompetenzen
Dispositionen (motorische, kognitive, emotionale, motivationale),
deklaratives und prozedurales Wissen, Fähigkeiten und Fertigkeiten sowie
moralische Urteilsfähigkeit
© Karsten D. Wolf 2009
Montag, 21. September 2009
24. Gewicht?
Größe?
Schnelligkeit?
Montag, 21. September 2009
25. Kompetenzen?
Persönlichkeit?
Einstellungen?
Interesse &
Motivation?
Montag, 21. September 2009
26. „Ein Test ist ein wissenschaftliches Routineverfahren
zur Untersuchung eines oder mehrerer empirisch
abgrenzbarer Persönlichkeitsmerkmale mit dem
Ziel einer möglichst quantitativen Aussage über den
relativen Grad der individuellen Merkmalsaus-
prägung“ (Lienert 1969, S. 7)
© Karsten D. Wolf 2008
Montag, 21. September 2009
27. Anforderungen an Testverfahren
• Sparsames Modell mit theoretischer Fundierung
• Integration wesentlicher Aspekte der Kompetenz
• Gütekriterien
• Objektivität (online nur im Testcenter möglich)
• Reliabilität
• Validität (Inhalts-, Kriteriums-, Konstrukt-)
• Relevanz
• Akzeptanz
• Veränderbarkeit
• Leichte Anwendbarkeit
© Karsten D. Wolf
Montag, 21. September 2009
32. Eine einfaches Testmodell
Tes
au t-
fga
V=PxU
Richtig =
Hohe Kompetenz x Schwere Aufgabe
© Karsten D. Wolf 2009
Montag, 21. September 2009
33. Das Testmodell in der Anwendung
A
> B
A: Richtig = B: Falsch =
Hohe Kompetenz Niedrige Kompetenz
x Schwere Aufgabe x Schwere Aufgabe
© Karsten D. Wolf 2009
Montag, 21. September 2009
34. Wie „schwer“ ist eine Aufgabe?
100kg
60kg
80kg
40kg
Montag, 21. September 2009
35. Maximalkraft?
80kg
60kg
100kg
40kg
Montag, 21. September 2009
36. Maximalkraft?
80kg
60kg
100kg
40kg
Θ=40 Θ=60 Θ=80 Θ=100
Montag, 21. September 2009
38. Kurve der Itemcharakteristik (ICC)
p(x)
60kg Gewicht
100%
80kg Gewicht
50%
0%
Θ
40 60 80 100
© Karsten D. Wolf 2007
Montag, 21. September 2009
39. Kurve der Itemcharakteristik (ICC)
p(x)
60kg Gewicht
100%
80kg Gewicht
50% Aufgabe (Item)
ist schwerer
0%
Θ
40 60 80 100
© Karsten D. Wolf 2007
Montag, 21. September 2009
40. Wie bestimmt man Kompetenzstufen?
Experten/-innen
IV
III
II
I
Theoretisches Kompetenzmodell
© Karsten D. Wolf 2007
Montag, 21. September 2009
41. Wie bestimmt man Kompetenzstufen?
A B C D E F G H I J K
IV
III
II
I
Theoretisches Kompetenzmodell
© Karsten D. Wolf 2007
Montag, 21. September 2009
42. Wie bestimmt man Kompetenzstufen?
A B C D E F G H I J K
Theoretisches Kompetenzmodell
© Karsten D. Wolf 2007
Montag, 21. September 2009
43. Wie bestimmt man Kompetenzstufen?
I II III IV
A C E B F H D I G J K
Empirisches Kompetenzmodell
© Karsten D. Wolf 2007
Montag, 21. September 2009
44. Wie bestimmt man Kompetenzstufen?
I II III IV
A C E B F H D I G J K
Empirisches Kompetenzmodell
© Karsten D. Wolf 2007
Montag, 21. September 2009
47. Trennschärfe: 0 kann es nicht, 2 schon
100%
50%
0%
Θ
-2 -1 0 1 2
© Karsten D. Wolf 2007
Montag, 21. September 2009
50. Test Wiseness – Probleme von MC-Tests
Hixek norfolken piffle?
(a) Hiku nippon ibitus
(b) Efil Yadlan Ruoj
(c) Yokon Gnithol
(d) Ikkek zippo unkerzotz notiaplan
hippolslumg enslife yolent
http://www.kvhigh.com/learning/testtips.html
© Karsten D. Wolf
Montag, 21. September 2009
51. Test Wiseness: Längste Alternative ist richtig!
Hixek norfolken piffle?
(a) Hiku nippon ibitus
(b) Efil Yadlan Ruoj
(c) Yokon Gnithol
(d) Ikkek zippo unkerzotz notiaplan
hippolslumg enslife yolent
http://www.kvhigh.com/learning/testtips.html
© Karsten D. Wolf
Montag, 21. September 2009
52. Performance Based Assessment
Shavelson
• Die Leistung messen, die gelernt werden soll
• Performance: Bewegen im Raumanzug
• Systematische Variation der Anforderungen
• Was macht etwas schwieriger?
• Adäquanz zwischen z.B. allgemeiner Fitness
und kontextualer Anforderung?
• Inwieweit führt die Kombination von Faktoren
zur Notwendigkeit der authentischen Prüfung?
© Karsten D. Wolf 2009
Montag, 21. September 2009
53. Chirurgische Simulationen
Heinrichs/Lukoff/Youngblood/Dev/Shavelson 2007
© Karsten D. Wolf 2009
Montag, 21. September 2009
56. Evidence Centered Design
Competency <=> Proficiency
Shute/Ventura/Bauer/Zapata-Rivera
© Karsten D. Wolf 2007
Montag, 21. September 2009
59. Warum Serious Games und nicht Simulationen?
• Motivation (Relevanz und Bedeutsamkeit)
• Emotion (Immersion und Betroffenheit)
• Volition beweisen
• Flow erleben
• Beobachtung des Verhaltens über längere Zeit
• Arbeiten in Gruppen - Gruppenperformanz messen
• Kurt Squire: From Content to Context – Videogames as Designed
Experience
© Karsten D. Wolf 2009
Montag, 21. September 2009
60. Forschungsfelder
• Kompetenzmodelle entwickeln
• Testmodelle empirisch validieren
• Integration in Simulationen und Serious Games
• Diagnostik
• Förderdiagnostik
• Intensives und adaptives Üben
© Karsten D. Wolf 2009
Montag, 21. September 2009
62. FB 12 Erziehungs- und Bildungswissenschaften
Didaktische Gestaltung
multimedialer Lernumgebungen
http://www.ifeb.uni-bremen.de/wolf
wolf@uni-bremen.de
http://www.ifeb.uni-bremen.de/assessment/
Montag, 21. September 2009