Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

Improving education by learning analtyics

14 visualizaciones

Publicado el

These are the slides of the invited talk "improving education by learning analytics" for the LAW studiedag 2017 https://www.maastrichtuniversity.nl/nl/events/studiedag-2017.

Publicado en: Educación
  • Sé el primero en comentar

  • Sé el primero en recomendar esto

Improving education by learning analtyics

  1. 1. ETHISCHE LEARNING ANALYTICS: EEN UTOPIE?” Tinne De Laet, KU Leuven
  2. 2. LEERDOELEN VAN DEZE LEZING • Je weet wat learning analytics is. • Je kan drie voorbeelden geven van learning analytics interventies. • Je kan de aanbevelingen van deze presentatie opzoeken.
  3. 3. INHOUD 1. Wie ben ik? Waarom ben ik hier? 2. Wat is learning analytics? 3. Ervaringen en aanbevelingen
  4. 4. WIE BEN IK? WAAROM BEN IK HIER?
  5. 5. WIE BEN IK? WAAROM BEN IK HIER? vrouw ingenieur Hoofd Dienst Studentenbegeleiding Ingenieurswetenschap pen . Tinne De Laet Tenure track docent
  6. 6. WIE BEN IK? WAAROM BEN IK HIER? Coordinator van STELA Erasmus+ forward-looking cooperation project •Forward-looking cooperation project: 562167-EPP-1-2015-1-BE-EPPKA3-PI- FORWARD •Successful Transition from secondary to higher Education using Learning Analytics •KU Leuven (Belgium), TU Delft (Netherlands), TU Graz (Austria), Nottingham Trent University (UK), European Society of Engineering Education (SEFI) • http://stela-project.eu/ KU Leuven promoter van ABLE Erasmus+ strategic partnership project •Strategic Partnership: 2015-1-UK01-KA203- 013767 •Achieving Benefits from Learning Analytics •Nottingham Trent University (UK), KU Leuven (Belgium), Leiden University (Netherlands) • http://www.ableproject.eu/
  7. 7. WAT IS LEARNING ANALYTICS?
  8. 8. WHAT IS LEARNING ANALYTICS? geen universeel aanvaarde definitie 11 “the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs” [1] [1] Learning and Academic Analytics, Siemens, G., 5 August 2011, http://www.learninganalytics.net/?p=131 [2] What is Analytics? Definition and Essential Characteristics, Vol. 1, No. 5. CETIS Analytics Series, Cooper, A., http://publications.cetis.ac.uk/2012/521 “the process of developing actionable insights through problem definition and the application of statistical models and analysis against existing and/or simulated future data” [2]
  9. 9. WAT IS LEARNING ANALYTICS? 12 [3] Learning Analytics and Educational Data Mining, Erik Duval’s Weblog, 30 January 2012, https://erikduval.wordpress.com/2012/01/30/learning-analytics-and-educational-data-mining/ “learning analytics is about collecting traces that learners leave behind and using those traces to improve learning” [Erik Duval, 3] † 12 March 2016 geen universeel aanvaarde definitie
  10. 10. WAT IS LEARNING ANALYTICS? Hoe verschilt learning analytics van instutionele data? [4] High-level figures: provide an overview for internal and external reports; used for organisational planning purposes. Academic analytics: figures on retention and success, used by the institution to assess performance. Educational data mining: searching for patterns in the data. Learning analytics: use of data, which may include ‘big data’, to provide actionable intelligence for learners and teachers. 13 [4] Learning analytics FAQs, Rebecca Ferguson, Slideshare, http://www.slideshare.net/R3beccaF/learning-analytics-fa-qs theoretishe inzichten? rapportering?
  11. 11. WAT IS LEARNING ANALYTICS? Verschillende niveaus van learning analytics 14Aangepast van http://www.slideshare.net/gsiemens/learning-analytics-educause niveau begunstigden course-level learners, teachers, faculties aggregate learners, teachers, tutors, counsellors, faculties institutional administrators, funders, marketing regional administrators, funders, policy makers national and international national and international governments, policy makers
  12. 12. WAT IS LEARNING ANALYTICS? learning analytics procesmodel 15 [Verbert et al. 2013] Verbert K, Duval E, Klerkx J; Govaerts S, Santos JL (2013) Learning analytics dashboard applications. American Behavioural Scientist, 10 pages. Published online February 2013, doi:
  13. 13. WAT IS LEARNING ANALYTICS? 6 essentiële dimensies 16 [Greller, W., & Drachsler, H. (2012). Translating Learning into Numbers: A Generic Framework for Learning Analytics. Educational Technology & Society, 15 (3), 42–57.
  14. 14. ERVARINGEN & AANBEVELINGEN
  15. 15. DUS …. data actionable inzichten verbetering van leren
  16. 16. DUS …. DATA data actionable inzichten verbetering van leren • veel data ZOU kunnen beschikbaar zijn • Wat IS beschikbaar? • academische performantie (studieresultaten) • sterke relatie met studiesucces • overal beschikbaar • digitale sporen van gedrag • card swipes, in-class polls, lab attendance • virtual learning environment (VLE) • data uit bevragingen • veel kennis en kunde bij pedagogen & onderwijskundigen REC 1: FOCUS EERST OP DATA DIE BESCHIK BAAR IS
  17. 17. DUS …. DATA elke instelling - academische resultaten ABLE@ KU Leuven 14 opleidingen 12 studieadviseurs >1000 students positioneer studenten ten opzichte van medestudenten impact: hoe deden geljkaardige studenten het in het verleden? steun voor plannen van toekomstig studietraject name student
  18. 18. DUS …. DATA specifieke context - academic engagement ABLE@NTU >25.000 studenten
  19. 19. DUS …. DATA specifieke context - online courses (MOOCs-SPOCS) STELA@ TU Delft >2.000 students Learning Tracker Hoe is mijn activiteit? Hoe was de activiteit van succesvolle studenten in het verleden?
  20. 20. DUS …. DATA data actionable inzichten verbetering van leren • combineer data die beschikbaar IS en die actionable inzichten kan genereren • data van pedagogische wetenschappen en onderwijsonderzoek • zelfgerapporteerd (“small data”) • gestandaardiseerde tests • voorbeeld van feedback op leer- en studeervaardigheden • data van universitaire databank (academische resultaten) • data van onderzoek over leer- en studeervaardigheden REC 1B: DENK VERDER DAN HET VANZELF - SPREKE NDE
  21. 21. DUS …. DATA Hoe is mijn concentratie ten opzichte van mijn medestudenten STELA@KU Leuven >1.600 studenten
  22. 22. DUS …. DATA Hoe deden eerdere studenten het in hun studie? STELA@KU Leuven >1.600 studenten
  23. 23. DUS …. ACTIONABLE INZICHTEN data actionable inzichten verbetering van leren REC 2: FEEDBAC K MOET ALTIJD ACTIONA BLE ZIJN “Meisjes zijn meer succesvol in het hoger onderwijs dan jongens” 70% succesv 60% succesv dus ?
  24. 24. DUS …. ACTIONABLE INZICHTEN verhoog activiteit in opleiding of vak kies toekomstig studietraject zorgvuldig werk aan je leer- en studeervaardigheden name student
  25. 25. DUS …. ACTIONABLE INZICHTEN als learning analytics het potentieel heeft om leren te verbeteren → (her)ontwerp de leeractivteiten zodat learning analytics haar potentieel kan realiseren data actionable inzichten improve learning DENK AAN LEARNIN G ANALYTIC S ALS JE LEER- ACTIVITEI TEN ONTWER
  26. 26. DUS …. ACTIONABLE INZICHTEN Hoe learning analytics in rekening brengen? 31 scor e vak verschillende weken traditioneel hoorcollege + oefenzittingen aantal dagen actief per week REC 3: DENK AAN LEARNIN G ANALYTIC S ALS JE LEER- ACTIVITEI TEN ONTWER verband resultaat op vak - activiteit op online leerplatform STELA@KU Leuven
  27. 27. DUS …. ACTIONABLE INZICHTEN geen enkele student die minder dan 10 modules raadpleegde slaagde voor het vak meest succesvolle studenten vervolledigen minstens 15 modules verband resultaat op vak - activiteit op online leerplatform STELA@KU Leuven DENK AAN LEARNIN G ANALYTIC S ALS JE LEER- ACTIVITEI TEN ONTWER vak met flipped teaching & blended learning Hoe learning analytics in rekening brengen?
  28. 28. DUS …. VERBETERING LEREN REC 4: GEBRUIK ALLE BESCHIK BARE EXPERTI SE •integreer alle expertise TIJDENS ontwikkeling •pedagogen, onderwijspsychologen, .. •computerwetenschappers & ICT experten & visualizatie-experten •onderwijzers •PRACTITIONERS!!! (studieadviseurs, tutoren, monitoren, onderwijsondersteuners, studentpsychologen, … ) •studenten •Hoe beschikbare tools en implementaties evalueren? data actionable inzichten verbetering van leren
  29. 29. DUS …. VERBETERING LEREN data actionable inzichten verbetering van leren •Integreer alle expertise TIJDENS ontwikkeling •Hoe beschikbare tools en implementaties evalueren? •Hebben ze leren verbeterd? Hoe kan je de impact meten? •Is “perceived usefulness” genoeg? •Is retentie het enige dat van belang is? Welzijn? Studentsucces? • schaalbaarheid MAAK EEN CHECKLIJ ST OM AANGEBO DEN TOOLS EN RESOUR CES TE
  30. 30. DUS …. VERBETERING LEREN Studenten vinden het goed…. Dus? Studenten die naar dashboard gingen hebben hogere studieresultaten? studentenfeedbac k op STELA leer- en studeervaardighe den STELA@KU Leuven >1600 studenten
  31. 31. DUS …. VERBETERING LEREN impact van learning tracker STELA@TU Delft WaterX C 1,268 160 MOOC COND. N # PASS PASS RATE T 1,251 188 12.6% 15.0% UrbanX C 771 136 T 746 165 17.6% 22.1% BusinessX C 164 46 28.0% WaterX C 1,268 160 MOOC COND. N # PASS PASS RATE T 1,251 188 12.6% 15.0% UrbanX C 771 136 T 746 165 17.6% 22.1% BusinessX C 164 46 T 160 54 28.0% 33.8% OVERALL C 2,203 342 T 2,157 407 15.5% 18.9% ** learning tracker verhoogt aandeel studenten die cursus succesvol beëindigen!
  32. 32. DUS …. VERBETERING LEREN data actionable inzichten verbetering van leren •Integreer alle expertise TIJDENS ontwikkeling •Hoe beschikbare tools en implementaties evalueren? •schaalbaarheid • impact: small scale – big effect = large scale – small effect • kijk verder dan één vak en dan een online context (MOOCs/SPOCs) • kies data zorgvuldig • stimuleer flexibele softwareoplossingen • open source oplossingen die geïntegreerd kunnen worden in universitaire systemen • verkies herbruikbare “blueprints” boven kant-en-klare maar starre implementatie REC 6: FOCUS OP SCHAALB AAR- HEID
  33. 33. DUS …. VERBETERING LEREN Let op! Voor impact komt AANVAARDING! • betrek alle stakeholders • zorg voor privacy en ethiek • actionable feedback • wat wil je doelgroep? → stakeholders worden vragende partij! REC 7: VOOR IMPACT KOMT AANVAAR DING
  34. 34. REC 7: VOOR IMPACT KOMT AANVAAR DING
  35. 35. REC 7: VOOR IMPACT KOMT AANVAAR DING
  36. 36. REC 7: VOOR IMPACT KOMT AANVAAR DING
  37. 37. REC 7: VOOR IMPACT KOMT AANVAAR DING
  38. 38. REC 7: VOOR IMPACT KOMT AANVAAR DING
  39. 39. REC 7: VOOR IMPACT KOMT AANVAAR DING
  40. 40. REC 7: VOOR IMPACT KOMT AANVAAR DING
  41. 41. NUTTIG DUIDELIJK INVLOED REC 7: VOOR IMPACT KOMT AANVAAR DING
  42. 42. ENKELE SLOTBEMERKINGEN •Ethiek en privacy zijn grote uitdagingen! • Ethiek: betrek practitioners, experten & doelpubliek • Privacyregelgeving kan barrière zijn maar learning analytics kan opportuniteit geven! → overzicht van en inzicht in data die al verzameld wordt! •Wees beducht voor kant-en-klare commerciële oplosisngen! • er bestaat geen “one size fits all” oplossing • brengt aanvaarding in gevaar van studenten én personeel • Wat ligt aan de basis van een aanbeveling? → actionable! → transparantie! •Werk samen en experimenteer! • (Europese) samenwerkingen zijn niet altijd makkelijk maar erg sitmulerend! • je leert van elkaar en dringt aan op vooruitgang in eigen context Voorbeelden: • ABLE: Leiden dringt aan op toegang tot data om studieadviseurs te ondersteunen • STELA: Graz dringt aan op datagebaseerde feedback naar studenten “ X% van de studenten met gelijkaardige studieresultaten hebben in het verleden …. “ slaagkans
  43. 43. STELA@KU Leuven >1.600 students ENKELE SLOTBEMERKINGEN •Ethiek en privacy zijn grote uitdagingen! • Ethiek: betrek practitioners, experten & doelpubliek • Privacyregelgeving kan barrière zijn maar learning analytics kan opportuniteit geven! → overzicht van en inzicht in data die al verzameld wordt! •Wees beducht voor kant-en-klare commerciële oplosisngen! • er bestaat geen “one size fits all” oplossing • brengt aanvaarding in gevaar van studenten én personeel • Wat ligt aan de basis van een aanbeveling? → actionable! → transparantie! •Werk samen en experimenteer! • (Europese) samenwerkingen zijn niet altijd makkelijk maar erg sitmulerend! • je leert van elkaar en dringt aan op vooruitgang in eigen context Voorbeelden: • ABLE: Leiden dringt aan op toegang tot data om studieadviseurs te ondersteunen • STELA: Graz dringt aan op datagebaseerde feedback naar studenten WERK SAMEN & EXPERIME NTEER WIJS OM COLLEGA’S EN BESTUUR TE STIMULER
  44. 44. AFSLUITER
  45. 45. AFSLUITER Ethische Learning Analytics •is geen utopie •… maar komt niet vanzelf! Learning Analytics •heeft GROOT potentieel •… maar is geen easy- win!
  46. 46. AANBEVELINGEN REC 1: focus eerst op data die beschikbaar is en denk verder dan het vanzelfsprekende REC 2: feedback moet ALTIJD “actionable” zijn REC 3: denk aan learning analytics als je leeractiviteiten ontwerpt REC 4: gebruik ALLE beschikbare expertise REC 5: maak een checklijst om aangeboden tools en resources te evalueren REC 6: focus op schaalbaarheid REC 7: voor impact komt aanvaarding REC 8: werk samen & experimenteer wijs om collega’s en bestuur te stimuleren
  47. 47. BEDANKT! •Forward-looking cooperation project: 562167-EPP-1-2015-1-BE-EPPKA3-PI- FORWARD •Successful Transition from secondary to higher Education using Learning Analytics •KU Leuven (Belgium), TU Delft (Netherlands), TU Graz (Austria), Nottingham Trent University (UK), European Society of Engineering Education (SEFI) • http://stela-project.eu/ •Strategic Partnership: 2015-1-UK01-KA203- 013767 •Achieving Benefits from Learning Analytics •Nottingham Trent University (UK), KU Leuven (Belgium), Leiden University (Netherlands) • http://www.ableproject.eu/

×