Presentación de Rosa M. Carro Salas, profesora titular en el Departamento de Ingeniería Informática de la UAM: «Análisis de datos, modelado de usuario y adaptación en contextos de aprendizaje»

1. Análisis de Datos,
Modelado de Usuario y Adaptación
en Contextos de Aprendizaje
Rosa Mª Carro Salas
Departamento de Ingeniería Informática
Universidad Autónoma de Madrid

2. Nuevas posibilidades
Fuentes para el aprendizaje
Información sobre el usuario

3. Análisis de
datos
Modelado de
usuario
(UM)
Analíticas del
aprendizaje
(LA)
Análisis de datos

4. Análisis de
datos
Modelado de
usuario
(UM)
Analíticas del
aprendizaje
(LA)
Análisis de datos

5. Modelado de usuario
• Aplicación o sistema adaptativo:
Motor de
adaptación
Usuario
Recursos
adaptados
Funcionalidad
adaptada
Herramientas
Recursos
Actividades
Estrategias
enseñanza &
aprendizaje
Recursos y
herramientas
adaptados
Estrategias

6. Modelado de usuario
Motor de
adaptación
Usuario
Recursos
adaptados
Funcionalidad
adaptada
Herramientas
Recursos
Actividades
Estrategias
enseñanza &
aprendizaje
Recursos y
herramientas
adaptados
Estrategias
• Aplicación o sistema adaptativo:

7. Modelado de usuario
ADAPTACIÓN
AGRUPACIÓN
RESULTADOSINFLUYE?(UM)
Habilidades
Personalidad
Emociones
Estilo de aprendizaje
Contexto
Intereses
Preferencias
Objetivos
etc.

8. Modelado de usuario
ADAPTACIÓN
AGRUPACIÓN
RESULTADOSINFLUYE(UM)
Habilidades
Personalidad
Emociones
Estilo de aprendizaje
Contexto
Intereses
Preferencias
Objetivos
etc.

9. Modelado de usuario
• Extraversion
• Neuroticism
• Conscientiousness
• Openness to experience
• Agreeableness
Personalidad:
NEO Five Factor
Inventory (60)
• Verbal (50)
• Espacial (22)
• Razonamiento general (30)
Inteligencia:
Primary Mental
Abilities (102)
• Percepción (sensing/intuitive)
• Procesamiento (active/reflective)
• Input (visual/verbal)
• Comprensión (sequential/global)
Estilos de
aprendizaje:
Felder-Solomon
(44)
Cuestionarios

10. Modelado de usuario
¿Forma alternativa de
obtener la información?
Objetivo:
forma menos intrusiva
posible
(UM)
Habilidades
Personalidad
Emociones
Estilo de aprendizaje
Contexto
Intereses
Preferencias
Objetivos
etc.

11. Adquisición de UM
Estilos de
aprendizaje
Emociones &
estados
emocionales
Personalidad
Towards Inferring Sequential-Global Dimension of Learning Styles from Mouse
Movement Patterns. D Spada, M Sanchez, P Paredes, RM Carro
AH’2008, LNCS 5149, 337-340, 2008
Movimientos
del ratón
Cuestionarios
(acortados)
adaptativos
Texto trabajo
Mensajes de estado en
Facebook: SentBuk
Interacciones en
Facebook: TP2010
Mensajes en Twitter

12. Adquisición de UM
Mouse movements
Learning styles (ILS)
Offline
processing
0 5 10 15
-11
-9
-7
-5
-3
-1
1
3
5
7
9
11
maximum vertical speed (pixels / ms)
sequential/globaldimensionscore
0 5 10 15
-1
1
maximum vertical speed (pixels / ms)
sign(sequential/globaldim.score)
sequentialglobal
seq
global
maximum vertical speed (pixels/ms) maximum vertical speed (pixels/ms)
r = -0.8accuracy =
94.4%

13. Adquisición de UM
AH-questionnaire: An adaptive hierarchical questionnaire for learning styles
A Ortigosa, P Paredes, P Rodriguez
Computers & Education 54 (4), 999-1005, 2010
Estilos de
aprendizaje
Emociones &
estados
emocionales
Personalidad
Movimientos
del ratón
Cuestionarios
(acortados)
adaptativos
Texto trabajo
Mensajes de estado en
Facebook: SentBuk
Interacciones en
Facebook: TP2010
Mensajes en Twitter

14. Adquisición de UM
Versión adaptativa cuestionario Silver-Solomon:
Dimensión
sensorial-intuitivo:
6 preguntas máximo (vs. 11)
Modelos de clasificación
Árboles de decisión

15. Adquisición de UM
Detecting and making use of emotions to enhance student motivation in
e–learning environments. P Rodriguez, A Ortigosa, RM Carro.
IJCEELL 24 (2), pp. 168-183, 2014
Estilos de
aprendizaje
Emociones &
estados
emocionales
Personalidad
Movimientos
del ratón
Cuestionarios
(acortados)
adaptativos
Texto trabajo
Mensajes de estado en
Facebook: SentBuk
Interacciones en
Facebook: TP2010
Mensajes en Twitter

16. Adquisición de UM
• Análisis de texto escrito (trabajos)
• Diccionarios de emociones
12 trabajos mismo estudiante:
Joy
AngerDisgust
Fear
Surprise
SadnessIntellectualy
Empathy
Spirituality
Neutral
Happiness
Negative
Positive
Zinck & Newen (2008)

17. Adquisición de UM
Sentiment analysis in Facebook and its application to e-learning
A Ortigosa, JM Martín, RM Carro.
Computers in Human Behavior 31, 527-541. 2014
Estilos de
aprendizaje
Emociones &
estados
emocionales
Personalidad
Movimientos
del ratón
Cuestionarios
(acortados)
adaptativos
Texto trabajo
Mensajes estado
Facebook: SentBuk
Interacciones en
Facebook: TP2010
Mensajes en Twitter

18. Adquisición de UM
Análisis de Sentimientos en SentBuk:
• Mensajes positivos, neutros y negativos
• Compañeros positivos, neutros y negativos
• Evolución a lo largo del tiempo
Técnicas de PLN y
aprendizaje automático
Solución híbrida
lexical-based + machine-learning
precision = 83,27%

19. Adquisición de UM
Predicting user personality by mining social interactions in Facebook
A Ortigosa, RM Carro, JI Quiroga
Journal of Computer and System Sciences 80 (1), 57-71, 2014
Estilos de
aprendizaje
Emociones &
estados
emocionales
Personalidad
Movimientos
del ratón
Cuestionarios
(acortados)
adaptativos
Texto trabajo
Mensajes estado
Facebook: SentBuk
Interacciones en
Facebook: TP2010
Mensajes en Twitter

20. TP-2010
• Infiere personalidad a partir de acciones en Facebook:
Datos de > 11.000 usuarios
Cuestionario ZKPQ-50-cc
Aprendizaje automático
Personalidad
Recomendación basada en personalidad
Comparación perfiles
Adquisición de UM
Árboles de clasificación.
Precisión con 5 clases:
entre 79.87% para Activity
y 82.82% para Aggression-Hostility

21. Adquisición de UM
Inferring User Personality from Twitter.
J. Llanos, A Ortigosa, RM Carro
Trabajo Fin de Máster de Julia Llanos
Estilos de
aprendizaje
Emociones &
estados
emocionales
Personalidad
Movimientos
del ratón
Cuestionarios
(acortados)
adaptativos
Texto trabajo
Mensajes estado
Facebook: SentBuk
Interacciones en
Facebook: TP2010
Mensajes en Twitter

22. Sistemas y Apps adaptadas
•Facilitar aprendizaje
•Ayudarles a desarrollar
habilidades
E-LEARNING,
E-TRAINING
•Ayudarles a sobreponerse
a las dificultades mientras
tanto
ASISTENCIA

23. Sistemas y Apps adaptativas
Y muchas gracias por vuestra participación
Emotions and inclusion in e-learning: student modelling and adaptive e-training.
R.M. Carro, Keynote speaker, e-Learning 2018

24. Análisis de
datos
Modelado de
usuario
(UM)
Analíticas del
aprendizaje
(LA)
Análisis de datos

25. SPA: Sistema de Predición de Abandono
A. Ortigosa, R.M. Carro, J. Bravo-Agapito, D. Lizcano, J.J. Alcolea and O. Blanco
From Lab to Production: Lessons Learnt and Real-Life Challenges of an
Early Student-Dropout Prevention System.
IEEE Transactions on Learning Technologies
UAM, UDIMA y DIMETRICAL:The Analytics Lab
• Contexto:
– universidades online (UDIMA)
• Objetivos:
– evitar abandono
– maximizar la efectividad de esfuerzos institucionales
• ¿Cómo?
– predecir riesgo de abandono
– intervenir para tratar de evitarlo

26. SPA: Sistema de Predicción de Abandono
• Fuentes información:
– UNIVERSITAS-XXI
o Datos administrativos y académicos
o Datos sociodemográficos
– Moodle
o Interacciones
• Predicciones:
– Tempranas: tras matrícula
– Dinámicas: periódicamente
• Estudiantes nuevos vs. Estudiantes “antiguos”

27. SPA: Modelos predictivos
Generación de modelos:
• Distintos algoritmos: Random Forest, C5.0,…
• Entrenamiento con datos de:
– 11.000 usuarios, más de 120 atributos para cada uno
– Últimos 5 años, cientos de millones de registros, varias BBDD
≈ 50 GB
Estudiantes nuevos
• 1 predicción inicial
(modelo estático)
• Predicciones periódicas
(modelos dinámicos)
Estudiantes antiguos
• 1 predicción inicial
(modelo estático)
• Predicciones periódicas
(modelos dinámicos)

28. SPA: El sistema
Implementación de SPA (DIMETRICAL). Módulos:
- Extraction/transformation/load engine (ETL)
- Model generation framework
- Scoring engine
- Web application

29. SPA: El sistema
Vista general de grado: nº estudiantes por nivel de riesgo.

30. SPA: El sistema
Inf. de estudiante: nivel de riesgo, acciones de retención, etc.

31. SPA: Intervenciones
• SPA permite registro e inspección de intervenciones.
• ¡Intervenir lo antes posible!
– E-mails
– Llamadas telefónicas
• Percepción sobre el impacto:
– Positivo/negativo/neutro
• Beneficios de retención:
– Incrementa satisfacción de los estudiantes
– Mejora índices y reputación de la universidad
– Económico: cuesta menos retener que atraer

32. SPA: Uso del sistema
• 3 semestres: 2016/17 – 2017/18
(pronto disponible inf. sobre persistencia en 2018/19)
• 5.700 estudiantes de grado
• 117.000 valores de riesgo calculados
• 13.000 acciones de retención registradas:
– 81% e-mails, 19% llamadas
– 77% neutras, 22% positivas, 1% “negativas”
• Departamento de Atención y Orientación al Estudiante
(UDIMA)

33. SPA: Uso del sistema
Resultados:
• Actuar si riesgo > 25% ha supuesto atender:
- 60% casos de abandonos reales
- 20% estudiantes que persisten
(¿habrían persistido sin intervención? ¿éxito: retención?)
• Fijando falso positivo = 20%, sensitivity = 65,5%.
• Estudiantes con alto riesgo (>50%):
– quienes han persistido han recibido más acciones de
retención que quienes han abandonado (0,89 vs. 0,69)
• Llamadas parecen más efectivas que e-mails

34. SPA: Uso del sistema
Comunicando resultados:

35. SPA: Experiencia producción
Retos afrontados y lecciones aprendidas:
• Efectividad del coste y viabilidad
• Cambios de contexto (organizativos y
operacionales)
• Explicabilidad de los modelos
• Integración con sistemas en continua evolución
• Validez de los modelos de predicción
• Mantenimiento y evolución
• Cumplimiento legal

36. Análisis de Datos,
Modelado de Usuario y Adaptación
en Contextos de Aprendizaje
Rosa Mª Carro Salas
Departamento de Ingeniería Informática
Universidad Autónoma de Madrid?