VII Jornadas eMadrid "Education in exponential times". Premios eMadrid 2017. Antonio Balderas Alberico "Evaluación de competencias genéricas basada en indicadores procedentes de registros de actividades de aprendizaje". 03/06/2017.

1. Evaluación de competencias
genéricas basada en indicadores
procedentes de registros de
actividades de aprendizaje
Antonio Balderas

2. Introducción
“All skills are important with some being more vital for
some jobs than others. Obviously, some such as
communication, teamwork, integrity, etc. are
nonnegotiable”
Quinton Sturder [1]

3. Introducción

4. Introducción

5. Introducción
Objetivo principal:
Proporcionar un método y una herramienta informática
para diseñar y contrastar estrategias de evaluación de
competencias genéricas a partir de los registros de
actividad de los entornos virtuales de aprendizaje.

6. Método evaluación competencias genéricas
Método DBA (Design-Based Assessment): método para diseñar evaluaciones a
partir de la información contenida en los registros de los entornos virtuales.

7. Método evaluación competencias genéricas
Método DBA (Design-Based Assessment): método para diseñar evaluaciones a
partir de la información contenida en los registros de los entornos virtuales.

8. Método evaluación competencias genéricas
Ejemplo 1 (liderazgo)
 Equipos de estudiantes realizan sus trabajos en una página del wiki.
 Queremos evaluar la competencia genérica del liderazgo.
 Hipótesis inicial: se considera que un estudiante ha desempeñado un rol de
liderazgo si se encarga de las primeras o las últimas ediciones en la página del
wiki antes de la entrega final.

9. Método evaluación competencias genéricas
Ejemplo 1 (liderazgo)
Evidence liderazgo_wiki:
get students
show interaction
in wiki.

10. Método evaluación competencias genéricas
Ejemplo 2 (habilidades interpersonales)
 Los estudiantes trabajan en equipo y deben usar para comunicarse el foro del
campus virtual.
 Queremos evaluar la competencia genérica de las habilidades
interpersonales.
 Hipótesis inicial: se considerará que un estudiante ha desempeñado
satisfactoriamente la competencia de las habilidades interpersonales si ha
escrito al menos dos mensajes en el foro en la semana.

11. Método evaluación competencias genéricas
Ejemplo 2 (habilidades interpersonales)
Evidence participacion_foro:
get students
show participation
in forum between 2015-10-21
and 2015-10-27.
id username Debate
starter
Debate
participation
Total
1 student1 1 2 3
2 student2 0 4 4
3 student3 0 1 1
4 student4 1 2 3
5 student5 0 2 2

12. Método evaluación competencias genéricas
Ejemplo 2 (habilidades interpersonales)
Evidence participacion_foro:
get students
show participation
in forum between 2015-10-21
and 2015-10-27.
id username Debate
starter
Debate
participation
Total
1 student1 1 2 3
2 student2 0 4 4
3 student3 0 1 1
4 student4 1 2 3
5 student5 0 2 2

13. Método evaluación competencias genéricas
Ejemplo 2 (habilidades interpersonales)
 Hipótesis inicial: se considerará que un estudiante ha desempeñado
satisfactoriamente la competencia de las habilidades interpersonales si ha
escrito al menos dos mensajes en el foro en la semana y ha interactuado con
más de un compañero a la semana.

14. Método evaluación competencias genéricas
Ejemplo 2 (habilidades interpersonales)
Evidence participacion_foro:
get students
show interaction
in forum between 2015-10-21
and 2015-10-27.

15. Lenguajes de dominio específico
 DSL (Domain Specific Language): herramienta elegida para
implementar el método.
 Cercana al dominio
 Personalización evaluaciones
 Se implementan dos DSL para dos Entornos Virtuales de Aprendizaje
(VLE):
1. Moodle (LMS): SASQL y EvalCourse
2. Mundo Virtual basado en OpenSim: VWQL y EvalSim

16. SASQL y EvalCourse
 Orientado a los LMS, primer desarrollo para Moodle.
 EvalCourse: software que se conecta a la base de datos del LMS e interpreta
consultas escritas en SASQL
 SASQL: Simple Assessment Specific Query Languaje: DSL creado para
implementar el método en LMS.
 Su desarrollo se basa en los principios y técnicas de la ingeniería dirigida por
modelos (MDE).
Evidence indicator_name:
get students
show milestones | participation | Access | interaction | assessment
in forum | assignment | campus | workshop| wiki [list of ids]
between YYYY-MM-DD and YYYY-MM-DD
from course id | backup.

17. SASQL y EvalCourse
 Estudios de caso
Curso Fuente Competencias
2012-13 Asignaturas de Ingeniería Informática: PLII y PF
Habilidades interpersonales,
liderazgo y capacidad crítica
2013-14
Proyecto de Actuación Avalada: Extracción de
indicadores objetivos para evaluación del
desarrollo de competencias genéricas a partir de
registros de actividad del Campus Virtual
Trabajo autónomo, habilidades
interpersonales, aplicación del
conocimiento en situaciones
prácticas, planificación y
gestión del tiempo y trabajo en
equipo2014-15
Proyecto de Actuación Avalada: Evaluación
de competencias genéricas mediante la
extracción de indicadores de los registros de
actividad del wiki de Moodle

18. VWQL y EvalSim
 Orientado a los mundos virtuales, desarrollado para un mundo virtual basado en
OpenSim.
 EvalSim: software que se conecta a la base de datos del mundo virtual e
interpreta consultas escritas en VWQL
 VWQL: Virtual World Query Languaje: DSL creado para implementar el método en
los mundos virtuales.
Evidence indicator_name:
get students
show (words [dict] | sentences | turns | single | time | points)+
between YYYY-MM-DD and YYYY-MM-DD.

19. VWQL y EvalSim
 Estudios de caso
Curso Fuente Competencias
2014-15
Asignatura de Alemán como lengua
extranjera
Habilidad para comunicarse en
una segunda lengua

20. Conclusiones
 Se proporcionó un método para diseñar y contrastar evaluaciones de
competencias genéricas a partir de los registros de actividad de los VLE: El
método DBA.
 Se desarrollaron dos DSL (SASQL y VWQL) que implementan el método en Moodle
(LMS) y en mundos virtuales respectivamente.
 De los resultados de la evaluación realizada se deriva que el método DBA
permite abordar la evaluación de competencias genéricas, ya que aporta
indicadores objetivos del trabajo del estudiante en entornos virtuales de
aprendizaje que han sido positivamente valorados en los estudios.
 Características más valoradas del método DBA: adaptabilidad, sistematicidad y
flexibilidad.
 Características más valoradas de los DSL: facilidad de aprendizaje, eficacia, eficiencia y
capacidad de reutilización.

21. Referencias
1. http://www.pnj.com/story/money/2017/06/03/studer-column-soft-skills-underrated-business-
cultur/355049001
2. B. Kitchenham, C. Stuart. Guidelines for performing systematic literature reviews in software
engineering. In Technical report, Ver. 2.3 EBSE Technical Report. EBSE, 2007.
3. T. Anderson, J. Shattuck. Design-based research a decade of progress in education research?
Educational researcher, 41(1),16–25, 2012
4. A. Balderas, J. M. Dodero, M. Palomo-Duarte, I. Ruiz-Rube. A Domain Specific Language for
Online Learning Competence Assessments. International Journal of Engineering Education,
31(3), 851-862, 2015
5. A. Balderas, A. Berns, M. Palomo-Duarte, J. M. Dodero, I. Ruiz-Rube. Retrieving Objective
Indicators from Student Logs in Virtual Worlds. Journal of Information Technology Research, 10,
2017,

22. Gracias por su atención
¿Preguntas?
antonio.balderas@uca.es @abalderico