El documento describe Grubric, una aplicación desarrollada en la UNED para la corrección automática de preguntas con respuesta de texto libre. Consiste en tres herramientas (Gallito Studio, GallitoApi y Grubric) que utilizan procesamiento de lenguaje natural para brindar retroalimentación formativa a estudiantes de forma sostenible. La aplicación se ha utilizado con éxito en la asignatura de Historia Económica para mejorar la calidad de las respuestas de los estudiantes y su preparación para los exámenes.

1. Grubric: una aplicación desarrollada en la UNED-
España para la corrección automática de preguntas
con respuesta de texto libre
Miguel Santamaría Lancho
Mauro Hernández
Departamento de Economía Aplicada e Historia Económica. Facultad
de Ciencias Económicas y Empresariales
Grupo de Innovación Docente SALT-CG (Smart and Adaptive Learning
and Teaching)
UNED-España
07/07/2016 msantamaria@cee.uned.es 2

2. Índice
• 1.- ¿Por qué y para qué de esta aplicación?: el contexto
– 1.1.-Aprendizaje orientado a la adquisición de competencias
– 1.2.- Escribir para aprender: escritura como método de aprendizaje
• 2.- Grubric: una solución tecnológica para una evaluación formativa
sostenible para el desarrollo de competencias en instituciones con
elevado número de estudiantes
– 2.1.- Base tecnológica: procesamiento del lenguaje natural
– 2.2.- 3 aplicaciones: Gallito Studio – GallitoApi- GRubric
– 2.3.- ¿Cómo funciona?
• 3.- Primeras experiencias de utilización la asignatura Historia
Económica de la UNED
– 3.1.- Curso 2014-2015
– 3.2.- Curso 2015-2016
07/07/2016 msantamaria@cee.uned.es 3

3. ¿POR QUÉ Y PARA QUÉ DE ESTA
APLICACIÓN?: EL CONTEXTO
07/07/2016 msantamaria@cee.uned.es 4

4. La formación orientada a competencias
requiere nuevas formas de evaluar
CONOCIMIENTOS
HABILIDADES
ACTITUDES
“Los planes de estudios
… deberán, por tanto,
tener en el centro de sus
objetivos la adquisición de
competencias por parte
de los estudiantes… R.D. 1393/2007)
- Rúbricas
- Evaluación de competencias
transvesales
- Observación de desempeño

5. Contribución de la asignatura Historia
Económica a las competencias del titulo
*
*
*
*

6. 10 temas
Tipo test t.1
Preguntas desarrollo
Actividades
prácticas
Tipo test t.2
Preguntas desarrollo
Actividades
prácticas
Tipo test t. 10
Preguntas desarrollo
Actividades
prácticas
Examen final
10 Tipo test
2 puntos
5 Preguntas desarrollo
Hasta 5 puntos
Actividades
Prácticas
Hasta 3 puntos
1ª Actividad
práctica
2ª Actividad
práctica
EVALUACIÓN CONTINUA :
 2 PECs voluntarias hechas en línea y corregidas por el tutor
 10 pruebas tipo test (si se hacen en la fecha indicada)
Hasta
2 puntos
4,5
10 pruebas tipo test
1 punto 1 punto 1 punto
PARA INICIAR El CAMBIO METODOLÓGICO EMPEZAMOS
POR CAMBIAR EL SISTEMA DE EVALUACIÓN
EV.FORMATIVAFeedback
HECO-ADE: 3500 estudiantes
HEC-ECONOMIA: 950 estudiantes

7. Evaluación formativa
La escritura como método para aprender
1. Identificar la(s) carencia(s)
2. Ofrecer retroinformación (feedback)
3. “Ordenar” el aprendizaje
4. Responsabilizar al estudiante
• Black, P., & William, D. (2004). The formative purpose: Assessment
must first promote learning. In M. Wilson (Ed.), Towards coherence
between classroom assessment and accountability. Chicago:
University of Chicago Press.
• Sadler, D. R. (1989). Formative assessment and the design of
instructional systems. Instructional Science, 18(2),119–144.
Escritura Esquema
• Teaching Excellence in Adult Literacy (TEAL) Center
(2012). Just Write! Guide. Office of Vocational and
Adult Education (OVAE) (U.S. Department of
Education). Washington, DC.
• Popham, W. J. (2008). Transformative Assessment:
Association for Supervision and Curriculum
Development. 1703 North Beauregard Street,
Alexandria, VA 22311-1714.
(automática) = (sostenible)
Guillermo de Jorge y José María Luzón. UNED. Fac. Psicología
La evaluación formativa nos permite tomar decisiones sobre nuestra
actividad docente basadas en la evidencia. Si queremos ser profesores más
efecitvos y que nuestros estudiantes mejoren su rendimiento, la
evaluación formativa es la solución
Escribir para aprender es distinto de escribir para comunicarnos. Las
actividades de escritura orientadas al aprendizaje, son tareas que ayudan
a los estudiantes a adquirir conocimientos a través de la reflexión sobre
las ideas y conceptos claves y a plasmarlos por escrito a continuación. En
esencia, la función básica de las tareas de escritura para aprender es
ordenar y representar el contenido de nuestra personal experiencia de
aprendizaje

8. GRUBRIC: UNA SOLUCIÓN TECNOLÓGICA PARA UNA EVALUACIÓN
FORMATIVA SOSTENIBLE PARA APOYAR EL DESARROLLO DE
COMPETENCIAS EN INSTITUCIONES CON ELEVADO NÚMERO DE
ESTUDIANTES
07/07/2016 msantamaria@cee.uned.es 9

9. SEMANTIA LAB
• Proyecto de Investigación
Dpto. Psicología Evolutiva
• José María Luzón
• Guillermo de jorge
• SEMANTIA LAB Start-up UNED
http://semantialab.es/

10. Procesamiento de lenguaje natural
Procesos de análisis y cálculo basados en datos relacionales
“geosemánticos” capaces de cambiar los sistemas de
representación de las palabras/significados.
Dominio: Ciencias de la naturaleza Dominio: Literatura infantil
Zorro
Serpiente
Pato Zorro
Serpiente
Pato
UNA tecnología…
EsquemaVolver Tres aplicacionesGuillermo de Jorge y José María Luzón. UNED. Fac. Psicología

11. Motor de análisis lingüístico y
proveedor de resultados
- Puede conectarse con LMSs
… y TRES aplicaciones
informáticas
Herramienta de autor
• Corpus / Dominio
• Análisis y cálculos
• Espacios vectoriales
Solución web para el
ámbito educativo.
Califica y orienta
(feedback inmediato)
EsquemaVolver
Profesor/Autor
Nube privada
Estudiantes
Gallito Studio, GallitoAPI y G-Rubric son propiedad de
Semantia Lab, una spin-off de la UNED.
Guillermo de Jorge y José María Luzón. UNED. Fac. Psicología
1
2
3

12. “Resuma los aspectos más destacables del siguiente texto”
“Compare los puntos de vista de los autores que han tratado…”
“Reproduzca las ideas principales de la teoría de…”
TIPOS DE ACTIVIDADES QUE SE PUEDEN
PLANTEAR A LOS ESTUDIANTES
07/07/2016 msantamaria@cee.uned.es 13
EJEMPLOS DE ENUNCIADOS
“Exponga, causas, factores, consecuencias de…..”

13. ¿CÓMO FUNCIONA?
07/07/2016 msantamaria@cee.uned.es 14

14. Herramienta de
autor
• Corpus / Dominio
• Análisis y cálculos
• Espacios vectoriales
Profesor/Autor
1
Paso 1: CREACIÓN DE CORPUS DE CONOCIMIENTO
Y UN ESPACIO SEMÁNTICO
ESPACIO
SEMÁNTICO
PROPIO DE LA
DISCIPLINA
Resumidor y
titulador
Sistema (aux.) de
información
Evaluador de
textos académicos
Categorización
Categoriza un textode acuerdo con
una serie de conceptos previamente
establecidos.
Ofrece los “n” vecinos semánticos
más próximos a un concepto (palabra o
frase).
Proporciona las palabras o frases
que mejor representan al texto.
Evalúa un texto de acuerdo con
una serie de conceptos y “pesos”
determinados por un experto.

15. Paso 2 .- CREACIÓN DE OBJETOS DE
APRENDIZAJE
Enunciado
Respuesta de
oro
Ejes
El mercantilismo: políticas y objetivos.
El mercantilismo es un conjunto de ideas y políticas desplegadas en la Europa moderna (siglos
XVI, XVII y XVIII) con el objetivo de fortalecer al Estado a través de la economía,
especialmente mediante una balanza comercial favorable y la acumulación de metales
preciosos (bullonismo).
Las políticas son de varios tipos, destacando: a) las enfocadas a obtener superávit de balanza
comercial (proteccionismo arancelario, prohibición de exportar oro o plata o materias primas,
compañías comerciales privilegiadas, actas de navegación, monopolios coloniales); b)
fomento de las manufacturas (aranceles o prohibiciones de importaciones, leyes contra el
lujo, manufacturas reales); c) otras políticas: favoreciendo la natalidad, limitación o tasa de
precios interiores.
Suelen asociarse a los nombres de Colbert en Francia, o las compañías inglesas u holandesa
de Indias (VOC).
Definición/objetivos: mercantilismo, ideas, prácticas, Estado, economía, monarquía, fortalecer, reforzar,
aumentar, balanza comercial, favorable, bullonismo, metales preciosos, oro, plata, privilegios.
Políticas comerciales: comercio, proteccionismo, aranceles, prohibición, exportaciones, importaciones,
compañías privilegiadas, actas de navegación, colonias, monopolio, flota, mercante, superavit
Políticas manufactureras: manufacturas, fábricas, reales, lujo, sustitución de importaciones
Contexto: Europa, Inglaterra, Francia, Holanda, Colbert, XVI, XVII, XVIII, moderna, VOC, Indias Orientales,
Indias Occidentales.

16. Motor de análisis lingüístico y
proveedor de resultados
- Puede conectarse con LMSs
Solución web para el
ámbito educativo.
Califica y orienta
(feedback inmediato)
Nube privada
Estudiantes
2
3
Paso 3.- UTILIZACIÓN POR LOS
ESTUDIANTES

17. Identificación en G-Rubric
07/07/2016 msantamaria@cee.uned.es 18

18. Seleccionamos la actividad que
vamos a realizar
07/07/2016 msantamaria@cee.uned.es 19

19. Introducimos la respuesta
07/07/2016 msantamaria@cee.uned.es 20

20. Feedback primer intento
07/07/2016 msantamaria@cee.uned.es 21

21. Segundo intento
07/07/2016 msantamaria@cee.uned.es 22
Ampliamos el concepto e incluimos algunas de las políticas mercantilistas

22. Feedback segundo intento
07/07/2016 msantamaria@cee.uned.es 23

23. Comparativa
07/07/2016 msantamaria@cee.uned.es 24
Ampliamos el concepto e incluimos
algunas de las políticas mercantilistas

24. Informe tras la entrega
07/07/2016 msantamaria@cee.uned.es 25

25. PRIMERAS EXPERIENCIAS DE UTILIZACIÓN LA
ASIGNATURA HISTORIA ECONÓMICA DE LA UNED
07/07/2016 msantamaria@cee.uned.es 26

26. Experiencia curso 2014-15
Grupo Estilo Calificación Feedback Ensayos
Gr. 1    6
Gr. 2   6
Gr. 3   1

27. Resultados
Grupo Estilo Calificación Feedback Ensayos
Gr. 1    6
Gr. 2   6
Gr. 3   1
07/07/2016 msantamaria@cee.uned.es 28

28. Mejora de la calificación tras varios intentos
07/07/2016 msantamaria@cee.uned.es 29

29. Percepción subjetiva de mejora en la
preparación para examen
07/07/2016 msantamaria@cee.uned.es 30

30. Experiencia curso 2015-16
07/07/2016 msantamaria@cee.uned.es 31
- 120 inscritos
- 7 actividades voluntarias
- Dos actividades cada 10 días
- 3 intentos de respuesta
- Incentivo: Mejora en la nota en
función del número de intentos
realizados

31. Participantes
07/07/2016 msantamaria@cee.uned.es 32

32. Mejora entre intentos
07/07/2016 msantamaria@cee.uned.es 33

33. Motivación
07/07/2016 msantamaria@cee.uned.es 34

34. Percepción utilidad para mejora
07/07/2016 msantamaria@cee.uned.es 35

35. Acuerdo con calificaciones recibidas
07/07/2016 msantamaria@cee.uned.es 36

36. Capacidad motivadora del feedback
07/07/2016 msantamaria@cee.uned.es 37

37. Percepción capacidad mejora
07/07/2016 msantamaria@cee.uned.es 38

38. Valoración global
07/07/2016 msantamaria@cee.uned.es 39

39. Miguel Santamaría2 , José María Luzón1*, Mauro Hernández2 y Guillermo Jorge-Botana1
1 Dpto. de Psicología Evolutiva y de la Educación; Facultad de Psicología (UNED) / Semantia Lab (www.semantialab.es);
2 Dpto. de Economía Aplicada e Historia Económica; Facultad de CC. Económicas y Empresariales (UNED);
* Datos de contacto: 913 987 947 / jmluzon@psi.uned.es
Muchas gracias
07/07/2016 msantamaria@cee.uned.es 40