Presentación para la conferencia “La evaluación en los cursos abiertos online. Aprendizaje divergente y evaluación en los MOOC". XXIII Encuentro Internacional de Educación a Distancia. UDG Virtual. 2 de diciembre de 2015. 13h. Miguel Zapata-Ros. 

1. XXIII Encuentro
Internacional de
Educación a
Distancia
UDG Virtual
“La evaluación en los cursos
abiertos online. Aprendizaje
divergente y evaluación en los
MOOC".
2 de diciembre de 2015. 13h
Miguel Zapata-Ros.
http://www.um.es/ead/mzapata/
mzapata@um.es
es.slideshare.net/MiguelZapata6

2. Los MOOC a lo largo del tiempo

3. Los MOOC en la evolución de la Educación Abierta

4. 1. La evaluación en los cursos abiertos on-line
Una experiencia Curso de Alcalá y de Murcia
El marco: personalización y el problema de dos sigmas
Mastery Learning
Evaluación formativa
2. Evaluación y aprendizaje divergente
http://www.um.es/ead/mzapata

5. UNA EXPERIENCIA: CURSO
INVESTIGATIVO DE ALCALÁ Y
MURCIA

6. CURSO ABIERTO ONLINE “DISEÑO
INSTRUCCIONAL”

7. CURSO “DISEÑO
INSTRUCCIONAL DE CURSOS
ABIERTOS ONLINE Y MOOC”
año 2014-15 y 2015-16 (a partir de enero)
Reúne las condiciones de abierto y online (XXX, 2015a).
Con la estructura formal de MOOC de la Universidad de Alcalá, utilizando la
plataforma Open Edition de BlackBoard.
Inscrito 269 individuos,
Alcanzaron el logro en el primer módulo 20 (que consideramos el número de
estudiantes efectivo)
Obtuvieron el badge final correspondiendo al domino de los aprendizajes
establecidos para el curso (se hacía mediante la metodología de evaluación
de Mastery Learning) 4 alumnos.
Ha sido un curso investigativo que ha proporcionado resultados para todas
las hipótesis previstas.
Se produjeron todas las situaciones de enseñanza y de aprendizaje
previstos.
Hay una cantidad suficiente para su análisis merced a los 17.584 insights
producidos, de los cuales 13.694 corresponden a los foros de debate.

8. Dinámica e interacciones. Analítica de datos
mar-28 Foro principal
del curso
Módulo 0:
Bienvenida
Módulo 1: Total
Intervenciones 2 14 20 36
Intervinientes 2 11 13 19
18 de Abril
Total 29 47 135 14 95 320
Foro
principal
del curso
Módulo 0:
Bienvenida
Módulo 1:
Foro de la
Unidad 1:
Los cursos
online
abiertos y
el diseño
instruccion
al
Módulo 2:
Foro de la
Unidad 2:
Component
es del
diseño y
secuenciaci
ón
Presentacio
nes y
ajustes
Total

9. CONCLUSIONES PARA
UN MODELO DE CALIDAD
Se constata la importancia de contar con una analítica de datos
que permita llevar a cabo una adecuada evaluación formativa:
Dato empírico muy significativo:
Cuando se observaba merced a la analítica el alto índice de insigths que no correspondía
con el número de intervenciones en los foros, la conclusión es que había u altísimo número
de observadores y muy escaso de participantes y con escasa relevancia de las
intervenciones en relación con lo que se pedía, determinadas lecturas y manifestar el
dominio conceptual en los debates.
Como reacción se tomó la decisión de modificar los criterios del logro dando más valor a
la relevancia definida de una forma más detallada y concreta.
Como consecuencia inmediata se pudo percibir un aumento de intervenciones relevantes y
un aumento de logros.
Se concluye la importancia como indicador de calidad: ¿Hay un
uso efectivo de la analítica como instrumento de evaluación
formativa?

10. INDICADORES CUYA
SIGNIFICATIVIDAD SE HA
PUESTO DE RELIEVE Y
 Si hay un tratamiento específico para tratar la relevancia
en las intervenciones de foros, cuando de ellos dependa
la consecución del logro. Si hay un procedimiento que la
vincule con el análisis de la relevancia.
 Si existe, en los casos de cursos que utilicen la
evaluación por pares, una consideración de los tipos de
aprendizaje que se producen y la idoneidad de este tipo
de evaluación.

11. La personalización, una alternativa.
El marco de la personalización y dos
sigmas

12. 9 Characteristics Of 21st Century Learning
Teachthought 08/31/2012, Terry Heick http://www.teachthought.com/learning/9-characteristics-of-21st-century-learning/
1. Learner-centered
2. Media-driven (this
doesn’t have to mean
digital media)
3. Personalized
4. Transfer-by-Design
5. Visibly Relevant
6. Data-Rich
7. Adaptable
8. Interdependent
9. Diverse

13. Análitica de los datos masivos personalizados (Big
Data and Learning Analytics)
Consiste en la interpretación de una amplia gama de datos
producidos por los estudiantes, con referencia a cada uno de ellos,
para evaluar el progreso académico, predecir el rendimiento futuro,
y afrontar los posibles problemas de cada uno.
Los datos se obtienen de:
Las acciones estudiantiles explícitas: Completar las tareas y tomar
exámenes, y de
Las acciones tácitas: las interacciones sociales en línea,
actividades extracurriculares, mensajes en los foros de discusión y
otras actividades que no suelen ser vistos como parte del
trabajo de un estudiante.
El objetivo de la analítica del aprendizaje es que los profesores y las
escuelas adapten la educación y las posibilidades al nivel de cada
alumno, de sus necesidades y de sus capacidades.
http://eprints.rclis.org/19490/ y http://dialnet.unirioja.es/servlet/articulo?codigo=5166881

14. El problema de 2 sigma

15. 40 percentiles

16. Problema de 2 sigma y MOOCs

17. Mastery learning
La mayoría de los estudiantes pueden aprender
todo lo que las escuelas les pueden enseñar
siempre y cuando
• la enseñanza sea impartida de manera sensata y sistemática,
• el alumno reciba ayuda oportuna y adecuada cuando tenga dificultades,
• se le dé todo el tiempo que necesite para adquirir el dominio de la materia y
• que se establezca claramente lo que constituye la maestría.
La clave del éxito radica en la ayuda y el estímulo que oportunamente se le
puedan dar al estudiante para que supere sus dificultades.
Muchos maestros han demostrado gran ingenio en lograr que los estudiantes
hagan el debido esfuerzo adicional y en encontrar la manera más efectiva de
corregir sus deficiencias.
HUMAN CHARACTERISTICS AND SCHOOL LEARNING
Copyright © 1976 by Benjamin S. Bloom

18. Fuente Blog Coursera
http://blog.coursera.org/post/50352075945/5-tips-learn-more-effectively-in-class-with-mastery
¿Qué es Mastery Learning?
"La instrucción es la misma que en la clase convencional (por lo general con el mismo profesor) ... El promedio de
estudiante que seguía el Mastery Learning tenía una desviación estándar por encima de la media de la clase de
control (el promedio de estudiante que seguía el Mastery Learning estaba por encima del 84% de los estudiantes
en la clase de control). 1 "
En las aulas tradicionales, los estudiantes progresan a través de la clase, independientemente de su nivel de logro. En las aulas
de maestría del aprendizaje, los estudiantes deben entender completamente (demostrar el dominio de) el material antes de pasar
al siguiente tema. La metodología de dominio del aprendizaje trata de cómo los estudiantes navegan a través de ejercicios y
tareas. En un estudio seminal de Benjamin Bloom 1, se encontró que el enfoque de Mastery Learning mejorar la distribución de
los resultados de los estudiantes en una desviación estándar total por encima de la clase de control que utiliza el mismo método
de instrucción pero no requieren que los estudiantes dominen el material antes de continuar.
1“The 2 Sigma Problem: The Search for Methods of Group Instruction as Effective as One-to-One Tutoring.” B. Bloom, Educational Researcher
(1984).

19. 2. Evaluación, creatividad y aprendizaje divergente en
la Educación Abierta on-line.

20. El aprendizaje divergente:
La singularidad de los estudios creativos

21. ¿Nos imaginamos un MOOC sobre un taller de Literatura o
de Pintura o de Dibujo o de Música?…
¿O de resolución de problemas en Matemáticas? ¿Puede
haber MOOCs heurísticos?
En este tipo de MOOCs ¿dónde están los maestros? ¿Con
quién aprenden y con quién interactúan los alumnos?
¿Qué voy a aprender con mi par? ,
el que sabe/ignora lo mismo que yo.

22. Heurística: Un saber no científico, pero derivado muchas veces de los hábitos de
trabajo de los científicos (en ese sentido es un arte, una técnica o un conjunto
de procedimientos prácticos o informales) para resolver problemas.
Heurístico: Cada uno de esos procedimientos. Cada una de las
reglas metodológicas que proponen cómo proceder y cómo evitar dificultades para
resolver problemas y conjeturar hipótesis. no necesariamente formalizadas como
enunciados formales
La heurística es un rasgo propio de los humanos. Es un producto de la creatividad y
de lo que se conoce como pensamiento lateral o pensamiento divergente.
Pólya (1945): La heurística tiene como base la sistematización de la experiencia de
resolver problemas a partir de cómo lo hacen los expertos.
Aprendizaje divergente y enseñanza on line.

23. analizar el problema
concebir un plan
ejecutar el plan
utilizar técnicas recursivas
descomponiendo problemas en
problemas similares más sencillos.
Pólya da una serie de pautas:
Es un saber que se basa en otro: el de los expertos.
Es un saber divergente o lateral, que tiene una naturaleza poco frecuente, o poco
común.

24. El "pensamiento lateral o divergente"
es un paradigma dentro del área de la
psicología individual y de la psicología
social.
Es el pensamiento que está en la
génesis de las ideas que no
concuerdan con el patrón de
pensamiento habitual.
La ventaja se deriva de evitar, al
evaluar un problema, la inercia que se
produce en esos casos, que limita las
soluciones al problema.
El pensamiento lateral ayuda pues a
romper con ese esquema rígido, y por
ende posibilita obtener ideas creativas
e innovadoras.
Pensamiento lateral (lateral tinquen),
Edward de Bono (1968).
El contrario es igualmente cierto, estar en un contexto de ignorancia y de prejuicios o de
mediocridad inhibe el pensamiento lateral, divergente, y la creatividad.
Se puede considerar pues aprendizaje divergente aquel que utiliza los recursos del
pensamiento divergente.
La heurística es un rasgo propio de los
humanos. Es un producto de la
creatividad y de lo que se conoce
como pensamiento
lateral o pensamiento divergente.
Pólya (1945): La heurística tiene como
base la sistematización de la
experiencia de resolver problemas a
partir de cómo lo hacen los expertos.

25. Creatividad: El fluir y
la psicología del
descubrimiento y la
invención , Mihaly
Csikszentmihalyi
Además quienes producen una novedad aceptable en un campo parecen capaces
de usar bien dos formas opuestas de pensamiento: el convergente y el divergente. EI
pensamiento convergente es medido por los test de CI, y entraña resolver problemas
racionales bien definidos que tienen una sola respuesta correcta. El pensamiento
divergente lleva a una solución no convenida. Supone fluidez, o capacidad para generar
una gran cantidad de ideas; flexibilidad, o capacidad para cambiar de una perspectiva a
otra; y originalidad a la hora de escoger asociaciones inusitadas de ideas. Éstas son las
dimensiones del pensamiento que miden la mayoría de los test de creatividad y que la
mayoría de los talleres de trabajo intentan potenciar.
Probablemente es verdad que, en un sistema capaz de conducir a la creatividad,
una persona cuyo pensamiento sea fluido, flexible y original tiene más probabilidades de
ofrecer ideas novedosas. Por tanto, tiene sentido cultivar el pensamiento divergente en
laboratorios y empresas

26.  Estudio de Jordan:
Jordan, K. (2013). MOOC completion rates: The
data. Availabe at: http://www. katyjordan.
com/MOOCproject. html.[Accessed: 27/08/2014].
 Post de Hypotheses
Zapata-Ros, M. (2013). Enseñanza Universitaria en línea,
MOOC y aprendizaje divergente. Aula magna, 2.
http://red.hypotheses.org/427
Investigación sobre los datos
empíricos del estudio de Jordan

27. Cuatro categorías de revisión: Autoevaluación y evaluación por pares, autoevaluación sólo, evaluación por pares
exclusivamente y desconocido.
Podemos destacar:
1. Todos los que están con una tasa de conclusión superior al 10,8% son de autoevaluación sólo (excepto el
famoso “Inteligencia Artificial”, de Stanford).
2. Los de evaluación por pares sólo no superan el 3,21% de tasa de conclusión.
3. Los de ambos métodos no superan el 10,72%
4. El de Inteligencia Artificial se puede considerar de autoevaluación exclusivamente, según la metodología
que vemos en el propio MOOC (Thrun, S. y Norvig, P., 2012)
Jordan,K.(2013b).MOOCCompletionRates:TheData.
http://www.katyjordan.com/MOOCproject.html

28. 5. Como detalle menor se puede observar que la nube de puntos tiene un eje que señala una
correlación positiva cercana a 1 entre el tamaño y el índice de conclusión. No es la idea central de esta
entrada pero merece reseñarse

29. existe una correlación entre aprendizaje divergente y
creatividad, que se basa en una cualificación de los
maestros y en la interacción con los alumnos.
Y que
la evaluación de pares, al tener justamente una
correlación inversa con el aprendizaje divergente, la
inhibe.
Podemos pensar (hipótesis) que

31. En primer lugar estudiamos la covariación entre
la permanencia (el no abandono) y el grado de
autoevaluación o, como hemos visto, el
aumento de divergencia en el aprendizaje.

32. Variable Y Valor
Peer grading only 1
Auto and peer grading 2
Auto grading only 3
Para procesarla pasamos los datos a una hoja de cálculo.
Consideramos dos variables correspondientes a las columna “%
completed”, variable X, y “Assessment type”, Variable Y.
Esta última no es numérica.
Para que lo sea definimos una variable estadística discreta creciente
teniendo en cuenta la tabla del anterior sobre progresión de divergencia
favorecida por el tipo de evaluación

33. Obtuvimos un valor para el Índice de
Correlación de Pearson de 0,66884678.
Existe una correlación entre aprendizaje
divergente y creatividad por un lado y
permanencia o éxito en el MOOC por otro,
podemos pensar, más allá del análisis de la correlación,
que se basa en la cualificación de los maestros y en la
interacción de estos con los alumnos.
La evaluación de pares, al tener justamente una
correlación inversa con el aprendizaje divergente,
lo inhibe.

34. el trabajo de Jordan (2013b) permite obtener más pistas sobre
lo que está pasando en esta cuestión, así como una posible
forma de proceder para descartar que este efecto fuera
causado por otra variable.
Se podría pensar que intervienen otros factores en la permanencia de
alumnos como es la masificación.

35. Pero esto sucede de igual medida para los tres tipos de evaluación,

36. *
No nos debe extrañar este resultado.
Uno de los fundamentos filosóficos de los MOOCs tal como se
llevaron a cabo desde su principio por Siemens, Downes, et
al. ha sido el rechazo de la idea de resultados del
aprendizaje predefinidos (objetivos, competencias, etc.). Así,
el plan de estudios LAK12 dice al alumno:
"No espere poder leer y ver todo. Incluso nosotros, los
facilitadores, no podemos hacer eso. En su lugar, lo
que debe hacer es elegir el contenido que vea
interesante y apropiado para usted. Si le parece
demasiado complicado, no lo lea. Si le parece
aburrido, pase a la siguiente opción. "Los resultados
de aprendizaje serán, en consecuencia, diferentes
para cada persona. "

37.  Esto hace a los MOOC casi completamente inmunes a una
evaluación rigurosa, a admitir algo que funcione como un medio
para averiguar en qué ha mejorado el aprendizaje.
 No puede haber ninguna prueba previa uniforme (pretest). No
puede haber después ninguna prueba uniforme (postest). Al no
haber resultados previstos, iguales para todos, no hay resultados
generales para medir.
 Ergo, es difícil decir algo sobre MOOCs desde la perspectiva de si
tienen o no éxito en la facilitación del aprendizaje, al menos en
el sentido tradicional de "ganancias de aprendizaje“ que es el
paradigma de la evaluación educativa.
Si no podemos investigar ampliamente sobre la eficacia educativa de
MOOCs, tenemos dos opciones:
1ª progresar en una nueva educación abierta con diseño instruccional,
resultados de aprendizaje evaluables, etc y/o
2ª tal vez, por lo menos podamos investigar, como hemos hecho, acerca
de los impactos de los MOOC sobre los participantes. En un contexto
tecnológico, la analítica de aprendizaje permite correlacionar diversos
comportamientos, sus grados y patrones, con los resultados de
aprendizaje uniformes predefinidos.

38. O HACER AMBAS COSAS EN MODELOS ESCALABLES
DE ENSEÑANZA ABIERTA

39. www.um.es/ead/mzapata/ miguel.zapata@uah.es
Muchas gracias
miguel.zapata@uah.es