A L F R E D O P R I E T O
1
Evaluación continua más formativa
y eficiente
en los nuevos grados
11
CSIC/UAH
Agenda de la sesión
2
1. Evaluación continua mas formativa y eficiente
2. Cómo evaluaremos las competencias genéricas
3. Evaluación de ganancias de aprendizaje FCI
4. Evaluación de la comprensión profunda (SOLO) y de
operaciones de alto nivel cognitivo (Bloom)
5. Construcción de preguntas de calidad para pruebas de
elección entre múltiples opciones
6. Estudios de caso en evaluación alineada.
7. ¿Qué problemas tenemos para evaluar a nuestros alumnos?
8. Selección de instrumentos de evaluación
A S S E S S M E N T P R A C T I C E S M U S T S E N D T H E R I G H T S I G N A L S , T H E
P U R P O S E O F A S S E S S M E N T M U S T B E C L E A R , A N D T H E
A S S E S S M E N T T A S K S S H O U L D C O V E R T H E O B J E C T I V E S O F
L E A R N I N G .
J O H N B I G G S 2 0 0 3 T E A C H I N G F O R Q U A L I T Y L E A R N I N G A T
U N I V E R S I T Y : W H A T T H E S T U D E N T D O E S ,
01 Evaluación continua más
formativa y eficiente
en los nuevos grados sanitarios
3
¿Por qué la evaluación del aprendizaje es
importante en la enseñanza?
4
 Porque es la herramienta más poderosa que tenemos los profesores
para estimular y orientar el trabajo y el aprendizaje de nuestros
alumnos.
You get what you assess
And you don’t get what you
don’t assess
¿ Cuál es la fuerza más poderosa para
producir aprendizaje ?
5
 La evaluación
 ¿Por qué?
 Pues dependiendo de ella se determina:
 1 qué se aprende,
 2 cómo se aprende y
 3cuándo se aprende.
¿Por qué es importante que los profesores
universitarios aprendamos a evaluar?
6
 Porque no hemos sido formados para ello y seguimos las
tradiciones departamentales casi a ciegas sin habernos planteado otras
alternativas.
 Muchas veces evaluamos como nos evaluaron cuando fuimos
estudiantes (al menos hasta que nos obligaron a cambiar de método).
 Nuestra práctica evaluativa suele basarse más en la tradición
departamental que en las mejores prácticas descritas en la literatura
sobre enseñanza universitaria.
 En el EEES se exige aplicar sistemas de evaluación continua.
 Para salir de esta situación hay que estudiar la literatura sobre
evaluación en educación universitaria.
¿ Cómo debemos evaluar para que nuestros
alumnos aprendan más y mejor?7
1. De manera auténtica, continua y frecuente
2. proporcionando retroinformación (feedback)
1. sin dilación (lo más inmediato posible)
2. Discriminativa
3. Amable
4. Colectiva (para que nuestro trabajo sea eficiente) el feedback
personalizado es muy bonito pero si tienes 100 alumnos
puede ser insostenible.
Evaluación continua (EC)
8
 ¿Qué es la EC? ¿es formativa? ¿es sumativa?
 ¿Qué diferencia a la buena EC de la evaluación fragmentada o dividida?
 ¿Por qué debemos usar la EC?
 ¿Cómo debe ser la EC para que motive más el trabajo de nuestros alumnos?
 ¿Qué ventajas e inconvenientes tiene la EC?
 ¿Es útil la evaluación continua?
 ¿Qué información útil nos puede proporcionar la evaluación continua de
nuestros alumnos?
 ¿Qué características son importantes en la EC y no se pueden comprometer?
 ¿Cómo debe ser la evaluación continua para que motive más el trabajo de
nuestros alumnos?
¿Qué es la evaluación continua (EC)?
 La que se hace durante el proceso de
aprendizaje.
¿Es formativa?
¿Es sumativa?
La buena evaluación continua debe ser ambas
cosas, formativa y sumativa?
9
Debe tener repercusión en la calificación (impacto) aunque lo ideal es que esta sea baja
Falsas (pero útiles) dicotomías en
evaluación:
Evaluación
sumativa
Calificativa, acreditativa,
certificativa
Medir con validez, fiabilidad
Estimula al estudio por obtener
el resultado deseado
Evaluación
formativa
mejora el aprendizaje
Dirigir el esfuerzo
y aportar retroinformación
Para la mejora
La buena
Evaluación
Continua es
formativa
y sumativa
Estimula y forma
LOW STAKES
ASSESSMENT
impacto
Educativo
HIGH STAKES
ASSESSMENT
Validez
Fiabilidad
¿Qué diferencia a la buena evaluación continua
de la evaluación fragmentada o dividida?
11
 La buena evaluación continua es formativa se aprovecha para
proporcionar retroinformación de los alumnos para que
puedan mejorar su ejecución en reevaluaciones ulteriores.
 La evaluación fragmentada libera partes, la continua
no, sigue evaluando y permitiendo la reevaluación de partes
ya evaluadas pero así estimula al alumno a no dejar de
estudiar ciertas partes ya superadas.
 Hay que especificar esto en la guía, de lo contrario los
alumnos asumirán que los exámenes son liberatorios.
¿Por qué debemos usar la
la evaluación continua?
 La práctica distribuida produce aprendizaje de más
calidad que la práctica masiva.
 ECTS 40h/semana. Ofrece oportunidad de corrección de
aprendizaje. La Evaluación final lo produce más tarde y de
menos calidad en la mayoría de los alumnos.
 Permite la administración de feedback
 Summer learning loss
 Five minutes university
https://www.youtube.com/watch?v=ceMeiaGaFeo
12
¿Qué ventajas e inconvenientes
tiene la evaluación continua?
13
 Ventajas
1. La EC puede ser una parte importante de la solución a los
problemas de aprendizaje de nuestros alumnos.
2. Ayuda a detectarlos a tiempo.
3. La retroinformación ayuda a solucionarlos.
 El inconveniente
 Es mucho, mas trabajosa que la evaluación final.
 No vamos a centrar en como evitar que sea demasiado trabajosa
 Si no cuenta en calificación los alumnos no se la tomaran en serio
 Si cuenta demasiado puede disminuir el nivel de exigencia
¿Es útil la evaluación continua?
 Depende de cómo se use.
 ¿Cuándo será útil la EC?
 Será útil si proporciona
 estimulo para que los alumnos emprendan las actividades que producirán
los aprendizajes deseados. (valor de cambio de la EC sumativa)
 información que es aprovechada por el alumno y el profesor.
 El alumno para mejorar su aprendizaje .
 El profesor para mejorar su enseñanza .
 Si es aprovechada para una retroinformación inmediata, frecuente,
discriminativa, amable y eficiente (si tenemos muchos alumnos
deberemos darlo colectivamente). (valor retroinformador de la EC
formativa)
14
¿Qué características son importantes en la EC?
15
1. Que sea formativa
1. Debe proporcionar retroinformación inmediata, frecuente,
informativa, discriminativa y empática (Fink).
2. Que sea estimulante.
1. Las Actividades de Aprendizaje-evaluación deben tener valor intrínseco y
formativo y deben tener valor de cambio (peso en calificación)
3. Que este alineada y sea coherente con lo que queremos que
aprendan y lo que hacen para aprender (evaluación auténtica).
Si es coherente será orientadora (alineada) indica el camino a
seguir para lograr los resultados de aprendizaje.
1. Lo que hacemos para aprender, debe también servirnos para evaluar.
¿Cómo debe ser la evaluación continua para que
motive más el trabajo de nuestros alumnos?
16
1. Anticipada, que los alumnos sepan con claridad que se les va a pedir que
hagan para demostrar lo que han aprendido.
2. Alineada con los resultados de aprendizaje que deseamos, así será
provechosa en términos de aprendizaje, de lo contrario no los conseguiremos.
3. Rentable, que de puntos en la calificación de la asignatura, que premie al
alumno que trabaje en actividades formativas
4. Basada en actividades interesantes y atractivas para ellos
5. Con criterios de evaluación explícitos y una idea clara de los. niveles
esperados (rubricas).
6. Coste eficaz para el alumno y el profesor que contribuya a los aprendizajes
deseados sin costes excesivos de trabajo para el alumno y profesor que debe
supervisar y proporcionar feedback
¿Qué información útil nos puede proporcionar
la evaluación continua de nuestros alumnos?
1.Discrimina los que trabajan de los que no
2.Te permite seguir su progreso
3.Te permite relacionar distintas formas de trabajar del profesor o del alumno con los
resultados.
4.Te permite descubrir (a tiempo) qué es lo que los alumnos no aprenden y sus
dificultades. Detectar los problemas de comprensión que hay que corregir a
nivel individual y grupal. Da pie a discutir sobre ello.
5.Te permite retroinformar a tus alumnos e indicarles que aspectos deben mejorar.
6.Te informa de cómo funciona tu sistema de enseñanza y tus items de evaluación
7. Si mide aprendizajes de distinto nivel sabrás el nivel que alcanza cada uno de tus
alumnos.
8.Si mide aprendizajes de calidad me permitirá saber si mis alumnos adquieren
esos aprendizajes de calidad. Debo identificar que aprendizajes de calidad debo medir
17
Una serie de preguntas (y respuestas) sobre la
evaluación continua
18
 ¿Por qué la evaluación del aprendizaje es importante
en la enseñanza?
 ¿Por qué es importante que los profesores
universitarios aprendamos a evaluar?
 ¿ Cómo debemos evaluar para que nuestros alumnos
aprendan más y mejor?
Ejercicio presencial
¿Qué aprenden los alumnos en una asignatura?
 Lo que más les interese
 Lo que hagan y practiquen
 Pero sobre todo lo que piensan que va a ser
evaluado
19
20
Ejercicio presencial
¿Para qué evaluamos el aprendizaje ?
1. Para calificar
2. Para medir y valorar el aprendizaje
3. Para estimular esfuerzo
4. Para detectar lo que debe mejorarse y
aportar feedback sobre el aprendizaje
5. Para mejorar el proceso enseñanza
aprendizaje
6. Para proporcionar otra manera de
aprender
7. Para entrenar al alumno en situaciones
de evaluación
Para
Calificar
Obligación
burocrática
Motivar
Estimular
esfuerzo
Empollada
final
Aprender
de otra
manera
Entrenar
proceso
evaluación
Corregir
aprendizaje
Obtener
Información
mejorar
Proceso
EA
Medir y valorar
aprendizaje
21
¿Cómo debe ser
la evaluación en el EEES?
1. Continua (cuando)
2. Formativa (generadora de retroalimentación)
3. Estimulante (de la actividad de los estudiantes)
4. Coherente con los objetivos docentes (competencias)
5. Coherente con los métodos de aprendizaje (aprendemos aplicando
conocimento en ejercicios y evaluamos con esos ejercicios)
6. Debe aplicarse a los resultados de aprendizaje y a los procesos de
enseñanza
7. Será compleja y trabajosa (más que un examen de test ) (cuanto)
BASE PARA LA NUEVA
PROPUESTA CURRICULAR
DE LOS GRADOS
( P U N T O 3 . 2 D E L A N E X O I D E L R . D . 1 3 9 3 / O R D E N A C I Ó N D E
E N S E Ñ A N Z A S U N I V E R S I T A R I A S O F I C I A L E S )
22
02 Las competencias genéricas
y su evaluación
Competencias genéricas
Al término del ciclo, los alumnos podrán
demostrar:
Poseer y comprender
Conocimientos
Aplicar
Conocimientos
y resolver problemas
Capacidad de
informarse,
fundamentar y
emitir juicios
Capacidad
de comunicar
Habilidades
de aprendizaje
autónomo
1
5
4 3
2
Y además en
ingles,
utilizando
TICS y en
equipo
P R O C E D I M I E N T O S P A R A L A E V A L U A C I Ó N D E
L A S C I N C O C O M P E T E N C I A S G E N É R I C A S D E
D U B L I N
24
¿Cómo evaluaremos las
competencias genéricas?
Evaluación de los aprendizajes
25
Resultado de aprendizaje Método
Recordar y comprender conocimientos
básicos
MCQ, preguntas cortas
Aplicación Problemas, MCQ sobre problemas
Obtención de información, búsqueda,
integración y juicio
Casos, viñetas clínicas, PBL (presentación
solución), Examen libro abierto, ECOE,
Comunicación apropiada al entorno
profesional
ECOE ,TOSBA
Aprendizaje autónomo PBL, estudio de casos
Interacción personal, trabajo en equipo Trabajos y proyectos en equipo
Desarrollo de sensibilidad apreciación y
preocupación
Portafolio, diario reflexivo
Dimensión humana, autoimagen, autoideal
profesional
Portafolio, diario reflexivo, cuestionarios
autoreflexivos
Competencias clínicas ECOE, OSLER, TOSBA
Diario clínico
Competencia 1 (RD 1393):
“poseer y comprender conocimientos de un área de estudio”
 Sobre textos que han debido estudiar antes de clase, les hacemos preguntas, les
pedimos que rellenen un mapa conceptual con huecos.
 Comprobamos si recuerdan la idea principal, las ideas secundarias, si
relacionan los conceptos entre sí.
 Les pedimos que resuman lo fundamental indicando la idea principal y
las ideas secundarias.
 Material texto a leer debe ser escogido por su interés formativo.
 Les podemos enviar el próximo tema y pedirles que nos lo resuman en 200
palabras.
 Tarea los alumnos deben estudiar un documento para responder a un
cuestionario.
¿Cómo evaluaremos
las competencias genéricas?
26
Comprender implica que somos capaces de explicar
en nuestras propias palabras sin repetir como loros
 Explica las similitudes y diferencias entre la respuesta
inmune frente a bacterias intracelulares y extracelulares.
 Explica como los anticuerpos desencadenan distintos
mecanismos de respuesta inmunitaria
 Explica por qué …
 Explica cómo se relaciona esto (caso, experimento)
con lo que has aprendido en la asignatura
 Infiere una concusión a partir de los resultados de este
experimento.
27
Reflexión metacognitiva
 Se puede añadir un cuestionario metacognitivo para
que el profesor pueda correlacionar los resultados
de aprendizaje de cada alumno con las estrategias
que empleó para estudiarlo y hacer una reflexión.
 Describe con detalle lo que has hecho para:
estudiar este tema, preparar esta práctica, entender
este artículo.
28
Síntesis y relación entre los conceptos más
esenciales
29
 Valora el interés que te ha suscitado la lectura de
este texto.
 Resume en 250 palabras o una página lo que
consideras fundamental del texto estudiado
 Diseña un mapa conceptual del tema que establezca
las relaciones entre los conceptos más importantes.
Instrumento de calificación de un mapa
conceptual Oleguer Camerino U Lleida
 Calificación del segundo mapa conceptual

 CRITERIOS FORMALES (deben existir para empezar la corrección)
a. El contenido del mapa está correctamente expresado y no tiene errores
ortográficos ni sintácticos.
 b. Existen referencias documentales y están bien citadas según las normas APA:
 c. Existen los conceptos claves del tema, el esquema, el artículo y las paginas
web de forma relacionada mediante conectores y enlaces.

CRITERIOS DE CONTENIDO
 1. Documentación nueva aportada: la documentación usada se ha
introducido en el contenido del mapa y afecta a su estructura y significado (30%)
3puntos

 2. Relación entre diferentes conceptos: existe una comprensión global de
los elementos del mapa producido por relaciones entre los conceptos expuestos
(30%) 3 puntos

 3. Aspectos estéticos: se ha cuidado la presentación incorporando colores,
distintivos y señales que facilitan la lectura (10%) 1 punto

 4. Crítica personal: existe una opinión personal y crítica sobre la frase
planteada que indique una alternativa de cambio para la actualidad (30%) 3
puntos
 Puntuación
 Justificación


 Puntuación
 Justificación



 Puntuación
 Justificación



 Puntuación
 Justificación

30
Competencia 2 (RD 1393): aplicar sus conocimientos a su trabajo, en
elaboración y defensa de argumentos y resolución de problemas
dentro de su área de estudio
 Argumentar a favor y en contra de …
 Resolver un problema fundamentando la elección de
solución con tus conocimientos sobre la disciplina
 Elige cuál sería el mejor método para … y justifica por
qué
 Cómo utilizarías …. Para tal propósito.
 Explica como diseñarías un experimento para
demostrar…
31
Estructura de un ejercicio de aplicación
 Aplica tus conocimientos a la interpretación de esta
situación.
 Explica lo que pasa e hipotetiza sobre los mecanismos
causales por los que ese produce esta situación.
 Formula conclusiones a partir de los datos
mostrados.
 Deduce posibles aplicaciones del principio ilustrado.
 Deduce implicaciones sobre la práctica.
32
Ejemplo de ejercicio de aplicación de
conocimientos
 Explica como diseñarías una placa de enzima inmunoensayo para
estimar la precisión, la exactitud y la sensibilidad de la prueba.
Indica en cada pocillo de la placa las cantidades de sustancia problema

A B C D E F G H I J K L
1
2
3
4
5
6
7
8
33
Competencia 3 (RD 1393): reunir e interpretar
datos relevantes … para emitir juicios
 Saber buscar información, interpretarla.
 Realizar un trabajo de investigación bibliográfica.
 Interpretar una imagen (tabla o figura)
 Qué información te aporta el grafico
 Qué ha pasado en la evolución de los sistemas de defensa de los seres vivos
 Comenta ejemplos de homologías y analogías a partir de la información
mostrada en la tabla.
 ¿Qué información te aporta la tabla sobre la evolución del sistema
inmune?
34
Competencia 4 (RD 1393): “transmitir información,
ideas, problemas a distintos públicos ”
 Explícale a un compañero de clase las razones de la crisis
económica en España y el efecto de su negación por el gobierno
 Explícale a tu profesor por qué suspendiste en la convocatoria
ordinaria y que has hecho para merecer aprobar en la
extraordinaria.
Muy
correcto
Adecuado Poco
adecuado
No
adecuado
Lenguaje
Sintaxis
Conecta con el punto de vista
ajeno
Ideas principales
orientación disciplinar
35
Ejercicio Competencia 4
 Defiende por qué son necesarios los cambios que implica
el EEES ante una audiencia de profesores que se resisten
a los cambios.
 Explica los cambios que supone el EEES ante una
audiencia de alumnos desinformados.
 ¿Qué diferencia hay entre los argumentos que presentas
a unos y a otros ? ¿Por qué?
36
Competencia 5 (RD 1393):
Habilidades de aprendizaje necesarias para
emprender estudios posteriores con autonomía
 Aprende por tu cuenta sobre ….
 Léete esto y sintetiza
 Busca en tales URLs información para resolver este problema
 Busca con las siguientes keywords
 Busca sobre este tema
 Busca sobre lo que te haga falta para resolver este problema
 Esta es la situación, define tu el problema y busca la información que
necesites para plantear el problema y resolverlo
 Decide cuál es el problema principal por ti mismo y resuélvelo.
 Escoge tus propios objetivos de aprendizaje y diseña un plan para
alcanzarlos.
37
Metodología:
Proyecto de investigación bibliográfica
 Asignación de una patología distinta para cada grupo que toma su nombre de
la patología que estudia.
 Una discusión de calentamiento
 Unas directrices para búsqueda de información especifica sobre el problema
de cada grupo.
 Puesta en común y selección de key words.
 Directrices para trabajo de grupo y elaboración de un documento de síntesis
 Directrices para estructuración y un modelo de presentación
 Tutoría para dar feedback sobre documento de síntesis y presentación
38
Genéricas olvidadas
39
 Las que no son ni genéricas genéricas, ni específicas
específicas.
 Las que son especificas de la titulación pero no son
específicas de ningún área
 En biología
 Diseño experimental y razonamiento hipotético de ductivo
 Buscar información bibliográfica
 Lectura e interpretación de información bibliográfica
 comunicación profesional escrita y oral
Instrumentos evaluación de competencias
40
 Presentación
 Guía para la evaluación de las competencias en
Medicina
02 ¿Cómo lograr que la Evaluación
continua sea formativa y eficiente
incluso con grandes grupos de alumnos?
COMUNICACIÓN EN DOS DIRECCIONES
E V A L U A C I Ó N C O M O P R O C E S O D E C O M U N I C A C I Ó N E N D O S
D I R E C C I O N E S D U R A N T E E L P R O C E S O D E A P R E N D I Z A J E
DOS CARAS DE LA EVALUACIÓN
E V A L U A C I Ó N C O M O P R O C E S O F O R M A T I V O Y O R I E N T A D O R D E
E L E S F U E R Z O D E L A L U M N O
E V A L U A C I Ó N C O M O P R O C E S O D E O B T E N C I Ó N D E E V I D E N C I A S
V A L I D A S D E L A C O N S E C U C I Ó N D E L O S R E S U L T A D O S D E
A P R E N D I Z A J E
¿Qué cambios en mi sistema de evaluación
pueden ayudar a que mis alumnos
aprendan más y mejor?
 Sin ahogarme en un mar de tareas por
corregir.
 Sin atosigarles con trabajos
innecesarios o desalineados con nuestros
objetivos formativos y que probablemente no
fomentarán aprendizajes relevantes.
 Cómo puedo obtener una evidencia más
valida y fiable del aprendizaje de mis
alumnos.
Mejorar mi sistema de evaluación
43
 Llevará a mejorar el aprendizaje de mis alumnos pero
requiere estudiar la información sobre mejores
prácticas y metodologías de evaluación.
 Aplicar las mejores prácticas supone tener que
abandonar hábitos cómodos y confortables para
el profesor y los alumnos como la evaluación final y
las clases magistrales.
 ¿Cómo puedo lograr que trabajen más por su aprendizaje sin
que yo (su profesor/a) sea el que tenga que trabajar
intensivamente?
Para que la evaluación continua logre un máximo
impacto debemos incorporarla al inicio del aprendizaje
 De evaluación final a evaluación inicial. Al principio de
cada cuatrimestre (detección de concepciones erróneas)
 ¿De qué niveles parten nuestros alumnos?
 ¿Qué concepciones erróneas traen mis alumnos?
 Al principio de cada tema (promoción del estudio y
detección de dificultades).
 ¿Cómo puedo estimularles para que empiecen a estudiar antes de que
yo empiece a explicar cada tema y se planteen preguntas sobre la
materia?
Evaluación en un modelo de enseñanza inversa
45
 ¿Qué significa enseñanza inversa?
 Lo que antes se hacia en clase primer contacto con la
materia ahora se hace fuera leyendo documentos y
escuchando podcasts lo que antes se hacia fuera
resolución casos y problemas ahora se hace en clase.
 La evaluación antes final pasa ahora a comprobar el
estudio previo
Metodologías para la enseñanza inversa
46
 Hay varias:
 JITT, Just in time teaching (Novak)
TBL, Team Based Learning (Michaelsen)
PEPEOLA, Preparación y Estudio Previo
Por Evaluación on Line automática (Robles,
Barahona , Prieto)
PI peer instruction Mazur
Tecnologías para la enseñanza inversa
47
 Podemos usar distintas tecnologías:
tarjeas de respuesta, flash cards
cuestionarios con hojas de respuesta de lectura
óptica (OMR optical mark reader),
plataformas de e-learning (moodle, blackboard,)
Sistemas de repuesta personal a distiancia (SRP)
 Clickers
 softwares on line (Test moz, Socrative) para usar
smartphones, como clickers
Llevar la evaluación al principio de cada tema
 Llevar la evaluación al proceso de desarrollo de cada
tema para estimular el trabajo continuo de los
alumnos.
 Sin que la carga de trabajo suponga riesgo para la
salud y la integridad mental de su profesor pero que
tenga un efecto significativo y doble estudio y el
aprendizaje medio en la clase.
¿Es esto realmente posible?
49
¿Es eficaz?
50
 Si, con metodologías de fomento y comprobación del
estudio previo
 Se ha demostrado experimentalmente para el aprendizaje de
la física, la química y biología y otras disciplinas.
 Por un 5-15 % de la calificación los alumnos estudiarán antes
de que les expliquemos los temas.
 La ganancias de aprendizaje se doblan en Física y Biología
Evidencias del éxito de estas estrategias
Tons of it. Richard Felder
51
 R R Hake Interactive engagement versus traditional methods: A six-thousand-student
survey of mechanica test data for introductory physics courses Am J of Physics 66 1p 64 (1998)
 Knight JK, Wood WB Teaching more by lecturing less. Cell Biology education; 2005; 4: 298-
310
 Peer instruction: ten years of experience and results CH Crouch E Mazur Am J Phys 69:9 70-77
 Farewell, lecture? Mazur Science 2009 323:50-51
 Eric Mazur, Peer Instruction: A User’s Manual ~Prentice–Hall, Upper Saddle River, NJ, 1997!.
Additional information and resources for PI can be found at http://galileo.harvard.edu.
 Catherine H. Crouch, ‘‘Peer Instruction: An Interactive Approach for Large Classes,’’ Opt.
Photonics News 9 ~9!, 37–41 ~September 1998!.
 Gregor Novak, Evelyn Patterson, Andrew Gavrin, and Wolfgang Christian, Just-in-Time
Teaching: Blending Active Learning and Web Technology ~Prentice–Hall, Upper Saddle River,
NJ, 1999!, and http://webphysics.iupui.edu/jitt/jitt.html.
 Infusing active learning into the large-enrollment biology class: seven strategies,
from simple to the complex D Allen, K Tanner Cell Biology education 2005 4:262-68
¿Es eficiente?
¿Merece la pena el coste de la ganancia?
52
Clases en gran grupo
 Arons, A. B. (1997) Teaching introductory physics. New York: Wiley.
 Bligh, Donald A. (1998) What's the use of lectures? Exeter: Intellect Books.
 Brandford, John D., Ann L Brown and Rodney R. Cocking (eds.) (1999) How people learn:
brain, mind, experience, and school. Washington, D.C.: National Academy Press.
 Carbone, Elisa and James Greenberg (1998) "Teaching Large Classes: Unpacking the
Problem and Responding Creatively". In Matthew Kaplan (ed.), To Improve the Academy
1998, Resources for Faculty, Instructional and Organizational Development.. Professional
& Organizational Development Network in Higher Education.
 McDermott, L. C. (1997) "Bridging the gap between teaching and learning: The role of
research". In International Conference on Undergraduate Physics Education. AIP
Conference Proceedings.
 Redish, E. F. (1994) "Implications of cognitive studies for teaching physics", American
Journal of Physics, 62, 796-803.
 Wulff, Donald H., Jody D. Nyquist and Robert D. Abbott (1987) "Students' Perceptions of
Large Classes". In M. E. Weimer (ed.), Teaching Large Classes Well. San Francisco, CA:
Jossey-Bass.
Aprendizaje activo
 Bonwell, Charles C. and James A. Eison (1991) Active Learning: Creating Excitement in
the Classroom. 1991 ASHE-ERIC Higher Education Reports: The George Washington
University.
 Johnson, D. W., R. T. Johnson and K. A. Smith (1991) Active Learning: Cooperation in the
college classroom. Edina, MN: Interaction Book Company.
 Heller, Patricia, Ronald Keith and Scott Anderson (1992) "Teaching problem solving
through cooperative grouping. Part 1: Group versus individual problem solving", American
Journal of Physics, 60, 7, 627-36.
 Smith, Karl A., Sheri D. Sheppard, David W. Johnson and Roger T. Johnson (2005)
"Pedagogies of Engagement: Classroom-Based Practices", Journal of Engineering
Education, January, 87-101.
 Thornton, Ronald K. and David R. Sokoloff (1998) "Assessing student learning of Newton's
Laws: The force and motion conceptual evaluation and the evaluation of active learning
laboratory and curricula." American Journal of Physics, 66, 338-52.
Instrucción por compañeros en ciencias
 Biología
 Allen, Deborah and Kimberly Tanner (2005) "Infusing Active
Learning into the Large-enrollment Biology Class: Seven
Strategies, from the Simple to Complex", Cell Biology
Education, 4, Winter 2005, 262-8.
 Knight, Jennifer K., Wood, William B. (2005) "Teaching
More by Lecturing Less". Cell Biology Education, vol. 4, pp.
298-310.
Instrucción por compañeros en ciencias
 Astronomía Green, P. (2003) Peer Instruction for
Astronomy: Prentice-Hall.
 Química
 Landis, C.R., A.B. Ellis, G.C. Lisensky, J.K. Lorenz, K. Meeker
and C.C. Wamser (2001) Chemistry ConcepTests: A Pathway
to Interactive Classrooms: Prentice-Hall.
 Geología
 McConnell, David A, David N Steer and Katharine D Owens (2003) "Assessment
and active learning strategies for introductory geology courses." Journal of
GeoScience Education, 51, 2, 205-16.
 McConnell, David A, David N Steer, Katharine D Owens, Jeffrey R Knott and et al
(2006) "Using Conceptests to Assess and Improve Student Conceptual
Understanding in Introductory Geoscience Courses", Journal of Geoscience
Education, 54, 1, 61.
 Matemáticas
 Cline, Kelly (2006) "Classroom voting in calculus", Mathematics Teacher
(forthcoming).Preprint: http://www.carroll.edu/~kcline/Classroom-Voting-in-
Calculus.htm
 Loman, David O. and Maria K. Robinson (2004) "Using ConcepTests in Single
and Multivariable Calculus". In Proc. 16th Annual International Conference on
Technology in Collegiate Mathematics. New York: Addison Wesley.
 Pilzer, Scott (2001) "Peer Instruction in Physics and Mathematics." Primus, 11, 1,
185-92.
 Medicine
 Rao, Sumangala P. and Stephen E. DiCarlo (2000) "Peer Instruction Improves
Performance on Quizzes." Advances in Physiology Education, 24, 1, 51-5.
 Robertson, L. J. (2000) "Twelve tips for using a computerised interactive audience
response system", Medical Teacher, 22, 3, 237-9.
 Pharmacology
 Piepmeier, E. (1998) "Use of concepTests in a large lecture course to provide active student
involvement and peer teaching." American Journal of Pharmaceutical Education, 62.
 Psychology
 Chew, S. L. (2004) "Using concepTests for formative assessment", Psychology Teacher
Network, 14, 1, 10-2.
 Chew, S. L. (2005) "Student misperceptions in the psychology classroom". In B. K. Saville,
T. E. Zinn and V. W. Hevern (eds.), Essays from excellence in teaching, 2004: Retrieved
9th April, 2006 from the Society for the Teaching of Psychology Web site:
http://teachpsych.org/resources/e-books/eit2004/eit04-03.html
 Statistics
 Wit, E. (2003) "Who wants to be... The use of a personal response system in statistics
teaching", MSOR Connections, 3, 2, 5-11.
Research On the Effectiveness of PI
 Crouch, Catherine H. and E Mazur (2001) "Peer Instruction: Ten years of experience and results",
American Journal of Physics, 69, 9, 970-7.
 Kennedy, G. E. and Q. I. Cutts (2005) "The association between students' use of an electronic voting
system and their learning outcomes", Journal of Computer Assisted Learning, 21, 260-8.
 Fagen, Adam P., Catherine H. Crouch and E Mazur (2002) "Peer instruction: results from a range of
classrooms", The Physics Teacher, 40, April, 206-9.
 Hake, Richard R (1998) "Interactive engagement vs. traditional methods: A six-thousand-student
survey of mechanics test data for introductory physics courses",American Journal of Physics, 66, 64-74.
 Meltzer, David E. and K. Manivannan (2002) "Transforming the lecture-hall environment: The fully
interactive physics lecture", American Journal of Physics, 70, 6, 639-54.
 Sharma, M. D., J. Khachan, et al. (2005). "An investigation of the effectiveness of electronic classroom
communication systems in large lecture classes." Australasian Journal of Educational Technology 21
(2): 137-154.
 Shapiro, Joel A. (1997) "Electronic student response found feasible in large science lecture hall",
Journal of College Science Teaching, 26, 408-12.
 Poulis, J., C. Massen, E. Robens and M. Gilbert (1998) "Physics lecturing with audience paced
feedback", American Journal of Physics, 66, 439-41.
Electronic Response Systems
 Boyle, J. and D. Nicol (2003) "Using classroom communication systems to support interaction and discussion in large
class settings", Association of Learning Technology Journal, 11, 43-57.
 Burnstein, Ray A. and Leon M. Lederman (2001) "Using wireless keypads in lecture classes", The Physics Teacher, 39,
8-11.
 Burton, K. (2004). "Interactive Powerpoints: Is there any point in giving power to students?" Murdoch University
Electronic Journal of Law. 11 (4).
 Draper, S. W. and M. I. Brown (2004) "Increasing interactivity in lectures using an electronic voting system", Journal
of Computer Assisted Learning, 20, 81-94.
 Draper, S. W., Cargill J. and Q. I. Cutts (2002) "Electronically enhanced classroom interaction", Australasian Journal
of Educational Technology, 18, 13-23.
 Dufresne, Robert J., William J. Gerace, William J. Leonard, Jose P. Mestre and Laura Wenk (1996) "Classtalk: A
classroom communication system for active learning", Journal of Computing in Higher Education, 7, 3-47.
 Duncan, Douglas (2005) Clickers in the classroom. San Francisco: Pearson Education Inc.
 Elliot, C. (2003). "Using a personal response system in economics teaching." International Review of Economics
Education 1 (1).
 Simpson, V. and M. Oliver (2007). "Electronic voting sysems for lectures then and now: a comparison of research and
practice." Australasian Journal of Educational Technology 23(2): 187-208.
 Williams, J. (2003). Learning by remote control: exploring the use of an audience response system as a vehicle for
content delivery. Interact, Integrate, Impact: Proceedings ASCILITE Conference, Adelaide, 7-10 December.
Esquema general de los métodos de fomento del
estudio previo
61
Profesor
Alumnos
Clase
envía
Evalúa dificultades y replantea , se prepara
para superar dificultades que tienen los que
tienen que aprender
estudia
reflexiona
y responde
Van preparados a clase habiéndose formulado
preguntas sobre lo que han estudiado
Aumenta la cantidad
Y la calidad de la participación
Comprobación
Metodologías de estudio previo y clase interactiva
62
Principio Mecanismo de comprobación
y garantía del estudio previo
Nombre de la
metodología
(Autores)
Ponemos a
disposición de los
alumnos o mejor
les enviamos los
materiales a ser
estudiados con
antelación al inicio
de la clase
presencial
Bonificamos con
hasta un 10%-15% a
los estudiantes que
demuestren un
máximo
rendimiento en el
estudio previo
Cuestionario de preguntas
abiertas sobre lo que se ha
entendido en el estudio previo y lo
que necesita explicarse más
Profesor analiza este feed back y
replantea su clase presencial
JITT Just In Time Teaching
(Novak) Just-In-Time
Teaching: Blending
Active Learning with
Web Technology
Cuestionarios de preguntas MCQ
on line en pataforma e-learning
con feedback que se cierra antes
de la calse
PEPEOLAPreparación y
Estudio Previo por
Evaluación On Line
Automática (Robles
Barahona y Prieto)
La clase empieza con un examen
test MCQ individual continua con
un examen e n grupo formal se
sigue con casos y problemas en
equipo
TBL Team Based Learning
Michaelsen y Fink Team-
Based Learning: Small
Group Learning’s Next
Big Step
La clase se basa en intercalar
preguntas MCQ con discusión en
PT Peer teaching (Mazur)
Peer instruction: A
Tecnologías al servicio de la clase interactiva con
evaluación formativa
63
Metodología Tecnología para la garantía (aseguramiento) del
estudio previo
Just in time teaching Cuestionarios on line
Survey monkey
Google drive
Bases de datos en Moodle
PEPEOLA Exámenes de test MCQ on line
Moodle
Blackboard
Test moz
Team Based Learning Scratch tests (rasca)
Cuestionarios de MCQ de lectura automática con copia
Test moz
Peer teaching Flash cards (evaluación formativa)
Clickers (mandos a distancia de respuesta personalizada)
Evaluación formativa y sumativa
Socrative
Métodos de Estudio y trabajo
previo a las clases interactivas
 Team based Learning (TBL)
 Team-Based Learning: Small Group Learning’s Next Big Step.
New Directions for Teaching and Learning, Eds. Larry K.
Michaelsen, Michael Sweet & Dean X. Parmelee, (2008)

 Just in time teaching
 Just-In-Time Teaching: Blending Active Learning with Web
Technology Gregor Novak , Andrew Gavrin, Wolfgang
Christian, Evelyn Patterson
 Peer teaching
 Peer instruction: A User’s Manual 1997 Eric Mazur
 Tests de conceptos en física permiten que el alumno
determine su propia comprensión y al profesor comprender el
nivel general de comprensión de una idea y decidir si es
necesario invertir mas tiempo en ese concepto
Larry Michaelsen
Gregor Novak
Gregor Novak
Eric Mazur
Trabajo previo más uso de cuestiones y clickers.
Sistemas de respuesta personal a distancia
 Teaching with classroom response
systems: Creating active learning
Environments 2009
 Derek Bruff
 Cómo incorporar los clickers a
nuestra docencia
Herramientas para evaluación diagnóstica y continua:
“concept tests”66
 Force Concept Inventory FCI (Hestenes)
 30 preguntas de este tipo
 Un camión pesado y un utilitario chocan de frente. Durante la
colisión la fuerza ejercida por el camión sobre el coche es:
 A Mayor que la del coche sobre el camión.
 B igual a la que el coche ejerce sobre el camión.
 C menor que la del coche sobre el camión.
 D No ejerce ninguna fuerza sobre el coche simplemente
esta justo en su camino.
 Pensarlo durante un minuto y contestar con la tarjeta o flash card.
C Ó M O L O G R A R Q U E L A E V A L U A C I Ó N
C O N T I N U A S E A C O S T E - E F I C A Z
67
03 Gestión de la carga de trabajo
asociada a la EC para el alumno y el
profesor
La realidad es que estudian menos horas de las
establecidas
68
69
Crédito ECTS realidad o ficción
Video teaching teaching & understanding
understanding parte 1
70
 Es necesario que los alumnos hagan cosas para
aprender ergo debemos evaluar lo que hacen
para estimularles a hacerlo.
 http://www.youtube.com/v/_eF4934qsas&fs=1&sou
rce=uds&autoplay=1
 Stop 4.09
¿Cuál es el problema que os plantea este caso?
71
 ¿Cuáles son vuestras hipótesis sobre las causas de que
tengamos tantos estudiantes pasivos?
 ¿Qué consecuencia tiene la abundancia de alumnos con el
planteamiento de Robert sobre nuestra función docente?
 Seguimos con el vídeo
 http://www.youtube.com/v/_eF4934qsas&fs=1&source=uds
&autoplay=1
 Teacher perspective
Distintos tipos de cuatrimestres:
cuatrimestres europeos
72
 18 semanas de duración
Cuatrimestre Yorkshire
120 dias / 7 días = 19 semanas
750/19= 40 horas por semana
40horas/semana
Cuatrimestres europeos
73
 18,5 semanas
Cuatrimestre Landrace
120 dias / 7 días = 19 semanas
750/19= 40 horas por semana
40horas/semana
Cuatrimestre ibérico
“cutrimestre patanegra”
74
 13,5 semanas de duración (2 fiestas, 3 exámenes)
55horas/semana
El aprobado en
la evaluación
continua se
premia con tres
semanas de
vacaciones por
cuatrimestre
Cuatrimestre patanegra
13,5 semanas
750/13,5= 55 horas por semana
Pata Negra
Si aguanto cuatro
años retozando en
la dehesa del
campus me darán el
título de grado en…
Mala planificación de los “cuatrimestres”
75
 Si los “cuatrimestres” fueran de 18 semanas de clase
 150 horas/asignatura x 5 asignaturas = 750 horas /
cuatrimestre
 750 horas /18 semanas =41.6 horas por semana
 Como los “Cuatrimestres” son de 13-14 semanas “hábiles”
 750/14= 53.6 horas por semana
 750/13= 57,7 horas por semana
Aplicando un desajuste de 42,25 % las 55 horas por semana se quedan en
23,23 horas por semana
Wonder: the hearth of the alchemist
William Prosser
La EC como estímulo: el sueño del profesor
 Quiero que os olvidéis de lo que ha pasado en los últimos años.
Volvamos a 2008 en un pasado en el que la evaluación
continua no se estilaba.
 Imagina… que un mago y alquimista de Bolonia te dijera
que tus alumnos iban a hacer todo lo que tu les mandases
para que aprendiesen. Lo hiciesen dedicándole tiempo y
esfuerzo suficiente y te entregasen sus tareas en los plazos
establecidos.
 Antes era un sueño imposible, muy pocos de nuestros alumnos
hacían lo que les mandábamos. La motivación intrínseca no era
suficiente para poner a trabajar a la mayoría.
77
Ahora tienes ese sueño al alcance de tu mano
(y puede transformarse en pesadilla)
78
 Si les mandas algo razonable y justificado a los alumnos de grado, lo
harán casi todos gracias a la motivación que les proporciona la
evaluación continua y a la inercia de haberse acostumbrado a hacer lo
que les mandan para sacar puntos de evaluación continua y aprobar.
 Otra cosa es cómo lo hagan de bien pero eso dependerá de:
1. cómo les orientes para la realización de la tarea,
2. cómo les entrenes,
3. qué tarea les mandes y
4. cómo perciban que va a ser corregida (rúbrica).
¿Cuál es nuestro desafío en la nueva situación?
crédito ECTS y evaluación continua
 Nuestro desafío es
 1 Escoger las mejores tareas, aquellas que ayudarán a aprender a nuestros
alumnos aquellas cosas que queremos que aprendan.
 2 Debemos aprender medir su carga y dosificarlas de modo que nuestros
alumnos trabajen una mediana de 8 horas por semana en nuestra asignatura.
 Deben trabajar 100 horas no presenciales en cada asignatura de seis créditos
¿lo hacen en realidad? ¿lo hacen en tu asignatura?
 ¿Se lo preguntamos?
 ¿Queremos saber la respuesta?
 O no será que preferimos no conocerla
79
Ese sueño tiene otro lado, la pesadilla
de corregir tantas tareas
80
 El efecto boomerang de hacer trabajar a nuestros
alumnos
¿Qué papel tiene la evaluación en la promoción del
trabajo y el ajuste del volumen de carga de trabajo de
nuestros alumnos?81
 La EC estimula al trabajo
 La EC puede informarnos
 del volumen de trabajo que realizan nuestros alumnos
 Del aprendizaje producido
Niveles de evolución del profesorado
82
 El profesor que consigue mejores aprendizajes es el del nivel
tres. El que se centra en lo que el alumno debe hacer para
aprender.
 “What the student does, that is the important thing.”
 Debemos conocer como se aprende construyendo significado (lo
veremos en la segunda parte dentro de un rato).
 Una evaluación acorde con esta filosofía debería evaluar:
1) lo que el alumno hace para aprender
2) y lo que el alumno ha aprendido a hacer.
El efecto boomerang de las tareas de
aprendizaje
Cada tarea que el profesor manda a sus X alumnos
se convertirá en X tareas a corregir
 Que los alumnos trabajen es lo mejor para que aprendan mucho y bien.
 El problema es que si haces trabajar a tus alumnos, tu tendrás que
hacer el trabajo de evaluar sus tareas.
 Si tienes muchos, 100 (demasiados) alumnos tendrás que encontrar
maneras de controlar lo que hacen, calificarles y
retroinformarles rápidamente con eficacia de tiempo y
economía de medios.
 ¿Alternativas?
83
¿Qué tiene que ver esto con las tareas de
evaluación continua?
 Afortunadamente no es necesario
corregir y calificar siempre todas las
tareas de todos.
 ¿Conoce el dingo cuál es la diferencia
entre un boomerang y un palo?
 Sale corriendo cuando el aborigen lo
lanza
 ¿La conoce el profesor universitario?
 La acabaremos conociendo por la
cuenta que nos trae
 Debemos controlar el abuso del
boomerang o nos daremos con él en la
cabeza
84
Debemos cambiar el boomerang
Por la varita mágica de Harry Potter
Gestión del trabajo para el profesor
derivado de la evaluación continua
1. Separación de los aspectos:
1. 1 control-
2. 2 calificación-
3. 3 retroinformación
2. Divide y vencerás trabajo en grupo
3. Seleeciona ¿Es necesaria esta tarea que aprendan lo que quiero
que aprendan?
4. Convierte a tus alumnos en profesores ayudantes peer teaching
talleres de coevaluación, equipos
5. Da feedback coletiva y presencialmente
85
Análisis vectorial y gestión del volumen de carga
de corrección
86
Números de alumnos
Dividir en Grupos, coevaluación autoevaluación
Herramienta taller y Rúbricas
Calificación por muestreo
Latareadelprofesor
Control,
calificación,
feedback
Disociar los tres elementos :
1. Automatizar el Control
2. simplificar la calificación
3. Administrar el feedback
colectivamente
Estrategias para disminuir la carga del
proceso:
87
1. Simplificación sistema de calificación+(muy bien 10 ), OK (bastante bien
7,5), ν (pasable 5 ),- (tienes que volver a hacerlo mejor 2,5).
2. Semi-Automatización del proceso C-C-R plataforma, survey monkey clickers.
3. Incorporación de los alumnos al proceso de evaluación: evaluación por
compañeros, autoevaluación. Rúbricas
4. Control parcial
1. Sorteo. A cada alumno le voy a corregir 4 tareas.
2. Lee y contesta: ¿Qué es lo que no entiendes? ¿Cuál ha sido la mayor dificultad? Uso de
indicadores Controlando tu respuesta a esto controlo si has hecho lo otro.
5. Retroinformación colectiva en clase o por medios electrónicos
6. Evaluación por compañeros outsourcing de la evaluación
Importancia de los tres elementos de la tarea del
profesor
 El control es necesario para producir efecto estimulador.
 La calificación tiene un efecto estimulador extra para
hacer mejor la tarea. Debe ser muy discriminativa pero no
tiene por que ser muy precisa . (0-2-4-6-8-10)
 El feedback o retroinformación es necesaria para la
mejora del rendimiento
 Pero si no queremos ahogarnos en montañas de papeles por
corregir debemos disociar estos tres aspectos
88
Los otros factores del volumen de carga de
corrección
 El número de alumnos.
 La frecuencia o número de repeticiones de la tarea
 ¿Cuántas veces debe repetirse para que se produzca el
aprendizaje?
 El número de las distintas tipologías de tareas.
 problemas y casos resolución y discusión en clase.
 Presentaciones ,ejercicios escritos
 Exámenes de autoevaluables
 Debemos seleccionar las más formativas
89
M E T O D O L O G Í A D E L O S I N V E N T A R I O S
C O N C E P T U A L E S
C O N C E P T T E S T I N V E N T O R Y
90
Evaluación de ganancias de
aprendizaje
¿Cómo hacer un inventario conceptual para una
asignatura?
91
 Decidir cuáles son los conceptos esenciales
 Realizar un cuestionario diagnostico sobre ellos
(survey monkey) primero de preguntas abiertas después de test.
 Ejercicio y evaluación formativa
 Diseñar tares para trabajarlos que permitan ejercitarse en su uso y recibir
retroinformación
 Evaluación acreditativa
 Diseñar pruebas para evaluarlos que permitan obtener evidencia de que se
han conseguido
Ejercicio . Estructura conceptual de tu asignatura o
disciplina en relación a sus actividades de enseñanza-
aprendizaje y evaluación.
92
 ¿Qué conocimiento es el más importante en tu asignatura?
1. Escoge los 15-20 conceptos más importantes de tu asignatura. Aquellos que
es necesario comprender y recordar como un primer paso hacia un
conocimiento profundo de la asignatura. Redacta una lista con ellos
2. Diseña un cuestionario breve para medir el conocimiento previo que tus
alumnos tienen sobre ellos en 15 minutos del primer día de clase de la
asignatura.
3. Diseña actividades o tareas para que trabajen con algunos de ellos a la vez
que ejercitan competencias que pienses que son importantes para su futuro
profesional
4. Diseña preguntas para un examen en el que tengan que aplicar a un caso real
o verosímil algunos de estos conceptos más importantes de tu asignatura
Sugerencia de aplicación a tu docencia (en
el próximo cuatrimestre).93
 Aplica el cuestionario diagnóstico a tus alumnos. Discute con
ellos los resultados en la siguiente clase. Pídeles que durante
el curso estén atentos a todo lo relacionado con estos
conceptos esenciales.
 Avísales de que las actividades de aprendizaje y las pruebas de
evaluación se centrarán en la comparación, la interrelación y
la aplicación de estos conceptos esenciales.
 Veras como mejora el aprendizaje de tus alumnos acerca de
esos conceptos que consideras más esenciales.
Metodología de diseño de inventarios
conceptuales el ejemplo del FCI
(Force Concept Inventory)
 Hestenes
 Diseñó force concept inventories y concept tests para evaluar
estos conceptos (ejercicio 5)
 Con pregunas conceptuales abiertas investigaban las
concepciones erróneas más frecuentes en los alumnos y las
convertían en distractores de preguntas de test de opción
múltiple.
 Los test se redactaban sin jerga especializada por lo pueden
aplicarse a los alumnos antes y después de la instrucción
 Así puede determinarse la ganancia que produce la enseñanza
durante el periodo formativo (si es que se produce alguna)
 Con esta metodología podemos comparar científicamente la
eficacia de distintas metodologías para que los alumnos
aprendan.
Diagramas de Puntuación pretest vs. Ganancia:
El rendimiento de métodos tradicionales
es muy inferior al de los interactivos95
Monkey
Aristotelian Newtonian
Utilidad del FCI
96
 El FCI sirve para comparar instituciones, alumnos de distintos cursos,
distintas metodologías y sirve para medir la ganancia que produce una
asignatura.
 Mide en que grado la instrucción ha cambiado las concepciones erróneas que
los alumnos tenían al principio de la asignatura.
 Se han diseñado CI o concept tests para múltiples disciplinas.
 Podemos crear un FCI para nuestra propia asignatura y publicarlo
 ¿Por qué es tan importante conocen el nivel de partida de nuestros
estudiantes y saber lo que no comprenden antes de explicarles ?
 Video Biggs 2
http://www.youtube.com/watch?v=2DMnYxc3ank&feature=player
_embedded
¿Qué podemos concluir de estos resultados?
Porcentajedeganancia
Conrespectoalamáximapotencial
La incorporación de más métodos interactivos mejora los resultados del peer instruction
PI
PI + JITT
S T R U C T U R E O F O B S E R V E D L E A R N I N G O U T C O M E S ( S O L O )
T A X O N O M Í A D E L A E S T R U C T U R A D E L A P R E N D I Z A J E
O B S E R V A D O
J O H N B I G G S
T A X O N O M I A D E N I V E L E S D E R A Z O N A M I E N T O C O N E L
C O N O C I M I E N T O
B E N J A M I N B L O O M
98
Evaluación de la comprensión
profunda (SOLO) y de operaciones
de alto nivel cognitivo (Bloom)
99
Taxonomía de la estructura del aprendizaje
observado (SOLO taxonomy) J Biggs
 Describe el aumento de complejidad en la comprensión de
un tema por el estudiante en cinco estadios
Uni-estructural
Conexiones
Simples
Enfca en elementos
Identifica
Sigue prodedimiento
recita
Pre-estructural
Piezas
No
comprende
Tautologías
confunde
Relacional
Relación
y significación
de las partes
con el todo
Relaciona compara
analiza integra
Multi-estructural
Más conexiones
Sin significación
global
Clasifica
Combina
enumera
Abstracto extendido
Con conexiones
fuera del área
de estudio
Generaliza estructura
y transfiere los principios
e ideas a otros temas
Generaliza , hipotetiza, teoriza
COMPRENSIÓN PROFUNDA
COMPRENSIÓN SUPERFICIAL
100
Diagnosis de los niveles de respuesta a
nuestras preguntas
1. Aumento de los conocimientos:
 Preestructural. No tienen ni idea, confunden unos conceptos
con otros. Intentan encubrir la falta de comprensión con
tautologías y vaguedades. 0
 Uniestructural: Respuesta bien orientada pero se queda en la
terminología y faltan datos. 2,5
 Multiestructural: Apabullan con datos, pero faltan
conexiones y una estructura de relación. 5
2. Profundización en la comprensión:
 Relacional: Se relacionan unos conceptos con otros y se
integran en una estructura. 7,5
 Abstracta ampliada: es la que trasciende de lo dado lo
relaciona con otros temas y contextos e incluso abre
perspectivas nuevas incluso para el profesor. 10
101
La taxonomía solo también puede aplicarse a la
ejecución de tareas que demuestran competencias
 La tarea no es realizada de modo apropiado (preestructural), abordaje simplista.
 Uno (uniestructural) o varios (multiestructural) aspectos de la tarea son realizados
correctamente pero otros no y además no son integrados correctamente.
 Relacional comprende, relaciona e integra correctamente los distintos aspectos en una
ejecución correcta.
 Abstracta-extendida la ejecución no es solo correcta sino modélica, ejemplar.
 Veamos que relación tiene esto con lo que debemos evaluar para producir
aprendizajes
 Parte tercera del vídeo sobre las teorías de John
Biggs. The solution constructive alignment
 http://www.youtube.com/watch?v=AuCG0kdj5DQ

Iconografía de los niveles SOLO
102
4. Relacional
1. Pre
estructural
2. Uni
estructural
3. Multi
estructural
5. Abstracto
extendido
http://pamhook.com/free-resources/downloadable-resources/
Selecciona los verbos para tareas
y preguntas de distinto nivel.
103
 Generalizar
 Predecir
 Evaluar
 Reflexionar
 Hipotetizar
 Crear
 Probar
 Planificar
 Definir
 Identificar
 Nombrar
 Encontrar
 Etiquetar
 emparejar
 Recordar
 Describir
 Enumerar
 Esquematizar
 Seguir un
procedimiento
 Ordenar
 Clasificar
 Comparar y contrastar
 Explicar causas
 Explicar efectos
 Analizar
 Hacer una analogía
 Organizar
 Distinguir
 Cuestionar
 Aplicar
Justificar
Argumentar
Componer
Priorizar
Diseñar
Construir
Desempeñar
Inventar
Desempeñar
ejercer
Abstracto extendidoUniestructural Multiestructural Relacional
104
Preguntas de evaluación y niveles SOLO
 Algunas preguntas son muy fáciles de corregir para el profesor pero
limitan el nivel de las posibles respuestas
 Enumera… cuatro especies de mosquitos transmisores de enfermedades
 Estudiante con comprensión preestructural (se sabe 2 mosquitos de
memoria) la aprobará
 .. e indica los riesgos sanitarios que crea cada una
 Estudiante con comprensión multiestructural la clava.
 …y discute su importancia en los programas de salud pública
 Invita a una respuesta relacional con criterios e incluso a una
abstracta sobre cómo valorar la importancia de una amenaza sanitaria
Con esta pregunta podemos explorar
todos los niveles SOLO:105
 Discute cómo podrías juzgar la importancia
relativa de amenazas a la salud pública,
utiliza como ejemplos para tu discusión
varios tipos de mosquitos tropicales.
106
Ejercicio toma una pregunta de recuerdo de
hechos y conviértela en la base de preguntas
que inviten a respuestas multiestructurales
 Tus alumnos deben practicar la contestación a este tipo de
preguntas en clase o en tareas asignadas como “Deberes”.
 Después de que tus alumnos practiquen ya puedes ponerles
preguntas de este tipo en tu examen
 Verás que con este tipo de preguntas podrás discriminar mucho
mejor los distintos niveles de conocimiento de tus alumnos y
animarles a qué hagan durante el cuatrimestre los deberes que
les asignas.
Compara las tres preguntas
107
 Nombre:
 1) Explica las infecciones intracelulares desde la perspectiva de la teoría de juegos. ¿Cómo denominarías los
distintos niveles de juego?,¿ cuáles son sus posibles protagonistas? ¿Cuáles las estrategias para intentar
ganar o seguir en el juego de las bacterias intracelulares y de los mecanismos inmunes dirigidos a defenderse
contra ellas?
 ¿Cuáles son los desenlaces más probables de cada tipo de interacción y su consecuencia sobre la evolución
del juego posterior?
 ¿Cuáles son las posibilidades de equilibrios permanentes y desenlaces finales?
 Ejemplificar estos conceptos en los casos de infecciones por microrganismos del género Mycobacterium
 Valor hasta cuatro puntos
 2) Explica las diferencias y similitudes entre los diferentes factores implicados en la etiología de
 las enfermedades autoinmunes y el cáncer.. Valor hasta tres puntos
 3) Describe la clasificación de las inmunodeficiencias primarias. Características generales. Se valorará la
citación de un ejemplo representativo. Valor hasta tres puntos
E V A L U A M O S C O N O C I M I E N T O S P E R O …
¿ Q U É T I P O S D E O P E R A C I O N E S C O N E S O S C O N O C I M I E N T O S S O N L A S Q U E
E V A L U A M O S ?
L O S E S T U D I O S D E M U E S T R A N Q U E L A M A Y O R Í A D E L O S P R O F E S O R E S E N
L A M A Y O R Í A D E L A S O C A S I O N E S E V A L Ú A N R E C U E R D O ,
L A E V A L U A C I Ó N D E R A Z O N A M I E N T O D E N I V E L S U P E R I O R A N Á L I S I S
S Í N T E S I S Y E V A L U A C I Ó N S U P O N E U N A P A R T E D E M A S I A D O P E Q U E Ñ A D E
L O Q U E E V A L U A M O S
A L H A C E R L O E N V I A M O S E L M E N S A J E D E Q U E M E M O R I Z A R C O N C E P T O S
E S L O I M P O R T A N T E P A R A A P R O B A R Y E S O E S L O Q U E N U E S T R O S
A L U M N O S H A C E N
P A R A C A M B I A R E S T O D E B E M O S C A M B I A R L A S P R E G U N T A S Y E N C A R G O S
Q U E H A C E M O S A N U E S T R O S A L U M N O S
108
Aplicación de la taxonomía de
Bloom a las pruebas de evaluación
109
Nivel Básico:
1. Recordar (Reproducir)
Nivel Intermedio:
1. Resumir (identificar lo mas importante)
2. Enumerar (identificar puntos)
3. Comprender (explicar e interpretar el significado) 1ª CG de Dublín
4. Comparar identificar similitudes y diferencias
Alto nivel:
1. Aplicar (usar para resolver un problema nuevo) 2ª Dublín
2. Analizar (Estudiar componentes e interrelaciones)
3. Sintetizar (producir algo nuevo integrando partes)
4. Evaluar (hacer un juicio basado en criterios) 3ªDublín
Niveles de razonamiento con el conocimiento
(taxonomía de Bloom ampliada)
110
Uso de la taxonomía de Bloom para diseñar ejercicios y
pruebas (recuerdo)
1. Conocimiento: recuerdo de información específica.
Define el término tolerancia inmunológica.
Identifica las principales poblaciones de linfocitos antígeno-específicos.
¿Quién ganó el premio Nobel por el descubrimiento de los reordenamientos
genéticos de las inmunoglobulinas?
Escribe la ecuación que relaciona la fuerza motivadora con la inercia mental
del estudiante y su actividad formativa.
¿Cuáles son las cinco secciones de un artículo original de investigación?
¿Qué son las bacterias gram-positivas?
Enumera en una lista
Las características peculiares de la respuesta autoinmune
111
Uso de la taxonomía de Bloom para diseñar ejercicios y
pruebas (comprensión)
2. Comprensión: Ser capaz de comunicar sin repetir.
Indica que operaciones matemáticas debes realizar para resolver este
problema.
Explica los resultados del experimento mostrado en la gráfica.
A partir del plano describe el artículo representado
Dada una cuestión establece un diseño experimental que pueda responderla.
Traduce el siguiente párrafo del inglés al Español.
Resume en cien palabras la teoría de la selección clonal
Resume en una oración lo mas importante que has aprendido en este curso.
Compara y contrasta en una tabla
Explica las similitudes y diferencias entre los linfocitos T y los linfocitos B
Explica similitudes y diferencias entre respuestas inmunes a bacterias
extracelulares e intracelulares
112
Uso de la taxonomía de Bloom para diseñar
ejercicios escritos (aplicación)
3. Aplicación: El uso de abstracciones en situaciones concretas.
Relaciona el principio de refuerzo positivo con tus comportamientos en la
clase.
Describe un experimento para conocer los efectos de un profesor en el
aprendizaje de sus alumnos.
Determina el porcentaje de la población de células NK en el siguiente estudio.
Entrena a tus alumnos para que desarrollen la competencia X.
Aplica sombreado para producir profundidad en un dibujo.
113
Uso de la taxonomía de Bloom para diseñar
ejercicios escritos (análisis)
4. Análisis: La descomposición de una situación en las partes que la
componen.
Identifica las asunciones que subyacen a una teoría.
Dado un argumento para la aprobación de los xenotrasplantes, enumera
razones a favor y en contra de ellos.
Analiza los resultados del siguiente experimento y ofrece una interpretación.
Dado un diseño experimental, identifica las variables predictora y dependiente.
Identifica premisas no explicitas en una argumentación lógica
Interpreta esta gráfica
114
Uso de la taxonomía de Bloom para diseñar
ejercicios escritos (síntesis y evaluación)
5. Síntesis: reunir elementos y partes para formar un todo
coherente.
Escribe un argumento lógico a favor de una determinada posición.
Dados un conjunto de datos formula una hipótesis que pueda explicarlos
Dadas dos teorías opuestas diseña un experimento para compararlas.
Diseña un separador de urea para un acuario marino de 200 l. Especifica flujo
de agua requerido y condiciones de mantenimiento y limpieza.
Escribe una historia corta relacionando una experiencia personal en el estilo de
la novela picaresca.
115
Uso de la taxonomía de Bloom para diseñar
ejercicios escritos (evaluación)
6. Evaluación: Realización de juicios acerca del valor de las cosas y
la validez de los métodos y argumentos
Dado un argumento, detectar y enumerar las falacias lógicas que contiene.
Dados los datos acerca de una cuestión, tomar una posición y defenderla.
Dado un estudio de investigación, evaluar si las resultados obtenidos justifican
las conclusiones alcanzadas.
En una situación clínica, seleccionar la intervención más razonable y predecir
los efectos y los posibles efectos no deseados.
Evaluar el trabajo de un compañero dando las razones para tu evaluación.
¿Cómo puede la evaluación favorecer el aprendizaje
significativo, reflexivo, crítico y relevante?
 Pidamos a nuestros alumnos que demuestren:
 Capacidad de transferir y aplicar sus
conocimientos a situaciones nuevas.
 Comprensión en profundidad.
 Capacidad de síntesis.
 Capacidad para la creación
116
Tus alumnos reaccionarán al cambio en la
estrategia de evaluación
 Tus alumnos al saber que se les va a exigir comprensión profunda,
aplicación, integración e interrelación de conocimientos estudiarán
de otra manera, preparándose para este tipo de evaluación.
 Tus alumnos tendrán que aprender más para aprobar y de esta manera
aprenderán más.
 Recuerda el dicho anglosajón : “You get what you assess”
 El único inconveniente es que te pasaras una semana extra corrigiendo los
exámenes de tus alumnos. Recuerda mi consejo: “Lo mejor para el
aprendizaje, casi nunca es lo más cómodo para el profesor”
117
118
Un ejemplo de evaluación
con viñeta experimental
 Comenta estas gráficas indicando qué
fenómenos muestran.
 Explica, con lo que sabes de la biología de las
células B, los mecanismos celulares y
moleculares que explican los datos
mostrados en ambas gráficas.
 Deben leer las gráficas interpretar los datos y
relacionarlos con lo que saben del temario.
 ¿Qué ocurre? ¿Qué mecanismos de los
estudiados explican cada cosa que ocurre?
 ¿Transmite honestamente la información?
Herramienta pruebas de evaluación a prueba de abordaje superficial
Interpretar un contexto de inmunización
Diferenciarconcentracióndeafinidad
Un examen de un curso de formación del
profesorado
119
 Defiende con argumentos pedagógicos ante una audiencia de
profesores que se resisten a cualquier innovación por qué es
conveniente cambiar al sistema de mas aprendizaje activo,
enseñanza mediante retos y evaluación continua propugnado
por el EEES.
 ¿Por qué es mejor para el aprendizaje…
 …el aprendizaje activo?
 …la clase interactiva?
 …usar metodologías inductivas?
120
121
Ejercicio de
interpretación
de figuras.
Estudia detenidamente la figura e interprétala:
¿Qué se muestra en cada uno de sus gráficos? ¿Cuáles son las conclusiones que se pueden extraer de los resultados
presentados en la figura? ¿Cuál es el mensaje principal de la figura?
Lo sacan los que
han pensado en
clase y han
hecho los
ejercicios
Herramienta pruebas de evaluación a prueba de abordaje superficial medido/real
Error/medida
122
¿Cuál es la similitud?
Herramienta pruebas de evaluación a prueba de abordaje superficial
123
Ejercicio de interpretación y extracción de
conclusiones.
 Responda a las siguientes preguntas
¿Qué muestran los resultados mostrados
en la grafica?
 ¿Qué podemos concluir, qué demuestran
los resultados mostrados en la grafica?
 ¿Esperarías estos resultados si los
anticuerpos fueran la causa necesaria de
la enfermedad? ¿Por qué?
 ¿A la vista de los resultados cual puede
ser el mecanismo necesario para que se
produzca la enfermedad?
 ¿Cómo lo confirmarías en un modelo
animal?
Efectos del tratamiento con Rituxan
anticuerpo monoclonal anti CD20 de
pacientes con LES
Lee el documento y explícalo relacionándolo con lo que sabes de
presentación antigénica y coestimulación linfocitaria
¿Qué aplicaciones se te ocurre que podría tener este
descubrimiento?
Herramienta ejercicios que entrenan para esas pruebas de evaluación
124
Utilidad del FCI
125
 Se utilizó el Force concept inventory
(FCI) para medir la comprensión de
leyes de Newton en high schools
Community colleges, and state
universities
 Se descubrió que con docencia
tradicional la ganancia media era un
cuarto de la máxima potencial en una
asignatura
 Con docencia interactiva incluso
cohortes de alumnos de alto nivel
doblaban su ganancia con respecto a la
típica de la tradicional

Puntuación pretest
Ganaciapretest-posttest
Tradicional
50
25
¿Por qué
el aprendizaje activo?
126
 El aprendizaje activo produce más y
mejor aprendizaje que el aprendizaje
pasivo. (Interactive engagement vs.
Traditional methods. Hake 1988)
 Compara resultados de 6542 alumnos
de 62 asignaturas
 La ganancia en aprendizaje es
significativamente superior en las
asignaturas que usan implicación
interactiva con respecto a las que usan
metodología tradicional.
 El aprendizaje activo ofrece
oportunidades para ejercicio de
competencias.
R.R. Hake, Am. J. Phys. 66, 64 (1998).
Problemas convencionales vs. Problemas
conceptuales
127
 ¿Qué será más difícil?
 Diseñar un experimento para responder a esta pregunta
 Explorar el mismo contenido de las dos maneras en el mismo
examen.
 En apariencia lo conceptual es más sencillo pero los alumnos
obtienen peores resultados en el “sencillo” test conceptual
que en el complicado problema.
 Hagamos un experimento
 Problemas complejos
(pero esperados)
128
Problemas complejos vs. Tests conceptuales
“No podemos regalar el 20% del examen”
“Llámalo problema de calentamiento”
 Test conceptual
(inesperados)
¿Los que resuelven problemas convencionales entienden los conceptos básicos?
Muchos aprenden de memoria la mecánica de resolución de los problemas esperados
Los mismos alumnos
en el mismo examen
nota media 6,9 > nota media 4,9
Problemas convencionales esperados vs.
Problemas conceptuales inesperados
¿Hay alguna correlación entre los resultados?129
 ¿Cómo interpretáis estos
resultados?
 Relación en la mitad
 Pocos hicieron mejor el
conceptual que el convencional
 Muchos hicieron peor el
conceptual que el convencional
 ¿Qué son?
52 %
Problema convencional
Problemaconceptual
20 40 60 80 100
20406080100
39 %
9 %
¿Qué podemos concluir de estos resultados?
Porcentajedeganancia
Conrespectoalamáximapotencial
La incorporación de más métodos interactivos mejora los resultados del peer instruction
PI
PI + JITT
Tradicional teaching vs. Peer teaching
Ganancia media
Física
25% de la máxima
posible
Biología
17%
Ganancia media
Física
50-60% de
la máxima
posible
Biología
33%
Trabajo extra que nos da el peer teaching a los
profesores
 Los temas deben estar preparados con más antelación.
 Debemos preparar preguntas de test sobre aquello que
queremos que nuestros alumnos aprendan.
 Centradas sobre la comprensión profunda y aplicación de
los conceptos esenciales de nuestra asignatura.
 Esas preguntas deben servir para poner en evidencia si
nuestros alumnos comprenden las ideas más importantes
 Estrategia sugerida empezar con JITT ir preparando
preguntas para peer teaching
Una vez conocidos estos resultados
¿Es ético seguir utilizando la metodología
tradicional de enseñanza universitaria ?
 Una analogía con el ensayo clínico de tratamientos.
 La eficacia de distintos tratamientos se compara aplicando uno a un grupo de
pacientes otro a otro y comparando los resultados.
 En medicina cuando se demuestra que un tratamiento es el doble de eficiente
que otro y se publica y se admite como un hecho la superioridad del
tratamiento I (Innovador) sobre el tratamiento T (Tradicional)
 Si tu propones otro estudio comparando los tratamientos I y T el comité de
ensayos clínicos te lo tirará para atrás por que “No es éticamente admisible
negar a un grupo de pacientes el mejor tratamiento conocido”
 ¿Por qué negamos a nuestros alumnos el tratamiento que produce más
aprendizaje?
¿Es ético que sigamos utilizando la metodología
tradicional a sabiendas de que hay otras metodologías
mas eficaces pero menos cómodas para el profesor?
 La evidencia publicada demuestra que no
 ¿Por qué ignoramos la evidencia publicada?
Más allá de la intuición y la experiencia
personal (Cees van der Veluten)
 ¿Por qué el profesor de medicina basa su práctica médica en la medicina basada en la
evidencia publicada y su práctica docente en la tradición y su opinión personal?
 ¿Por qué a su paciente le administra el tratamiento que según la última literatura médica
es el mas eficaz y sin embargo a su alumno le enseña de aquella manera que simplemente
le resulta más cómoda a él?
 Ha sido formado en medicina pero no en docencia es y se comporta como un profesional
de la medicina y sin embargo se comporta como un amateur en la docencia
 Debemos esforzarnos por convertirnos en profesionales de la docencia . Debemos basarnos
en las mejores prácticas puestas a prueba en los países más avanzados
 Debemos informarnos
 Investigación original
 Revisiones y meta análisis
 Libros y manuales para la innovación y la mejora

135
¿Qué es la práctica profesional basada en la
evidencia?
136
 Hacer lo más correcto en cada situación.
 Por ejemplo en medicina
 “… the conscientious, explicit, and judicious use of
current best evidence in making decisions about the
care of individual patients.”
 David Sackett MD (1994)
 ¿Por qué no hacemos esto mismo con los alumnos?
¿Se vuelven tontos los profesores de medicina
al ir del hospital a la facultad?
137
 Obviamente no
 ¿Por qué cada servicio del hospital realiza
sesiones clínicas todos los días y pasa un
lustro sin que en el Dpto. de Medicina se
haga nada para modernizar la docencia?
 Estamos tan acostumbrados a que esto sea
así, que lo que debería ser normal nos
parece lo anormal.
Una selección histórica de la literatura sobre
enseñanza universitaria para el gran público
 51- 80 McKeachie teaching tips
 1985 Assessing educational outcomes Ewel
 1987 Developing critical thinkers Brookfield
 1991 Active learning Creating excitement in the classroom
 1994 Classroom assessment techniques Cross , Angelo
 1997 Peer instruction: A User’s Manual
 1997 How to use problem-based learning in the classroom.
 1997 Adviser, teacher, role model, friend on being a mentor
to students in science and engineering.
 1998 Educative assessment Grant Wiggings
 1999 The Chicago handbook for teachers: a practical guide
to the college classroom. A Brinkley y cols
 1999 Teaching for quality learning at University J.biggs
 1999 Just-In-Time Teaching: Blending Active Learning with
Web Technology
 1999Discussion as a way of teaching
 1999 A handbook for teaching and learning in higher
education
 2000 teaching with your mouth shut
 2000The Internet and problem based learning developing
solutions through the Web.
• 2001 Understanding by design Wiggings G
• 2001 The Power of Problem-Based Learning: A
Practical 'How To' for teaching Undergraduate
Courses in Any Discipline
• 2002 Learner-Centered Teaching: Five Key
Changes to Practice Weimer M
• 2003 Creating Significant Learning Experiences:
An Integrated Approach to Designing College
Courses Fink
• 2004 What the Best College Teachers Do Bain
• 2004 building faculty learning communities Cox
• 2004 An introduction to rubrics Stevens D
• 2005The joy of teaching P Filene
• 2006 Exploring research based learning Kreber C
• 2008 Team based learning Micaelsen
• 2008 Teaching unprepared students
• 2009 Designing courses for significant learning:
voices of experience Fink
• 2009 Teaching with classroom response systems:
Creating active learning Environments Bruff D
• 2010 2nd edition The Art And Craft of College
Teaching: A Guide for New Professors And
Graduate Students Rotenberg
• 2010 XIII edition of teaching tips of Mc Keachie
• 2011 Engaging Ideas : The Professor's Guide to
Integrating Writing, Critical Thinking, and Active
Learning in the Classroom Bean
¿Cómo puedo incorporar estas metodologías a mi
docencia?
 Introducir preparación previa
 JITT muy fácil sólo comunicación
virtual bidireccional
D
I
F
I
C
U
L
T
A
D
 Team based learning
 Scracth system
 Si queremos usarlo para Evaluación
contiua se necesitan lectores OMR
para lectura automática
PEPEOLA muy fácil cuestionarios
en plataforma se pueden importar
preguntas desde word
Preguntas solo comprueban
pregunta y
 Aprendizaje activo
 Introducir actividad y reflexión en clase
 preguntas ejercicios
 Peer teachning más complejo
pero puede ir haciéndose
gradualmente
 Se puede empezar con cartulinas
 Si queremos usarlo para evaluación-
calificación continua se necesitan
clickers
Diagrama de flujo de las discusiones en clase
en el peer teaching
Escalera hacía el máximo
aprendizaje
Dictatio Monólogo magistral lectio, lectio, y lectio
Clase expositiva interrogativa (evolución del lectio, comentatio
disputatio) hay que hacerles pensar como profesionales con la
información que les damos
Aprendizaje activo ejercicios y estudio previo, reorientación de
presentaciones y retroinformación colectiva
Estudio previo y retroinformación
Just in time teaching reorientación de explicación a lo
que no se entiende . Aumenta atención. FAQ
PEPEOLA
Preparación y Estudio Previo con Evaluación
On-Line Automática
Peer teaching
alumnos como recursos,
ayudantes del profesor
Team based learning
Estudio previo, tema
empieza con un
examen, finaliza con
trabajo en equipo
Cómo implementar los distintos
métodos
Dictatio no tenemos que cambiar nada
Clase expositiva interrogativa planificar preguntas y casos para
intercalar en las explicaciones y dar lugar a diálogo
introducir ejercicios y reflexión, estudio previo, retroinformación
colectiva
Just in time teaching aplicación creación gestion y análisis
de formularios Survey monkey y google docs . Estudio previo
y retroinformación se explica lo que no se entiende
PEPEOLA
Poner preguntas en plataforma
Peer teaching
Crear preguntas que pongan de
relieve concepciones erróneas
clickers
Team based learning
PEPEOLA en aula
info
lectores OMR
Servicio corrección
Scracth
Comodidadparaelalumnoyelprofesor
Compartir vuestros resultados de aprendizaje
 ¿Qué hemos aprendido hoy?
Consejos para el futuro
 Escoge un objetivo de aprendizaje
 Diseña una prueba que lo evalúe
 Diseña actividades apara aprenderlo ejercitarlo
 Rediseña tu prueba de evaluación, rediseña tus
actividades de enseñanza aprendizaje
¿Aportan nuestras asignaturas experiencias de
aprendizaje de calidad a nuestros alumnos?
 ¿Obtienen aprendizajes que permanecerán y usarán en el futuro?
 ¿Obtienen aprendizajes valiosos para sus perfiles profesionales?
 ¿Obtienen aprendizajes que les hacen cambiar y madurar? ¿les ayudan a
desarrollarse como personas y profesionales?
 ¿Obtienen aprendizajes novedosos pero que se apoyan en el nivel de base
que tienen?
 No podremos responder a esta cuestión hasta que conozcamos las
respuestas de nuestros alumnos. Deberíamos preguntárselo a ellos.
Hagámoslo.
 Debemos aprender a crear experiencias de aprendizaje significativo para
ellos , no basta con planificar temas y clases.
Batería de preguntas para la reflexión metacognitiva
146
5) Reflexión sobre el aprendizaje en la asignatura
¿Qué cosas importantes has aprendido en esta
asignatura?
Incluye: conocimientos que has adquirido,
competencias (Aprender a hacer cosas) y visiones
(nuevas formas de ver y pensar las cosas) que has
desarrollado.
¿De los aprendizajes que has adquirido en esta
asignatura cuáles piensas que te serán más útiles
en tu futuro profesional?
¿Qué aspectos de la asignatura han sido más
novedosos para ti?
¿Qué aspectos de la asignatura te han gustado
más?
¿Qué te ha parecido el sistema empleado
de enviaros los materiales antes de
empezar a explicarlos para que los leáis y
respondáis a preguntas?
¿Notabas que te era más fácil entender un tema
cuando lo habías estudiado antes?
¿Te has sentido más responsable de tu propio
aprendizaje en esta asignatura?
¿Te has sentido más motivado a trabajar en ella
que en otras asignaturas de este curso?
¿Por qué?
¿De lo que han hecho los profesores que es lo que más te
ha ayudado a aprender?
¿Qué has aprendido de las actividades formativas y
ejercicios que has realizado?
¿Qué actividades formativas te han gustado más? ¿Por
qué?
¿Qué has echado en falta?
¿Cómo mejorarías la asignatura?
¿Algún otro comentario que quieras hacer (puedes usar
también la cara de atrás)?
D E P E N D I E N D O D E C Ó M O S E H A G A L A
E V A L U A C I Ó N C O N T I N U A
P U E D E M E J O R A R E L N I V E L D E
A P R E N D I Z A J E P R E T E N D I D O O E M P E O R A R L O
147
Estudios de caso en evaluación
continua alineada y desalineada
En general la evaluación continua
suele mejorar los resultados de calificación
 Cuando se cambia de evaluación final a evaluación
continua los estudiantes aprueban más y sacan mejores
notas.
 ¿Es esta una prueba valida de la bondad del método?
 ¿No será que estamos disminuyendo la dificultad
más que mejorar el resultado del aprendizaje?
 Hay una metodología para responder a esta pregunta
148
Estudiamos la evolución de los resultados de
distintas promociones
149
 Manteniendo una serie de preguntas con índice
de dificultad conocido en los exámenes.
 Voy a presentar dos casos: uno con muy buenos
resultados (lo que hay que hacer ) y el otro con muy
malos resultados (lo que no hay que repetir).
 Una lección: El efecto de la EC depende de cómo se
haga esta.
Caso 1. EC que no mejora los resultados sino que los
empeora (se dice el pecado pero no el pecador)
 Experiencia piloto de los nuevos grados incorporan evaluación continua pero mantienen
los tests de conocimiento que empleaban en licenciatura.
 Profesores y alumnos trabajan más en actividades no alineadas con los tests de evaluación.
 Los resultados tests van bajando en años sucesivos. ¿Nos sorprende?
 ¿Por qué no debería sorprender nos a profesores capaces de ponernos en el lugar del
alumno?
1. Porque el que va a aprobar gracias a los puntos de evaluación continua puede dormirse
en los laureles, ya no necesita estudiar tanto como antes para sacar los puntos que le
faltan en el test.
2. La evaluación continua no esta alineada con los aprendizajes evaluados en la evaluación
final
 ¿Conclusión?
 No están aprovechando el potencial de la evaluación continua para que mejoren los
resultados de aprendizaje pretendidos. Los alumnos trabajan más y no mejoran los
resultados
150
Caso 2. EC que contribuye a mejorar
los resultados de la EF
(los cracks de Inmunología de la UAH)
 Tras una serie de años endureciendo las pruebas de evaluación.
Aumentando el porcentaje de preguntas discriminativas nos dimos
cuenta de que el porcentaje de suspensos aumentaba. Nuestro progresivo
incremento en exigencia no era equilibrado por nuestra mejora en apoyo. Nos
estábamos convirtiendo en una de las asignaturas huesos de la licenciatura en
biología.
 Tras aumentar nuestro nivel de exigencia debíamos aumentar el
entrenamiento para pruebas tan exigentes.
 Decidimos incorporar una evaluación continua que prepara para
evaluación certificativa test con preguntas que vamos retirando de los
“exámenes finales” y las incorporamos a exámenes formativos. También
preguntas de casos.
151
Resultados obtenidos
152
 Resultados de los tests “finales” mejoran con la
realización de tests al final de los módulos y
espectacularmente cuando se añaden pre-tests al
principio de los módulos temáticos.
 Claves del éxito: menos valor (no se aprueba sólo
con los puntos de la continua) pero más alineamiento
de evaluación continua con evaluación final
 Hay que alinear bien y no pasarse con el valor.
0
20
40
60
80
100
120
2007/08 2008/09 2009/10
matrícula
sobresaliente
notable
aprobado
suspenso
no presentado
Mejora de resultados incorporando evaluación
formativa (convocatoria ordinaria junio)
Sólo final test post test pre
Test post redujo el porcentaje de
suspensos en 2008/09 y aumento el
porcentaje de alumnos con
calificaciones de notable o superior.
Test pre aumentó en 2009/2010 el
porcentaje de notables y
sobresalientes
Evaluación continua alineada con la
final y no permite dormirse en los
laureles
Porcentajedealumnos(Junio)
153
Incremento en calificación
de pruebas finales
 Incremento calificación media
con respecto a 2007/08
 Casos y peguntas de desarrollo
 2008/09 27,0%
 2009 /10 38,12%
 2010/11 40,23%
 Prueba MCQ
 2008/09 12,5 %
 2009 /10 23,36%
 2010/11 25,06%
 Nosotros ya hacíamos evaluación continua y AAD con ABP
 Pero lo que puntuaba una parte (preparación de presentaciones orales) y otra (casos y
tests en exámenes) no estaba alineado
 El cambio fue introducir actividades de evaluación formativa alineadas con las pruebas de
evaluación final. El resultado fue una mejora espectacular.
0
5
10
15
20
25
30
35
40
45
2007/08 2008/09 2009/10 2010/11
casos
MCQ
154
Alternativas con preguntas MCQ de exámenes
certificativos
1. Darlas “quemarlas” y hacer otros.
 Ventaja banco creciente de preguntas
 Inconveniente hay que hacerlas nuevas y desconoceremos su dificultad y
su capacidad de discriminación al elaborar la prueba sólo la conoceremos
después pero al darlas la habrán perdido.
 Así no hay manera de hacer preguntas de calidad para la evaluación
certificativa.
2. Mantenerlas secretas, estudiar su dificultad y su poder
discriminativo
 Sacamos algunas para evaluación continua y formativa
155
156
¿Cómo realizar el análisis y el
proceso de mejora de calidad de
la prueba?
157
¿Cómo realizar el análisis y el proceso de
mejora de calidad de la prueba?
1. Matriz de respuestas y calificaciones programa de corrección de tests
alumnos en filas x preguntas en columnas
2. Se ordena la matriz Ranking por calificación global en la prueba
3. Se hace una matriz de aciertos por comparación con la fila plantilla
=SI('RANK respuestas'!D126='RANK respuestas'!D$151;1;0)
4. Se crean grupos de alumnos en función de su calificación primer cuartil –
cuarto cuartil
5. Se hallan las proporciones de acierto de alumnos de distintos
cuartiles.
6. Con índices se comparan las proporciones de acierto en distintos grupos
7. Podemos seleccionar las preguntas mas discriminativas. Esto nos
permite diseñar una prueba de alto poder discriminativo: un test corto de 25-
50 preguntas y preguntas, casos y ejercicios (cuya capacidad para discriminar
también podemos estudiar).
8. Así podemos combinar lo mejor de ambos tipos de exámenes.
158
Los valores de los Índices permiten comparar, clasificar
y mejorar preguntas
Más discriminativas diferencian más entre los que saben y los que no (mantener)
Las que diferencian ente los mejores y el resto
Las que diferencian entre los que saben algo y los que no tienen ni idea
Menos discriminativas (corregir o eliminar)
Demasiado fáciles los que no estudian las aciertan. Hay que dificultarlas o a EC
Demasiado difíciles las fallan hasta los más estudiosos. Hay que facilitarlas o eliminarlas
Tienen algún fallo o ambigüedad. Hay que corregirlas
=SI('RANK respuestas'!D126='RANK respuestas'!D$151;1;0)
¿Qué necesitamos?
159
1.Un lector de exámenes (1989) o un servicio
universitario de corrección de exámenes que nos
facilite la tarea
2.Un programa de corrección de exámenes y alguien
que nos explique como usar el software.
3.Una hoja de cálculo de excel.
4.Para preguntas MCQ la fórmula para convertir aciertos en
(1) y los fallos en (0)
=SI('RANK respuestas'!D126='RANK respuestas'!D$151;1;0)
160
Gestión de la información generada por un
sistema de evaluación multivariante
1. Las TICs nos facilitan mucho esta labor:
1. Plataformas de aprendizaje que permiten
1. la realización de foros on line para el trabajo de equipo
2. portafolios electrónicos,
3. Programas para la realización, autocorrección y autocalificación de tests,
2. Surveymonkey, google docs
3. Lectores que califican tests automáticamente, sistemas de respuesta
a distancia clickers Educlick.
4. Hojas de datos que nos permiten
1. Procesar toda esta información numérica e integrarla en una calificación final para
cada alumno.
2. Estudiar la calidad de nuestras pruebas para discriminar distintos niveles de
aprendizaje.
2. Los profesores debemos aprender a explotar estas herramientas
Recursos sobre como hacer preguntas de test
(MCQ)
 Manual para la elaboración ce preguntas
http://www.nbme.org/Publications/index.html)
 Ventajas e inconvenientes de distintos métodos de
evaluación por medio de pruebas escritas.
161
Preguntas de test cómo herramienta para
fomentar comportamientos éticos
Raíz
En relación a XXXXXX es cierto que:
A afirmación 1
B afirmación 2
C A y B son ciertas
D A y B son falsas
E No tengo certeza de cuál es la
correcta, debería buscar información
y estudiarla para responder.
162
Raíz
Viñeta clínica:
¿Qué habría que hacer?
A distractor 1
B distractor 2
C respuesta correcta
D distractor 3
E No tengo certeza de cuál es la
correcta, debería buscar información
y estudiarla para responder.
Ventajas didácticas y logísticas
• Al haber una opción para abstenerse E (que no
penaliza) evitamos tener que revisar manualmente si
en corrector lee bien las preguntas en blanco pues sólo
habría preguntas en blanco cuando el lector no lee
bien u ocasionalmente el alumno olvida responder a
alguna.
• Además así el alumno tiene una opción ética para
contestar reconociendo que no sabe.
• Fomentamos con nuestro sistema de
calificación que el alumno reconozca cuando
no sabe y actué en consecuencia.
163
Cómo funciona el sistema de penalización
en preguntas que combinan dos VF
164
• Errar resta medio punto que es la probabilidad que
corresponde al que sabe una, duda otra y se arriesga entre
V/F (0,5)
• Pero el truco está en que al que no sabe ni una ni otra le
resta 0,5 que es más su probabilidad de acertar por azar
(0,25)
• Con este test los que no tienen ni ética, ni idea sacan
puntuaciones negativas,
• Al combinar dos afirmaciones no hace falta rebuscar
tanto estas afirmaciones para que la pregunta sea
discriminativa (diferencie entre los que saben más y los
que saben menos).
Penalización variable
165
 A correcta CD -0,25 B-0,50
 B correcta CD-0,25 A-0,50
 C correcta AB-0,25 D-0,50
 D correcta AB-0,25 C-0,50
Cómo funciona el sistema de penalización
en preguntas con tres distractores
166
• Errar resta medio punto que es la probabilidad que
corresponde al que duda entre la correcta y un distractor y
se arriesga (0,5)
• Pero el truco está en que al que duda entre 3 ó 4 le resta 0,5
que es más que su probabilidad de acertar por azar si duda
entre tres (0,33) o entre cuatro (0,25)
• Con este test los que no tienen ni ética, ni idea sacan
puntuaciones negativas,
• Al penalizar más a los más ignorantes se aumenta la
capacidad de discriminación de la pregunta.
Nuestro modelo de evaluación continua
Concepto Valor Evaluación
Continua 1
Evaluación
Continua 2
Evaluación “al
Final”
ABP
(seminarios)
25% Tutorías
5% (individual)
Presentación
ppt 10%
(grupal)
Presentación oral
10% (individual)
Teoría (clase
grande)
50% Primer módulo
E formativa pre2,5%
E sumativa post
7,5%
Segundo
módulo
E formativa
pre 2,5%
E sumativa
Post 7,5%
Examen
“finalito” 30%
15 tests
15 casos
Prácticas
(laboratorios)
25% 5% 5% Examen
prácticas 15%
Total 100% 20% 25% 55% (repartido)
Examen final en convocatoria ordinaria 100 % sólo para alumnos que no optaron a
evaluación continua
167
Aprendizajes del ABP Valor Novedad Dificultad
de la tarea
Disfrute de la
tarea
Desarrollo de la
competencia
Presentation oral (PO) Muy Alto Muy Alto Alto Muy Alto Alto
Preparación de la PO Muy Alto Alto Alto/
Suficiente
Alto Alto
Comprensión de artículos
originales de
investigación
Alto Muy Alto Alto Suficiente Alto
Trabajar con bibliografía
en Inglés
Alto Alto Alto Bajo Suficiente
Buscar información en
Internet
Alto Suficiente Suficiente/
Bajo
Alto Alto
Acquisición independente
de conocimiento
Alto Suficiente Suficiente Alto Alto
Trabajo en equipo Alto Suficiente Suficiente Muy Alto Alto
Aprender a aprender con
autonomía
Alto Suficiente Suficiente Alto Alto
Resolución de dudas en
tutorías
Alto Suficiente Suficiente Alto Alto
Uso de TICs y softwares Alto Bajo Bajo Alto Alto
168
¿Puedo mantener el nivel de exigencia utilizando
evaluación continua?
 Abogado del diablo ¿No estaremos aprobando a alumnos con un
nivel de aprendizaje mediocre?
 Si el profesor no controla adecuadamente su sistema de evaluación
esto puede ocurrir.
 Si queremos evitar que ocurra esto debemos regular nuestra
exigencia en la evaluación continua y controlar el nivel de
exigencia y dificultad de tus pruebas de evaluación final.
 Estudios de dificultad de preguntas y de su poder
discriminativo. Sistema de análisis en Excel.
169
¿Cómo mejorar la evaluación continua?
 Centrarla en competencias escogidas (ejercicio 11) y
alrededor de conceptos fundamentales de nuestra
asignatura (ejercicio 6).
 ¿Cómo hacerla factible?
 Decidir en qué ocasiones hacerla (frecuencia) y cómo gestionar control
(automático), calificación (sorteo) y feedback (colectivo).
 ¿Cómo vamos a explotar la información que genera nuestra evaluación?
 Para mejorar aprendizaje retroinformación colectiva del profesor al
alumno
 Para mejorar enseñanza planificación de obtención de retroinformación
desde el Alumno al Profesor
170
Criterios de calidad de la evaluación continua
 Validez ¿Qué evalúa? ¿Es la evidencia suficiente para
inferir los aprendizajes deseados?
 Fiabilidad ¿Con qué reproducibilidad?
 Marketing ¿Perciben los alumnos que desarrollan
competencias y aprendizajes valiosos?
 Poder informativo ¿Qué información sacamos de la
EC?¿proporcionamos retroinformación a los alumnos?
¿obtenemos información útil para replantear y mejorar
nuestra enseñanza?
171
Poder informativo de la EC
 ¿Qué información genera sobre aprendizajes de
calidad?
 ¿Qué información genera sobre lo que nuestros alumnos no
aprenden y las dificultades que tienen?
 ¿Cómo se aprovecha esta información para retroinformar al
alumno?
 ¿Cómo se aprovecha esta información para mejorar el
proceso de enseñanza-aprendizaje?
172
Competencias para la evaluación
a desarrollar por el profesor
1. Seleccionar resultados de aprendizaje que permitan la evaluación
competencias.
2. Escoger métodos para premiar la realización de actividades
formativas.
3. Diseño de pruebas de evaluación de utilización de conocimiento
de alto nivel.
4. Aprender a utilizar la evaluación on line automática para
estimular el estudio previo.
5. Evaluación formativa y auténtica
6. Aprender a elaborar rúbricas
173
174
COMPETENCIAS y resultados del aprendizaje Herramientas de evaluación
Competencia
nº 1: Saber
específico:
Conocimiento
s de
inmunología
- Definir, comparar y aplicar conceptos
inmunológicos relativos a moléculas,
células, tejidos y procesos del sistema
inmune.
- Explicar los mecanismos y procesos de
regulación en la respuesta inmune normal
y patológica.
-Explicar el fundamento, operación y rango
de aplicación de los métodos
inmunodiagnósticos e inmunoterapéuticos.
-Interpretar resultados experimentales de
técnicas inmunológicas
Enumera similitudes y diferencias
entre …
Analiza las diferencias entre
respuestas inmunes primarias y
secundarias
¿Qué métodos utilizarías para . . .
Interpreta los resultados
experimentales mostrados en esta
gráfica
Competencia
nº 2:
Saber hacer
específico
Proceso de
información
en
inmunología).
-Buscar bibliografía de información
inmunológica con herramientas
electrónicas en un entorno on line.
-Leer, comprender y analizar la literatura
primaria en inmunología (artículos
originales y revisiones).
-Entender diseños experimentales y
diseñar experimentos en inmunología
-Comunicar información científica
oralmente, por escrito y usando recursos
on line.
-Aplicar principios, elementos y tecnologías
inmunológicas a la investigación biológica.
¿Han sido capaces de resolver
autónomamente sus dudas?
¿Han entendido el artículo?
¿Han localizado los métodos que
deben usar en prácticas?
¿Han entendido los diseños
experimentales del artículo?
¿Han diseñado bien sus
experimentos de prácticas?
Su presentación merece un …
Su informe merece un …
¿Han elegido métodos apropiados a
los fines propuestos?
175
COMPETENCIAS y resultados del aprendizaje Herramientas de evaluación
Competencia
nº 3:
Transversal
instrumental
Resolución de problemas
Lengua extranjera inglés.
- Uso de TICs en biología.
-Comunicar información científica oralmente,
por escrito y por canales on line.
Han comprendido el articulo original en ingles
y la bibliografia complementaria
Han explotado las posibilidades de Internet,
Power Point, y Acrobat Reader
Han realizado una presentación comprensible
y amena
Han realizado un buen informe del trabajo
estudiado
Competencia
nº 4:
Trabajo en
equipo
Trabajar en grupos cooperativos asumiendo
las responsabilidades que se les han
asignado
Los productos de su trabajo en equipo
merecen un . . .
Evaluación por compañeros
Competencia
nº 5:
Transversal
sistémica
Aprendizaje
autónomo:
-Desarrollar hábitos para el autoestudio y el
aprendizaje activo autodirigido e
independiente.
Han encontrado recursos en Internet para la
resolución de problemas y ejercicios
Han documentado correctamente sus trabajos
Han resuelto los problemas sin necesidad de
ayuda
Competencia
nº 6:
Transversal
sistémica
Pensamiento
crítico y
creativo
Formular hipótesis y diseños experimentales
para ponerlas a prueba
Interpretar resultados experimentales
Formular conclusiones y argumentos
científicos basados en datos
experimentales.
Juzgar trabajos científicos
Han realizado un buen análisis crítico del
trabajo estudiado
Son capaces de interpretar datos y deducir
conclusiones
Son capaces de argumentar científicamente
Su juicio del artículo es incisivo y
fundamentado
Competencia
nº 7:
Actitudinal:
- Desarrollar confianza en la capacidad para
resolver problemas inmunológicos.
- Desarrollar interés por la investigación clínica
Autoevaluación declaran haber desarrollado
confianza en sus posibilidades
Han mostrado su interés participando en clase
176
Mitos en evaluación
177
 No hay un método mejor (objetivo y estandarizado) para
evaluar todo, depende de lo que queramos evaluar y del contexto
 Lo mejor suele ser una combinación de métodos con muestreo suficiente
(fiabilidad)
 No sólo son auténticos ciertos métodos. Lo mejor es que las
pruebas evalúen auténticamente lo que queremos evaluar (validez)
 La evaluación es un asunto de psicometría en el que todo
esta inventado.
 Lo mejor es que la evaluación tenga impacto educativo ayude a aprender
 Este integrada en las actividades de enseñanza aprendizaje evaluamos lo que
hacemos
178
Caso clínico
179
 Varón de 52 años no fumador lleva tres días con
febrícula y tosiendo, produce esputo verde .
 Su presión sanguínea, pulso y ritmo respiratorio son
normales
 La exploración de ruidos pulmonares es normal
Eres su médico de cabecera ¿Qué harías?
180
A. Pedir una radiografía de torax para descartar la
neumonia
B. Prescribir un antibiotico
C. Prescribir un antiinflamtorio corticoide
D. Recomendar Pelargonim sidoides, un remedio de
herbario muy popular.

¿Qué harían la mayoría de los médicos?
181
Que nos dice la evidencia
182
 La radiofgrafia mno es necesaria pero al paciente
puede hacerle ilucsión
 El antibiotico no no ayudará
 Antitussivos no están bien estudiados pero se
prescriben

El nuevo sistema de evaluación continua

  • 1.
    A L FR E D O P R I E T O 1 Evaluación continua más formativa y eficiente en los nuevos grados 11 CSIC/UAH
  • 2.
    Agenda de lasesión 2 1. Evaluación continua mas formativa y eficiente 2. Cómo evaluaremos las competencias genéricas 3. Evaluación de ganancias de aprendizaje FCI 4. Evaluación de la comprensión profunda (SOLO) y de operaciones de alto nivel cognitivo (Bloom) 5. Construcción de preguntas de calidad para pruebas de elección entre múltiples opciones 6. Estudios de caso en evaluación alineada. 7. ¿Qué problemas tenemos para evaluar a nuestros alumnos? 8. Selección de instrumentos de evaluación
  • 3.
    A S SE S S M E N T P R A C T I C E S M U S T S E N D T H E R I G H T S I G N A L S , T H E P U R P O S E O F A S S E S S M E N T M U S T B E C L E A R , A N D T H E A S S E S S M E N T T A S K S S H O U L D C O V E R T H E O B J E C T I V E S O F L E A R N I N G . J O H N B I G G S 2 0 0 3 T E A C H I N G F O R Q U A L I T Y L E A R N I N G A T U N I V E R S I T Y : W H A T T H E S T U D E N T D O E S , 01 Evaluación continua más formativa y eficiente en los nuevos grados sanitarios 3
  • 4.
    ¿Por qué laevaluación del aprendizaje es importante en la enseñanza? 4  Porque es la herramienta más poderosa que tenemos los profesores para estimular y orientar el trabajo y el aprendizaje de nuestros alumnos. You get what you assess And you don’t get what you don’t assess
  • 5.
    ¿ Cuál esla fuerza más poderosa para producir aprendizaje ? 5  La evaluación  ¿Por qué?  Pues dependiendo de ella se determina:  1 qué se aprende,  2 cómo se aprende y  3cuándo se aprende.
  • 6.
    ¿Por qué esimportante que los profesores universitarios aprendamos a evaluar? 6  Porque no hemos sido formados para ello y seguimos las tradiciones departamentales casi a ciegas sin habernos planteado otras alternativas.  Muchas veces evaluamos como nos evaluaron cuando fuimos estudiantes (al menos hasta que nos obligaron a cambiar de método).  Nuestra práctica evaluativa suele basarse más en la tradición departamental que en las mejores prácticas descritas en la literatura sobre enseñanza universitaria.  En el EEES se exige aplicar sistemas de evaluación continua.  Para salir de esta situación hay que estudiar la literatura sobre evaluación en educación universitaria.
  • 7.
    ¿ Cómo debemosevaluar para que nuestros alumnos aprendan más y mejor?7 1. De manera auténtica, continua y frecuente 2. proporcionando retroinformación (feedback) 1. sin dilación (lo más inmediato posible) 2. Discriminativa 3. Amable 4. Colectiva (para que nuestro trabajo sea eficiente) el feedback personalizado es muy bonito pero si tienes 100 alumnos puede ser insostenible.
  • 8.
    Evaluación continua (EC) 8 ¿Qué es la EC? ¿es formativa? ¿es sumativa?  ¿Qué diferencia a la buena EC de la evaluación fragmentada o dividida?  ¿Por qué debemos usar la EC?  ¿Cómo debe ser la EC para que motive más el trabajo de nuestros alumnos?  ¿Qué ventajas e inconvenientes tiene la EC?  ¿Es útil la evaluación continua?  ¿Qué información útil nos puede proporcionar la evaluación continua de nuestros alumnos?  ¿Qué características son importantes en la EC y no se pueden comprometer?  ¿Cómo debe ser la evaluación continua para que motive más el trabajo de nuestros alumnos?
  • 9.
    ¿Qué es laevaluación continua (EC)?  La que se hace durante el proceso de aprendizaje. ¿Es formativa? ¿Es sumativa? La buena evaluación continua debe ser ambas cosas, formativa y sumativa? 9 Debe tener repercusión en la calificación (impacto) aunque lo ideal es que esta sea baja
  • 10.
    Falsas (pero útiles)dicotomías en evaluación: Evaluación sumativa Calificativa, acreditativa, certificativa Medir con validez, fiabilidad Estimula al estudio por obtener el resultado deseado Evaluación formativa mejora el aprendizaje Dirigir el esfuerzo y aportar retroinformación Para la mejora La buena Evaluación Continua es formativa y sumativa Estimula y forma LOW STAKES ASSESSMENT impacto Educativo HIGH STAKES ASSESSMENT Validez Fiabilidad
  • 11.
    ¿Qué diferencia ala buena evaluación continua de la evaluación fragmentada o dividida? 11  La buena evaluación continua es formativa se aprovecha para proporcionar retroinformación de los alumnos para que puedan mejorar su ejecución en reevaluaciones ulteriores.  La evaluación fragmentada libera partes, la continua no, sigue evaluando y permitiendo la reevaluación de partes ya evaluadas pero así estimula al alumno a no dejar de estudiar ciertas partes ya superadas.  Hay que especificar esto en la guía, de lo contrario los alumnos asumirán que los exámenes son liberatorios.
  • 12.
    ¿Por qué debemosusar la la evaluación continua?  La práctica distribuida produce aprendizaje de más calidad que la práctica masiva.  ECTS 40h/semana. Ofrece oportunidad de corrección de aprendizaje. La Evaluación final lo produce más tarde y de menos calidad en la mayoría de los alumnos.  Permite la administración de feedback  Summer learning loss  Five minutes university https://www.youtube.com/watch?v=ceMeiaGaFeo 12
  • 13.
    ¿Qué ventajas einconvenientes tiene la evaluación continua? 13  Ventajas 1. La EC puede ser una parte importante de la solución a los problemas de aprendizaje de nuestros alumnos. 2. Ayuda a detectarlos a tiempo. 3. La retroinformación ayuda a solucionarlos.  El inconveniente  Es mucho, mas trabajosa que la evaluación final.  No vamos a centrar en como evitar que sea demasiado trabajosa  Si no cuenta en calificación los alumnos no se la tomaran en serio  Si cuenta demasiado puede disminuir el nivel de exigencia
  • 14.
    ¿Es útil laevaluación continua?  Depende de cómo se use.  ¿Cuándo será útil la EC?  Será útil si proporciona  estimulo para que los alumnos emprendan las actividades que producirán los aprendizajes deseados. (valor de cambio de la EC sumativa)  información que es aprovechada por el alumno y el profesor.  El alumno para mejorar su aprendizaje .  El profesor para mejorar su enseñanza .  Si es aprovechada para una retroinformación inmediata, frecuente, discriminativa, amable y eficiente (si tenemos muchos alumnos deberemos darlo colectivamente). (valor retroinformador de la EC formativa) 14
  • 15.
    ¿Qué características sonimportantes en la EC? 15 1. Que sea formativa 1. Debe proporcionar retroinformación inmediata, frecuente, informativa, discriminativa y empática (Fink). 2. Que sea estimulante. 1. Las Actividades de Aprendizaje-evaluación deben tener valor intrínseco y formativo y deben tener valor de cambio (peso en calificación) 3. Que este alineada y sea coherente con lo que queremos que aprendan y lo que hacen para aprender (evaluación auténtica). Si es coherente será orientadora (alineada) indica el camino a seguir para lograr los resultados de aprendizaje. 1. Lo que hacemos para aprender, debe también servirnos para evaluar.
  • 16.
    ¿Cómo debe serla evaluación continua para que motive más el trabajo de nuestros alumnos? 16 1. Anticipada, que los alumnos sepan con claridad que se les va a pedir que hagan para demostrar lo que han aprendido. 2. Alineada con los resultados de aprendizaje que deseamos, así será provechosa en términos de aprendizaje, de lo contrario no los conseguiremos. 3. Rentable, que de puntos en la calificación de la asignatura, que premie al alumno que trabaje en actividades formativas 4. Basada en actividades interesantes y atractivas para ellos 5. Con criterios de evaluación explícitos y una idea clara de los. niveles esperados (rubricas). 6. Coste eficaz para el alumno y el profesor que contribuya a los aprendizajes deseados sin costes excesivos de trabajo para el alumno y profesor que debe supervisar y proporcionar feedback
  • 17.
    ¿Qué información útilnos puede proporcionar la evaluación continua de nuestros alumnos? 1.Discrimina los que trabajan de los que no 2.Te permite seguir su progreso 3.Te permite relacionar distintas formas de trabajar del profesor o del alumno con los resultados. 4.Te permite descubrir (a tiempo) qué es lo que los alumnos no aprenden y sus dificultades. Detectar los problemas de comprensión que hay que corregir a nivel individual y grupal. Da pie a discutir sobre ello. 5.Te permite retroinformar a tus alumnos e indicarles que aspectos deben mejorar. 6.Te informa de cómo funciona tu sistema de enseñanza y tus items de evaluación 7. Si mide aprendizajes de distinto nivel sabrás el nivel que alcanza cada uno de tus alumnos. 8.Si mide aprendizajes de calidad me permitirá saber si mis alumnos adquieren esos aprendizajes de calidad. Debo identificar que aprendizajes de calidad debo medir 17
  • 18.
    Una serie depreguntas (y respuestas) sobre la evaluación continua 18  ¿Por qué la evaluación del aprendizaje es importante en la enseñanza?  ¿Por qué es importante que los profesores universitarios aprendamos a evaluar?  ¿ Cómo debemos evaluar para que nuestros alumnos aprendan más y mejor?
  • 19.
    Ejercicio presencial ¿Qué aprendenlos alumnos en una asignatura?  Lo que más les interese  Lo que hagan y practiquen  Pero sobre todo lo que piensan que va a ser evaluado 19
  • 20.
    20 Ejercicio presencial ¿Para quéevaluamos el aprendizaje ? 1. Para calificar 2. Para medir y valorar el aprendizaje 3. Para estimular esfuerzo 4. Para detectar lo que debe mejorarse y aportar feedback sobre el aprendizaje 5. Para mejorar el proceso enseñanza aprendizaje 6. Para proporcionar otra manera de aprender 7. Para entrenar al alumno en situaciones de evaluación Para Calificar Obligación burocrática Motivar Estimular esfuerzo Empollada final Aprender de otra manera Entrenar proceso evaluación Corregir aprendizaje Obtener Información mejorar Proceso EA Medir y valorar aprendizaje
  • 21.
    21 ¿Cómo debe ser laevaluación en el EEES? 1. Continua (cuando) 2. Formativa (generadora de retroalimentación) 3. Estimulante (de la actividad de los estudiantes) 4. Coherente con los objetivos docentes (competencias) 5. Coherente con los métodos de aprendizaje (aprendemos aplicando conocimento en ejercicios y evaluamos con esos ejercicios) 6. Debe aplicarse a los resultados de aprendizaje y a los procesos de enseñanza 7. Será compleja y trabajosa (más que un examen de test ) (cuanto)
  • 22.
    BASE PARA LANUEVA PROPUESTA CURRICULAR DE LOS GRADOS ( P U N T O 3 . 2 D E L A N E X O I D E L R . D . 1 3 9 3 / O R D E N A C I Ó N D E E N S E Ñ A N Z A S U N I V E R S I T A R I A S O F I C I A L E S ) 22 02 Las competencias genéricas y su evaluación
  • 23.
    Competencias genéricas Al términodel ciclo, los alumnos podrán demostrar: Poseer y comprender Conocimientos Aplicar Conocimientos y resolver problemas Capacidad de informarse, fundamentar y emitir juicios Capacidad de comunicar Habilidades de aprendizaje autónomo 1 5 4 3 2 Y además en ingles, utilizando TICS y en equipo
  • 24.
    P R OC E D I M I E N T O S P A R A L A E V A L U A C I Ó N D E L A S C I N C O C O M P E T E N C I A S G E N É R I C A S D E D U B L I N 24 ¿Cómo evaluaremos las competencias genéricas?
  • 25.
    Evaluación de losaprendizajes 25 Resultado de aprendizaje Método Recordar y comprender conocimientos básicos MCQ, preguntas cortas Aplicación Problemas, MCQ sobre problemas Obtención de información, búsqueda, integración y juicio Casos, viñetas clínicas, PBL (presentación solución), Examen libro abierto, ECOE, Comunicación apropiada al entorno profesional ECOE ,TOSBA Aprendizaje autónomo PBL, estudio de casos Interacción personal, trabajo en equipo Trabajos y proyectos en equipo Desarrollo de sensibilidad apreciación y preocupación Portafolio, diario reflexivo Dimensión humana, autoimagen, autoideal profesional Portafolio, diario reflexivo, cuestionarios autoreflexivos Competencias clínicas ECOE, OSLER, TOSBA Diario clínico
  • 26.
    Competencia 1 (RD1393): “poseer y comprender conocimientos de un área de estudio”  Sobre textos que han debido estudiar antes de clase, les hacemos preguntas, les pedimos que rellenen un mapa conceptual con huecos.  Comprobamos si recuerdan la idea principal, las ideas secundarias, si relacionan los conceptos entre sí.  Les pedimos que resuman lo fundamental indicando la idea principal y las ideas secundarias.  Material texto a leer debe ser escogido por su interés formativo.  Les podemos enviar el próximo tema y pedirles que nos lo resuman en 200 palabras.  Tarea los alumnos deben estudiar un documento para responder a un cuestionario. ¿Cómo evaluaremos las competencias genéricas? 26
  • 27.
    Comprender implica quesomos capaces de explicar en nuestras propias palabras sin repetir como loros  Explica las similitudes y diferencias entre la respuesta inmune frente a bacterias intracelulares y extracelulares.  Explica como los anticuerpos desencadenan distintos mecanismos de respuesta inmunitaria  Explica por qué …  Explica cómo se relaciona esto (caso, experimento) con lo que has aprendido en la asignatura  Infiere una concusión a partir de los resultados de este experimento. 27
  • 28.
    Reflexión metacognitiva  Sepuede añadir un cuestionario metacognitivo para que el profesor pueda correlacionar los resultados de aprendizaje de cada alumno con las estrategias que empleó para estudiarlo y hacer una reflexión.  Describe con detalle lo que has hecho para: estudiar este tema, preparar esta práctica, entender este artículo. 28
  • 29.
    Síntesis y relaciónentre los conceptos más esenciales 29  Valora el interés que te ha suscitado la lectura de este texto.  Resume en 250 palabras o una página lo que consideras fundamental del texto estudiado  Diseña un mapa conceptual del tema que establezca las relaciones entre los conceptos más importantes.
  • 30.
    Instrumento de calificaciónde un mapa conceptual Oleguer Camerino U Lleida  Calificación del segundo mapa conceptual   CRITERIOS FORMALES (deben existir para empezar la corrección) a. El contenido del mapa está correctamente expresado y no tiene errores ortográficos ni sintácticos.  b. Existen referencias documentales y están bien citadas según las normas APA:  c. Existen los conceptos claves del tema, el esquema, el artículo y las paginas web de forma relacionada mediante conectores y enlaces.  CRITERIOS DE CONTENIDO  1. Documentación nueva aportada: la documentación usada se ha introducido en el contenido del mapa y afecta a su estructura y significado (30%) 3puntos   2. Relación entre diferentes conceptos: existe una comprensión global de los elementos del mapa producido por relaciones entre los conceptos expuestos (30%) 3 puntos   3. Aspectos estéticos: se ha cuidado la presentación incorporando colores, distintivos y señales que facilitan la lectura (10%) 1 punto   4. Crítica personal: existe una opinión personal y crítica sobre la frase planteada que indique una alternativa de cambio para la actualidad (30%) 3 puntos  Puntuación  Justificación    Puntuación  Justificación     Puntuación  Justificación     Puntuación  Justificación  30
  • 31.
    Competencia 2 (RD1393): aplicar sus conocimientos a su trabajo, en elaboración y defensa de argumentos y resolución de problemas dentro de su área de estudio  Argumentar a favor y en contra de …  Resolver un problema fundamentando la elección de solución con tus conocimientos sobre la disciplina  Elige cuál sería el mejor método para … y justifica por qué  Cómo utilizarías …. Para tal propósito.  Explica como diseñarías un experimento para demostrar… 31
  • 32.
    Estructura de unejercicio de aplicación  Aplica tus conocimientos a la interpretación de esta situación.  Explica lo que pasa e hipotetiza sobre los mecanismos causales por los que ese produce esta situación.  Formula conclusiones a partir de los datos mostrados.  Deduce posibles aplicaciones del principio ilustrado.  Deduce implicaciones sobre la práctica. 32
  • 33.
    Ejemplo de ejerciciode aplicación de conocimientos  Explica como diseñarías una placa de enzima inmunoensayo para estimar la precisión, la exactitud y la sensibilidad de la prueba. Indica en cada pocillo de la placa las cantidades de sustancia problema  A B C D E F G H I J K L 1 2 3 4 5 6 7 8 33
  • 34.
    Competencia 3 (RD1393): reunir e interpretar datos relevantes … para emitir juicios  Saber buscar información, interpretarla.  Realizar un trabajo de investigación bibliográfica.  Interpretar una imagen (tabla o figura)  Qué información te aporta el grafico  Qué ha pasado en la evolución de los sistemas de defensa de los seres vivos  Comenta ejemplos de homologías y analogías a partir de la información mostrada en la tabla.  ¿Qué información te aporta la tabla sobre la evolución del sistema inmune? 34
  • 35.
    Competencia 4 (RD1393): “transmitir información, ideas, problemas a distintos públicos ”  Explícale a un compañero de clase las razones de la crisis económica en España y el efecto de su negación por el gobierno  Explícale a tu profesor por qué suspendiste en la convocatoria ordinaria y que has hecho para merecer aprobar en la extraordinaria. Muy correcto Adecuado Poco adecuado No adecuado Lenguaje Sintaxis Conecta con el punto de vista ajeno Ideas principales orientación disciplinar 35
  • 36.
    Ejercicio Competencia 4 Defiende por qué son necesarios los cambios que implica el EEES ante una audiencia de profesores que se resisten a los cambios.  Explica los cambios que supone el EEES ante una audiencia de alumnos desinformados.  ¿Qué diferencia hay entre los argumentos que presentas a unos y a otros ? ¿Por qué? 36
  • 37.
    Competencia 5 (RD1393): Habilidades de aprendizaje necesarias para emprender estudios posteriores con autonomía  Aprende por tu cuenta sobre ….  Léete esto y sintetiza  Busca en tales URLs información para resolver este problema  Busca con las siguientes keywords  Busca sobre este tema  Busca sobre lo que te haga falta para resolver este problema  Esta es la situación, define tu el problema y busca la información que necesites para plantear el problema y resolverlo  Decide cuál es el problema principal por ti mismo y resuélvelo.  Escoge tus propios objetivos de aprendizaje y diseña un plan para alcanzarlos. 37
  • 38.
    Metodología: Proyecto de investigaciónbibliográfica  Asignación de una patología distinta para cada grupo que toma su nombre de la patología que estudia.  Una discusión de calentamiento  Unas directrices para búsqueda de información especifica sobre el problema de cada grupo.  Puesta en común y selección de key words.  Directrices para trabajo de grupo y elaboración de un documento de síntesis  Directrices para estructuración y un modelo de presentación  Tutoría para dar feedback sobre documento de síntesis y presentación 38
  • 39.
    Genéricas olvidadas 39  Lasque no son ni genéricas genéricas, ni específicas específicas.  Las que son especificas de la titulación pero no son específicas de ningún área  En biología  Diseño experimental y razonamiento hipotético de ductivo  Buscar información bibliográfica  Lectura e interpretación de información bibliográfica  comunicación profesional escrita y oral
  • 40.
    Instrumentos evaluación decompetencias 40  Presentación  Guía para la evaluación de las competencias en Medicina
  • 41.
    02 ¿Cómo lograrque la Evaluación continua sea formativa y eficiente incluso con grandes grupos de alumnos? COMUNICACIÓN EN DOS DIRECCIONES E V A L U A C I Ó N C O M O P R O C E S O D E C O M U N I C A C I Ó N E N D O S D I R E C C I O N E S D U R A N T E E L P R O C E S O D E A P R E N D I Z A J E DOS CARAS DE LA EVALUACIÓN E V A L U A C I Ó N C O M O P R O C E S O F O R M A T I V O Y O R I E N T A D O R D E E L E S F U E R Z O D E L A L U M N O E V A L U A C I Ó N C O M O P R O C E S O D E O B T E N C I Ó N D E E V I D E N C I A S V A L I D A S D E L A C O N S E C U C I Ó N D E L O S R E S U L T A D O S D E A P R E N D I Z A J E
  • 42.
    ¿Qué cambios enmi sistema de evaluación pueden ayudar a que mis alumnos aprendan más y mejor?  Sin ahogarme en un mar de tareas por corregir.  Sin atosigarles con trabajos innecesarios o desalineados con nuestros objetivos formativos y que probablemente no fomentarán aprendizajes relevantes.  Cómo puedo obtener una evidencia más valida y fiable del aprendizaje de mis alumnos.
  • 43.
    Mejorar mi sistemade evaluación 43  Llevará a mejorar el aprendizaje de mis alumnos pero requiere estudiar la información sobre mejores prácticas y metodologías de evaluación.  Aplicar las mejores prácticas supone tener que abandonar hábitos cómodos y confortables para el profesor y los alumnos como la evaluación final y las clases magistrales.  ¿Cómo puedo lograr que trabajen más por su aprendizaje sin que yo (su profesor/a) sea el que tenga que trabajar intensivamente?
  • 44.
    Para que laevaluación continua logre un máximo impacto debemos incorporarla al inicio del aprendizaje  De evaluación final a evaluación inicial. Al principio de cada cuatrimestre (detección de concepciones erróneas)  ¿De qué niveles parten nuestros alumnos?  ¿Qué concepciones erróneas traen mis alumnos?  Al principio de cada tema (promoción del estudio y detección de dificultades).  ¿Cómo puedo estimularles para que empiecen a estudiar antes de que yo empiece a explicar cada tema y se planteen preguntas sobre la materia?
  • 45.
    Evaluación en unmodelo de enseñanza inversa 45  ¿Qué significa enseñanza inversa?  Lo que antes se hacia en clase primer contacto con la materia ahora se hace fuera leyendo documentos y escuchando podcasts lo que antes se hacia fuera resolución casos y problemas ahora se hace en clase.  La evaluación antes final pasa ahora a comprobar el estudio previo
  • 46.
    Metodologías para laenseñanza inversa 46  Hay varias:  JITT, Just in time teaching (Novak) TBL, Team Based Learning (Michaelsen) PEPEOLA, Preparación y Estudio Previo Por Evaluación on Line automática (Robles, Barahona , Prieto) PI peer instruction Mazur
  • 47.
    Tecnologías para laenseñanza inversa 47  Podemos usar distintas tecnologías: tarjeas de respuesta, flash cards cuestionarios con hojas de respuesta de lectura óptica (OMR optical mark reader), plataformas de e-learning (moodle, blackboard,) Sistemas de repuesta personal a distiancia (SRP)  Clickers  softwares on line (Test moz, Socrative) para usar smartphones, como clickers
  • 48.
    Llevar la evaluaciónal principio de cada tema  Llevar la evaluación al proceso de desarrollo de cada tema para estimular el trabajo continuo de los alumnos.  Sin que la carga de trabajo suponga riesgo para la salud y la integridad mental de su profesor pero que tenga un efecto significativo y doble estudio y el aprendizaje medio en la clase.
  • 49.
  • 50.
    ¿Es eficaz? 50  Si,con metodologías de fomento y comprobación del estudio previo  Se ha demostrado experimentalmente para el aprendizaje de la física, la química y biología y otras disciplinas.  Por un 5-15 % de la calificación los alumnos estudiarán antes de que les expliquemos los temas.  La ganancias de aprendizaje se doblan en Física y Biología
  • 51.
    Evidencias del éxitode estas estrategias Tons of it. Richard Felder 51  R R Hake Interactive engagement versus traditional methods: A six-thousand-student survey of mechanica test data for introductory physics courses Am J of Physics 66 1p 64 (1998)  Knight JK, Wood WB Teaching more by lecturing less. Cell Biology education; 2005; 4: 298- 310  Peer instruction: ten years of experience and results CH Crouch E Mazur Am J Phys 69:9 70-77  Farewell, lecture? Mazur Science 2009 323:50-51  Eric Mazur, Peer Instruction: A User’s Manual ~Prentice–Hall, Upper Saddle River, NJ, 1997!. Additional information and resources for PI can be found at http://galileo.harvard.edu.  Catherine H. Crouch, ‘‘Peer Instruction: An Interactive Approach for Large Classes,’’ Opt. Photonics News 9 ~9!, 37–41 ~September 1998!.  Gregor Novak, Evelyn Patterson, Andrew Gavrin, and Wolfgang Christian, Just-in-Time Teaching: Blending Active Learning and Web Technology ~Prentice–Hall, Upper Saddle River, NJ, 1999!, and http://webphysics.iupui.edu/jitt/jitt.html.  Infusing active learning into the large-enrollment biology class: seven strategies, from simple to the complex D Allen, K Tanner Cell Biology education 2005 4:262-68
  • 52.
    ¿Es eficiente? ¿Merece lapena el coste de la ganancia? 52
  • 53.
    Clases en grangrupo  Arons, A. B. (1997) Teaching introductory physics. New York: Wiley.  Bligh, Donald A. (1998) What's the use of lectures? Exeter: Intellect Books.  Brandford, John D., Ann L Brown and Rodney R. Cocking (eds.) (1999) How people learn: brain, mind, experience, and school. Washington, D.C.: National Academy Press.  Carbone, Elisa and James Greenberg (1998) "Teaching Large Classes: Unpacking the Problem and Responding Creatively". In Matthew Kaplan (ed.), To Improve the Academy 1998, Resources for Faculty, Instructional and Organizational Development.. Professional & Organizational Development Network in Higher Education.  McDermott, L. C. (1997) "Bridging the gap between teaching and learning: The role of research". In International Conference on Undergraduate Physics Education. AIP Conference Proceedings.  Redish, E. F. (1994) "Implications of cognitive studies for teaching physics", American Journal of Physics, 62, 796-803.  Wulff, Donald H., Jody D. Nyquist and Robert D. Abbott (1987) "Students' Perceptions of Large Classes". In M. E. Weimer (ed.), Teaching Large Classes Well. San Francisco, CA: Jossey-Bass.
  • 54.
    Aprendizaje activo  Bonwell,Charles C. and James A. Eison (1991) Active Learning: Creating Excitement in the Classroom. 1991 ASHE-ERIC Higher Education Reports: The George Washington University.  Johnson, D. W., R. T. Johnson and K. A. Smith (1991) Active Learning: Cooperation in the college classroom. Edina, MN: Interaction Book Company.  Heller, Patricia, Ronald Keith and Scott Anderson (1992) "Teaching problem solving through cooperative grouping. Part 1: Group versus individual problem solving", American Journal of Physics, 60, 7, 627-36.  Smith, Karl A., Sheri D. Sheppard, David W. Johnson and Roger T. Johnson (2005) "Pedagogies of Engagement: Classroom-Based Practices", Journal of Engineering Education, January, 87-101.  Thornton, Ronald K. and David R. Sokoloff (1998) "Assessing student learning of Newton's Laws: The force and motion conceptual evaluation and the evaluation of active learning laboratory and curricula." American Journal of Physics, 66, 338-52.
  • 55.
    Instrucción por compañerosen ciencias  Biología  Allen, Deborah and Kimberly Tanner (2005) "Infusing Active Learning into the Large-enrollment Biology Class: Seven Strategies, from the Simple to Complex", Cell Biology Education, 4, Winter 2005, 262-8.  Knight, Jennifer K., Wood, William B. (2005) "Teaching More by Lecturing Less". Cell Biology Education, vol. 4, pp. 298-310.
  • 56.
    Instrucción por compañerosen ciencias  Astronomía Green, P. (2003) Peer Instruction for Astronomy: Prentice-Hall.  Química  Landis, C.R., A.B. Ellis, G.C. Lisensky, J.K. Lorenz, K. Meeker and C.C. Wamser (2001) Chemistry ConcepTests: A Pathway to Interactive Classrooms: Prentice-Hall.
  • 57.
     Geología  McConnell,David A, David N Steer and Katharine D Owens (2003) "Assessment and active learning strategies for introductory geology courses." Journal of GeoScience Education, 51, 2, 205-16.  McConnell, David A, David N Steer, Katharine D Owens, Jeffrey R Knott and et al (2006) "Using Conceptests to Assess and Improve Student Conceptual Understanding in Introductory Geoscience Courses", Journal of Geoscience Education, 54, 1, 61.  Matemáticas  Cline, Kelly (2006) "Classroom voting in calculus", Mathematics Teacher (forthcoming).Preprint: http://www.carroll.edu/~kcline/Classroom-Voting-in- Calculus.htm  Loman, David O. and Maria K. Robinson (2004) "Using ConcepTests in Single and Multivariable Calculus". In Proc. 16th Annual International Conference on Technology in Collegiate Mathematics. New York: Addison Wesley.  Pilzer, Scott (2001) "Peer Instruction in Physics and Mathematics." Primus, 11, 1, 185-92.
  • 58.
     Medicine  Rao,Sumangala P. and Stephen E. DiCarlo (2000) "Peer Instruction Improves Performance on Quizzes." Advances in Physiology Education, 24, 1, 51-5.  Robertson, L. J. (2000) "Twelve tips for using a computerised interactive audience response system", Medical Teacher, 22, 3, 237-9.  Pharmacology  Piepmeier, E. (1998) "Use of concepTests in a large lecture course to provide active student involvement and peer teaching." American Journal of Pharmaceutical Education, 62.  Psychology  Chew, S. L. (2004) "Using concepTests for formative assessment", Psychology Teacher Network, 14, 1, 10-2.  Chew, S. L. (2005) "Student misperceptions in the psychology classroom". In B. K. Saville, T. E. Zinn and V. W. Hevern (eds.), Essays from excellence in teaching, 2004: Retrieved 9th April, 2006 from the Society for the Teaching of Psychology Web site: http://teachpsych.org/resources/e-books/eit2004/eit04-03.html  Statistics  Wit, E. (2003) "Who wants to be... The use of a personal response system in statistics teaching", MSOR Connections, 3, 2, 5-11.
  • 59.
    Research On theEffectiveness of PI  Crouch, Catherine H. and E Mazur (2001) "Peer Instruction: Ten years of experience and results", American Journal of Physics, 69, 9, 970-7.  Kennedy, G. E. and Q. I. Cutts (2005) "The association between students' use of an electronic voting system and their learning outcomes", Journal of Computer Assisted Learning, 21, 260-8.  Fagen, Adam P., Catherine H. Crouch and E Mazur (2002) "Peer instruction: results from a range of classrooms", The Physics Teacher, 40, April, 206-9.  Hake, Richard R (1998) "Interactive engagement vs. traditional methods: A six-thousand-student survey of mechanics test data for introductory physics courses",American Journal of Physics, 66, 64-74.  Meltzer, David E. and K. Manivannan (2002) "Transforming the lecture-hall environment: The fully interactive physics lecture", American Journal of Physics, 70, 6, 639-54.  Sharma, M. D., J. Khachan, et al. (2005). "An investigation of the effectiveness of electronic classroom communication systems in large lecture classes." Australasian Journal of Educational Technology 21 (2): 137-154.  Shapiro, Joel A. (1997) "Electronic student response found feasible in large science lecture hall", Journal of College Science Teaching, 26, 408-12.  Poulis, J., C. Massen, E. Robens and M. Gilbert (1998) "Physics lecturing with audience paced feedback", American Journal of Physics, 66, 439-41.
  • 60.
    Electronic Response Systems Boyle, J. and D. Nicol (2003) "Using classroom communication systems to support interaction and discussion in large class settings", Association of Learning Technology Journal, 11, 43-57.  Burnstein, Ray A. and Leon M. Lederman (2001) "Using wireless keypads in lecture classes", The Physics Teacher, 39, 8-11.  Burton, K. (2004). "Interactive Powerpoints: Is there any point in giving power to students?" Murdoch University Electronic Journal of Law. 11 (4).  Draper, S. W. and M. I. Brown (2004) "Increasing interactivity in lectures using an electronic voting system", Journal of Computer Assisted Learning, 20, 81-94.  Draper, S. W., Cargill J. and Q. I. Cutts (2002) "Electronically enhanced classroom interaction", Australasian Journal of Educational Technology, 18, 13-23.  Dufresne, Robert J., William J. Gerace, William J. Leonard, Jose P. Mestre and Laura Wenk (1996) "Classtalk: A classroom communication system for active learning", Journal of Computing in Higher Education, 7, 3-47.  Duncan, Douglas (2005) Clickers in the classroom. San Francisco: Pearson Education Inc.  Elliot, C. (2003). "Using a personal response system in economics teaching." International Review of Economics Education 1 (1).  Simpson, V. and M. Oliver (2007). "Electronic voting sysems for lectures then and now: a comparison of research and practice." Australasian Journal of Educational Technology 23(2): 187-208.  Williams, J. (2003). Learning by remote control: exploring the use of an audience response system as a vehicle for content delivery. Interact, Integrate, Impact: Proceedings ASCILITE Conference, Adelaide, 7-10 December.
  • 61.
    Esquema general delos métodos de fomento del estudio previo 61 Profesor Alumnos Clase envía Evalúa dificultades y replantea , se prepara para superar dificultades que tienen los que tienen que aprender estudia reflexiona y responde Van preparados a clase habiéndose formulado preguntas sobre lo que han estudiado Aumenta la cantidad Y la calidad de la participación Comprobación
  • 62.
    Metodologías de estudioprevio y clase interactiva 62 Principio Mecanismo de comprobación y garantía del estudio previo Nombre de la metodología (Autores) Ponemos a disposición de los alumnos o mejor les enviamos los materiales a ser estudiados con antelación al inicio de la clase presencial Bonificamos con hasta un 10%-15% a los estudiantes que demuestren un máximo rendimiento en el estudio previo Cuestionario de preguntas abiertas sobre lo que se ha entendido en el estudio previo y lo que necesita explicarse más Profesor analiza este feed back y replantea su clase presencial JITT Just In Time Teaching (Novak) Just-In-Time Teaching: Blending Active Learning with Web Technology Cuestionarios de preguntas MCQ on line en pataforma e-learning con feedback que se cierra antes de la calse PEPEOLAPreparación y Estudio Previo por Evaluación On Line Automática (Robles Barahona y Prieto) La clase empieza con un examen test MCQ individual continua con un examen e n grupo formal se sigue con casos y problemas en equipo TBL Team Based Learning Michaelsen y Fink Team- Based Learning: Small Group Learning’s Next Big Step La clase se basa en intercalar preguntas MCQ con discusión en PT Peer teaching (Mazur) Peer instruction: A
  • 63.
    Tecnologías al serviciode la clase interactiva con evaluación formativa 63 Metodología Tecnología para la garantía (aseguramiento) del estudio previo Just in time teaching Cuestionarios on line Survey monkey Google drive Bases de datos en Moodle PEPEOLA Exámenes de test MCQ on line Moodle Blackboard Test moz Team Based Learning Scratch tests (rasca) Cuestionarios de MCQ de lectura automática con copia Test moz Peer teaching Flash cards (evaluación formativa) Clickers (mandos a distancia de respuesta personalizada) Evaluación formativa y sumativa Socrative
  • 64.
    Métodos de Estudioy trabajo previo a las clases interactivas  Team based Learning (TBL)  Team-Based Learning: Small Group Learning’s Next Big Step. New Directions for Teaching and Learning, Eds. Larry K. Michaelsen, Michael Sweet & Dean X. Parmelee, (2008)   Just in time teaching  Just-In-Time Teaching: Blending Active Learning with Web Technology Gregor Novak , Andrew Gavrin, Wolfgang Christian, Evelyn Patterson  Peer teaching  Peer instruction: A User’s Manual 1997 Eric Mazur  Tests de conceptos en física permiten que el alumno determine su propia comprensión y al profesor comprender el nivel general de comprensión de una idea y decidir si es necesario invertir mas tiempo en ese concepto Larry Michaelsen Gregor Novak Gregor Novak Eric Mazur
  • 65.
    Trabajo previo másuso de cuestiones y clickers. Sistemas de respuesta personal a distancia  Teaching with classroom response systems: Creating active learning Environments 2009  Derek Bruff  Cómo incorporar los clickers a nuestra docencia
  • 66.
    Herramientas para evaluacióndiagnóstica y continua: “concept tests”66  Force Concept Inventory FCI (Hestenes)  30 preguntas de este tipo  Un camión pesado y un utilitario chocan de frente. Durante la colisión la fuerza ejercida por el camión sobre el coche es:  A Mayor que la del coche sobre el camión.  B igual a la que el coche ejerce sobre el camión.  C menor que la del coche sobre el camión.  D No ejerce ninguna fuerza sobre el coche simplemente esta justo en su camino.  Pensarlo durante un minuto y contestar con la tarjeta o flash card.
  • 67.
    C Ó MO L O G R A R Q U E L A E V A L U A C I Ó N C O N T I N U A S E A C O S T E - E F I C A Z 67 03 Gestión de la carga de trabajo asociada a la EC para el alumno y el profesor
  • 68.
    La realidad esque estudian menos horas de las establecidas 68
  • 69.
  • 70.
    Video teaching teaching& understanding understanding parte 1 70  Es necesario que los alumnos hagan cosas para aprender ergo debemos evaluar lo que hacen para estimularles a hacerlo.  http://www.youtube.com/v/_eF4934qsas&fs=1&sou rce=uds&autoplay=1  Stop 4.09
  • 71.
    ¿Cuál es elproblema que os plantea este caso? 71  ¿Cuáles son vuestras hipótesis sobre las causas de que tengamos tantos estudiantes pasivos?  ¿Qué consecuencia tiene la abundancia de alumnos con el planteamiento de Robert sobre nuestra función docente?  Seguimos con el vídeo  http://www.youtube.com/v/_eF4934qsas&fs=1&source=uds &autoplay=1  Teacher perspective
  • 72.
    Distintos tipos decuatrimestres: cuatrimestres europeos 72  18 semanas de duración Cuatrimestre Yorkshire 120 dias / 7 días = 19 semanas 750/19= 40 horas por semana 40horas/semana
  • 73.
    Cuatrimestres europeos 73  18,5semanas Cuatrimestre Landrace 120 dias / 7 días = 19 semanas 750/19= 40 horas por semana 40horas/semana
  • 74.
    Cuatrimestre ibérico “cutrimestre patanegra” 74 13,5 semanas de duración (2 fiestas, 3 exámenes) 55horas/semana El aprobado en la evaluación continua se premia con tres semanas de vacaciones por cuatrimestre Cuatrimestre patanegra 13,5 semanas 750/13,5= 55 horas por semana Pata Negra Si aguanto cuatro años retozando en la dehesa del campus me darán el título de grado en…
  • 75.
    Mala planificación delos “cuatrimestres” 75  Si los “cuatrimestres” fueran de 18 semanas de clase  150 horas/asignatura x 5 asignaturas = 750 horas / cuatrimestre  750 horas /18 semanas =41.6 horas por semana  Como los “Cuatrimestres” son de 13-14 semanas “hábiles”  750/14= 53.6 horas por semana  750/13= 57,7 horas por semana Aplicando un desajuste de 42,25 % las 55 horas por semana se quedan en 23,23 horas por semana
  • 76.
    Wonder: the hearthof the alchemist William Prosser
  • 77.
    La EC comoestímulo: el sueño del profesor  Quiero que os olvidéis de lo que ha pasado en los últimos años. Volvamos a 2008 en un pasado en el que la evaluación continua no se estilaba.  Imagina… que un mago y alquimista de Bolonia te dijera que tus alumnos iban a hacer todo lo que tu les mandases para que aprendiesen. Lo hiciesen dedicándole tiempo y esfuerzo suficiente y te entregasen sus tareas en los plazos establecidos.  Antes era un sueño imposible, muy pocos de nuestros alumnos hacían lo que les mandábamos. La motivación intrínseca no era suficiente para poner a trabajar a la mayoría. 77
  • 78.
    Ahora tienes esesueño al alcance de tu mano (y puede transformarse en pesadilla) 78  Si les mandas algo razonable y justificado a los alumnos de grado, lo harán casi todos gracias a la motivación que les proporciona la evaluación continua y a la inercia de haberse acostumbrado a hacer lo que les mandan para sacar puntos de evaluación continua y aprobar.  Otra cosa es cómo lo hagan de bien pero eso dependerá de: 1. cómo les orientes para la realización de la tarea, 2. cómo les entrenes, 3. qué tarea les mandes y 4. cómo perciban que va a ser corregida (rúbrica).
  • 79.
    ¿Cuál es nuestrodesafío en la nueva situación? crédito ECTS y evaluación continua  Nuestro desafío es  1 Escoger las mejores tareas, aquellas que ayudarán a aprender a nuestros alumnos aquellas cosas que queremos que aprendan.  2 Debemos aprender medir su carga y dosificarlas de modo que nuestros alumnos trabajen una mediana de 8 horas por semana en nuestra asignatura.  Deben trabajar 100 horas no presenciales en cada asignatura de seis créditos ¿lo hacen en realidad? ¿lo hacen en tu asignatura?  ¿Se lo preguntamos?  ¿Queremos saber la respuesta?  O no será que preferimos no conocerla 79
  • 80.
    Ese sueño tieneotro lado, la pesadilla de corregir tantas tareas 80  El efecto boomerang de hacer trabajar a nuestros alumnos
  • 81.
    ¿Qué papel tienela evaluación en la promoción del trabajo y el ajuste del volumen de carga de trabajo de nuestros alumnos?81  La EC estimula al trabajo  La EC puede informarnos  del volumen de trabajo que realizan nuestros alumnos  Del aprendizaje producido
  • 82.
    Niveles de evolucióndel profesorado 82  El profesor que consigue mejores aprendizajes es el del nivel tres. El que se centra en lo que el alumno debe hacer para aprender.  “What the student does, that is the important thing.”  Debemos conocer como se aprende construyendo significado (lo veremos en la segunda parte dentro de un rato).  Una evaluación acorde con esta filosofía debería evaluar: 1) lo que el alumno hace para aprender 2) y lo que el alumno ha aprendido a hacer.
  • 83.
    El efecto boomerangde las tareas de aprendizaje Cada tarea que el profesor manda a sus X alumnos se convertirá en X tareas a corregir  Que los alumnos trabajen es lo mejor para que aprendan mucho y bien.  El problema es que si haces trabajar a tus alumnos, tu tendrás que hacer el trabajo de evaluar sus tareas.  Si tienes muchos, 100 (demasiados) alumnos tendrás que encontrar maneras de controlar lo que hacen, calificarles y retroinformarles rápidamente con eficacia de tiempo y economía de medios.  ¿Alternativas? 83
  • 84.
    ¿Qué tiene quever esto con las tareas de evaluación continua?  Afortunadamente no es necesario corregir y calificar siempre todas las tareas de todos.  ¿Conoce el dingo cuál es la diferencia entre un boomerang y un palo?  Sale corriendo cuando el aborigen lo lanza  ¿La conoce el profesor universitario?  La acabaremos conociendo por la cuenta que nos trae  Debemos controlar el abuso del boomerang o nos daremos con él en la cabeza 84 Debemos cambiar el boomerang Por la varita mágica de Harry Potter
  • 85.
    Gestión del trabajopara el profesor derivado de la evaluación continua 1. Separación de los aspectos: 1. 1 control- 2. 2 calificación- 3. 3 retroinformación 2. Divide y vencerás trabajo en grupo 3. Seleeciona ¿Es necesaria esta tarea que aprendan lo que quiero que aprendan? 4. Convierte a tus alumnos en profesores ayudantes peer teaching talleres de coevaluación, equipos 5. Da feedback coletiva y presencialmente 85
  • 86.
    Análisis vectorial ygestión del volumen de carga de corrección 86 Números de alumnos Dividir en Grupos, coevaluación autoevaluación Herramienta taller y Rúbricas Calificación por muestreo Latareadelprofesor Control, calificación, feedback Disociar los tres elementos : 1. Automatizar el Control 2. simplificar la calificación 3. Administrar el feedback colectivamente
  • 87.
    Estrategias para disminuirla carga del proceso: 87 1. Simplificación sistema de calificación+(muy bien 10 ), OK (bastante bien 7,5), ν (pasable 5 ),- (tienes que volver a hacerlo mejor 2,5). 2. Semi-Automatización del proceso C-C-R plataforma, survey monkey clickers. 3. Incorporación de los alumnos al proceso de evaluación: evaluación por compañeros, autoevaluación. Rúbricas 4. Control parcial 1. Sorteo. A cada alumno le voy a corregir 4 tareas. 2. Lee y contesta: ¿Qué es lo que no entiendes? ¿Cuál ha sido la mayor dificultad? Uso de indicadores Controlando tu respuesta a esto controlo si has hecho lo otro. 5. Retroinformación colectiva en clase o por medios electrónicos 6. Evaluación por compañeros outsourcing de la evaluación
  • 88.
    Importancia de lostres elementos de la tarea del profesor  El control es necesario para producir efecto estimulador.  La calificación tiene un efecto estimulador extra para hacer mejor la tarea. Debe ser muy discriminativa pero no tiene por que ser muy precisa . (0-2-4-6-8-10)  El feedback o retroinformación es necesaria para la mejora del rendimiento  Pero si no queremos ahogarnos en montañas de papeles por corregir debemos disociar estos tres aspectos 88
  • 89.
    Los otros factoresdel volumen de carga de corrección  El número de alumnos.  La frecuencia o número de repeticiones de la tarea  ¿Cuántas veces debe repetirse para que se produzca el aprendizaje?  El número de las distintas tipologías de tareas.  problemas y casos resolución y discusión en clase.  Presentaciones ,ejercicios escritos  Exámenes de autoevaluables  Debemos seleccionar las más formativas 89
  • 90.
    M E TO D O L O G Í A D E L O S I N V E N T A R I O S C O N C E P T U A L E S C O N C E P T T E S T I N V E N T O R Y 90 Evaluación de ganancias de aprendizaje
  • 91.
    ¿Cómo hacer uninventario conceptual para una asignatura? 91  Decidir cuáles son los conceptos esenciales  Realizar un cuestionario diagnostico sobre ellos (survey monkey) primero de preguntas abiertas después de test.  Ejercicio y evaluación formativa  Diseñar tares para trabajarlos que permitan ejercitarse en su uso y recibir retroinformación  Evaluación acreditativa  Diseñar pruebas para evaluarlos que permitan obtener evidencia de que se han conseguido
  • 92.
    Ejercicio . Estructuraconceptual de tu asignatura o disciplina en relación a sus actividades de enseñanza- aprendizaje y evaluación. 92  ¿Qué conocimiento es el más importante en tu asignatura? 1. Escoge los 15-20 conceptos más importantes de tu asignatura. Aquellos que es necesario comprender y recordar como un primer paso hacia un conocimiento profundo de la asignatura. Redacta una lista con ellos 2. Diseña un cuestionario breve para medir el conocimiento previo que tus alumnos tienen sobre ellos en 15 minutos del primer día de clase de la asignatura. 3. Diseña actividades o tareas para que trabajen con algunos de ellos a la vez que ejercitan competencias que pienses que son importantes para su futuro profesional 4. Diseña preguntas para un examen en el que tengan que aplicar a un caso real o verosímil algunos de estos conceptos más importantes de tu asignatura
  • 93.
    Sugerencia de aplicacióna tu docencia (en el próximo cuatrimestre).93  Aplica el cuestionario diagnóstico a tus alumnos. Discute con ellos los resultados en la siguiente clase. Pídeles que durante el curso estén atentos a todo lo relacionado con estos conceptos esenciales.  Avísales de que las actividades de aprendizaje y las pruebas de evaluación se centrarán en la comparación, la interrelación y la aplicación de estos conceptos esenciales.  Veras como mejora el aprendizaje de tus alumnos acerca de esos conceptos que consideras más esenciales.
  • 94.
    Metodología de diseñode inventarios conceptuales el ejemplo del FCI (Force Concept Inventory)  Hestenes  Diseñó force concept inventories y concept tests para evaluar estos conceptos (ejercicio 5)  Con pregunas conceptuales abiertas investigaban las concepciones erróneas más frecuentes en los alumnos y las convertían en distractores de preguntas de test de opción múltiple.  Los test se redactaban sin jerga especializada por lo pueden aplicarse a los alumnos antes y después de la instrucción  Así puede determinarse la ganancia que produce la enseñanza durante el periodo formativo (si es que se produce alguna)  Con esta metodología podemos comparar científicamente la eficacia de distintas metodologías para que los alumnos aprendan.
  • 95.
    Diagramas de Puntuaciónpretest vs. Ganancia: El rendimiento de métodos tradicionales es muy inferior al de los interactivos95 Monkey Aristotelian Newtonian
  • 96.
    Utilidad del FCI 96 El FCI sirve para comparar instituciones, alumnos de distintos cursos, distintas metodologías y sirve para medir la ganancia que produce una asignatura.  Mide en que grado la instrucción ha cambiado las concepciones erróneas que los alumnos tenían al principio de la asignatura.  Se han diseñado CI o concept tests para múltiples disciplinas.  Podemos crear un FCI para nuestra propia asignatura y publicarlo  ¿Por qué es tan importante conocen el nivel de partida de nuestros estudiantes y saber lo que no comprenden antes de explicarles ?  Video Biggs 2 http://www.youtube.com/watch?v=2DMnYxc3ank&feature=player _embedded
  • 97.
    ¿Qué podemos concluirde estos resultados? Porcentajedeganancia Conrespectoalamáximapotencial La incorporación de más métodos interactivos mejora los resultados del peer instruction PI PI + JITT
  • 98.
    S T RU C T U R E O F O B S E R V E D L E A R N I N G O U T C O M E S ( S O L O ) T A X O N O M Í A D E L A E S T R U C T U R A D E L A P R E N D I Z A J E O B S E R V A D O J O H N B I G G S T A X O N O M I A D E N I V E L E S D E R A Z O N A M I E N T O C O N E L C O N O C I M I E N T O B E N J A M I N B L O O M 98 Evaluación de la comprensión profunda (SOLO) y de operaciones de alto nivel cognitivo (Bloom)
  • 99.
    99 Taxonomía de laestructura del aprendizaje observado (SOLO taxonomy) J Biggs  Describe el aumento de complejidad en la comprensión de un tema por el estudiante en cinco estadios Uni-estructural Conexiones Simples Enfca en elementos Identifica Sigue prodedimiento recita Pre-estructural Piezas No comprende Tautologías confunde Relacional Relación y significación de las partes con el todo Relaciona compara analiza integra Multi-estructural Más conexiones Sin significación global Clasifica Combina enumera Abstracto extendido Con conexiones fuera del área de estudio Generaliza estructura y transfiere los principios e ideas a otros temas Generaliza , hipotetiza, teoriza COMPRENSIÓN PROFUNDA COMPRENSIÓN SUPERFICIAL
  • 100.
    100 Diagnosis de losniveles de respuesta a nuestras preguntas 1. Aumento de los conocimientos:  Preestructural. No tienen ni idea, confunden unos conceptos con otros. Intentan encubrir la falta de comprensión con tautologías y vaguedades. 0  Uniestructural: Respuesta bien orientada pero se queda en la terminología y faltan datos. 2,5  Multiestructural: Apabullan con datos, pero faltan conexiones y una estructura de relación. 5 2. Profundización en la comprensión:  Relacional: Se relacionan unos conceptos con otros y se integran en una estructura. 7,5  Abstracta ampliada: es la que trasciende de lo dado lo relaciona con otros temas y contextos e incluso abre perspectivas nuevas incluso para el profesor. 10
  • 101.
    101 La taxonomía solotambién puede aplicarse a la ejecución de tareas que demuestran competencias  La tarea no es realizada de modo apropiado (preestructural), abordaje simplista.  Uno (uniestructural) o varios (multiestructural) aspectos de la tarea son realizados correctamente pero otros no y además no son integrados correctamente.  Relacional comprende, relaciona e integra correctamente los distintos aspectos en una ejecución correcta.  Abstracta-extendida la ejecución no es solo correcta sino modélica, ejemplar.  Veamos que relación tiene esto con lo que debemos evaluar para producir aprendizajes  Parte tercera del vídeo sobre las teorías de John Biggs. The solution constructive alignment  http://www.youtube.com/watch?v=AuCG0kdj5DQ 
  • 102.
    Iconografía de losniveles SOLO 102 4. Relacional 1. Pre estructural 2. Uni estructural 3. Multi estructural 5. Abstracto extendido http://pamhook.com/free-resources/downloadable-resources/
  • 103.
    Selecciona los verbospara tareas y preguntas de distinto nivel. 103  Generalizar  Predecir  Evaluar  Reflexionar  Hipotetizar  Crear  Probar  Planificar  Definir  Identificar  Nombrar  Encontrar  Etiquetar  emparejar  Recordar  Describir  Enumerar  Esquematizar  Seguir un procedimiento  Ordenar  Clasificar  Comparar y contrastar  Explicar causas  Explicar efectos  Analizar  Hacer una analogía  Organizar  Distinguir  Cuestionar  Aplicar Justificar Argumentar Componer Priorizar Diseñar Construir Desempeñar Inventar Desempeñar ejercer Abstracto extendidoUniestructural Multiestructural Relacional
  • 104.
    104 Preguntas de evaluacióny niveles SOLO  Algunas preguntas son muy fáciles de corregir para el profesor pero limitan el nivel de las posibles respuestas  Enumera… cuatro especies de mosquitos transmisores de enfermedades  Estudiante con comprensión preestructural (se sabe 2 mosquitos de memoria) la aprobará  .. e indica los riesgos sanitarios que crea cada una  Estudiante con comprensión multiestructural la clava.  …y discute su importancia en los programas de salud pública  Invita a una respuesta relacional con criterios e incluso a una abstracta sobre cómo valorar la importancia de una amenaza sanitaria
  • 105.
    Con esta preguntapodemos explorar todos los niveles SOLO:105  Discute cómo podrías juzgar la importancia relativa de amenazas a la salud pública, utiliza como ejemplos para tu discusión varios tipos de mosquitos tropicales.
  • 106.
    106 Ejercicio toma unapregunta de recuerdo de hechos y conviértela en la base de preguntas que inviten a respuestas multiestructurales  Tus alumnos deben practicar la contestación a este tipo de preguntas en clase o en tareas asignadas como “Deberes”.  Después de que tus alumnos practiquen ya puedes ponerles preguntas de este tipo en tu examen  Verás que con este tipo de preguntas podrás discriminar mucho mejor los distintos niveles de conocimiento de tus alumnos y animarles a qué hagan durante el cuatrimestre los deberes que les asignas.
  • 107.
    Compara las trespreguntas 107  Nombre:  1) Explica las infecciones intracelulares desde la perspectiva de la teoría de juegos. ¿Cómo denominarías los distintos niveles de juego?,¿ cuáles son sus posibles protagonistas? ¿Cuáles las estrategias para intentar ganar o seguir en el juego de las bacterias intracelulares y de los mecanismos inmunes dirigidos a defenderse contra ellas?  ¿Cuáles son los desenlaces más probables de cada tipo de interacción y su consecuencia sobre la evolución del juego posterior?  ¿Cuáles son las posibilidades de equilibrios permanentes y desenlaces finales?  Ejemplificar estos conceptos en los casos de infecciones por microrganismos del género Mycobacterium  Valor hasta cuatro puntos  2) Explica las diferencias y similitudes entre los diferentes factores implicados en la etiología de  las enfermedades autoinmunes y el cáncer.. Valor hasta tres puntos  3) Describe la clasificación de las inmunodeficiencias primarias. Características generales. Se valorará la citación de un ejemplo representativo. Valor hasta tres puntos
  • 108.
    E V AL U A M O S C O N O C I M I E N T O S P E R O … ¿ Q U É T I P O S D E O P E R A C I O N E S C O N E S O S C O N O C I M I E N T O S S O N L A S Q U E E V A L U A M O S ? L O S E S T U D I O S D E M U E S T R A N Q U E L A M A Y O R Í A D E L O S P R O F E S O R E S E N L A M A Y O R Í A D E L A S O C A S I O N E S E V A L Ú A N R E C U E R D O , L A E V A L U A C I Ó N D E R A Z O N A M I E N T O D E N I V E L S U P E R I O R A N Á L I S I S S Í N T E S I S Y E V A L U A C I Ó N S U P O N E U N A P A R T E D E M A S I A D O P E Q U E Ñ A D E L O Q U E E V A L U A M O S A L H A C E R L O E N V I A M O S E L M E N S A J E D E Q U E M E M O R I Z A R C O N C E P T O S E S L O I M P O R T A N T E P A R A A P R O B A R Y E S O E S L O Q U E N U E S T R O S A L U M N O S H A C E N P A R A C A M B I A R E S T O D E B E M O S C A M B I A R L A S P R E G U N T A S Y E N C A R G O S Q U E H A C E M O S A N U E S T R O S A L U M N O S 108 Aplicación de la taxonomía de Bloom a las pruebas de evaluación
  • 109.
    109 Nivel Básico: 1. Recordar(Reproducir) Nivel Intermedio: 1. Resumir (identificar lo mas importante) 2. Enumerar (identificar puntos) 3. Comprender (explicar e interpretar el significado) 1ª CG de Dublín 4. Comparar identificar similitudes y diferencias Alto nivel: 1. Aplicar (usar para resolver un problema nuevo) 2ª Dublín 2. Analizar (Estudiar componentes e interrelaciones) 3. Sintetizar (producir algo nuevo integrando partes) 4. Evaluar (hacer un juicio basado en criterios) 3ªDublín Niveles de razonamiento con el conocimiento (taxonomía de Bloom ampliada)
  • 110.
    110 Uso de lataxonomía de Bloom para diseñar ejercicios y pruebas (recuerdo) 1. Conocimiento: recuerdo de información específica. Define el término tolerancia inmunológica. Identifica las principales poblaciones de linfocitos antígeno-específicos. ¿Quién ganó el premio Nobel por el descubrimiento de los reordenamientos genéticos de las inmunoglobulinas? Escribe la ecuación que relaciona la fuerza motivadora con la inercia mental del estudiante y su actividad formativa. ¿Cuáles son las cinco secciones de un artículo original de investigación? ¿Qué son las bacterias gram-positivas? Enumera en una lista Las características peculiares de la respuesta autoinmune
  • 111.
    111 Uso de lataxonomía de Bloom para diseñar ejercicios y pruebas (comprensión) 2. Comprensión: Ser capaz de comunicar sin repetir. Indica que operaciones matemáticas debes realizar para resolver este problema. Explica los resultados del experimento mostrado en la gráfica. A partir del plano describe el artículo representado Dada una cuestión establece un diseño experimental que pueda responderla. Traduce el siguiente párrafo del inglés al Español. Resume en cien palabras la teoría de la selección clonal Resume en una oración lo mas importante que has aprendido en este curso. Compara y contrasta en una tabla Explica las similitudes y diferencias entre los linfocitos T y los linfocitos B Explica similitudes y diferencias entre respuestas inmunes a bacterias extracelulares e intracelulares
  • 112.
    112 Uso de lataxonomía de Bloom para diseñar ejercicios escritos (aplicación) 3. Aplicación: El uso de abstracciones en situaciones concretas. Relaciona el principio de refuerzo positivo con tus comportamientos en la clase. Describe un experimento para conocer los efectos de un profesor en el aprendizaje de sus alumnos. Determina el porcentaje de la población de células NK en el siguiente estudio. Entrena a tus alumnos para que desarrollen la competencia X. Aplica sombreado para producir profundidad en un dibujo.
  • 113.
    113 Uso de lataxonomía de Bloom para diseñar ejercicios escritos (análisis) 4. Análisis: La descomposición de una situación en las partes que la componen. Identifica las asunciones que subyacen a una teoría. Dado un argumento para la aprobación de los xenotrasplantes, enumera razones a favor y en contra de ellos. Analiza los resultados del siguiente experimento y ofrece una interpretación. Dado un diseño experimental, identifica las variables predictora y dependiente. Identifica premisas no explicitas en una argumentación lógica Interpreta esta gráfica
  • 114.
    114 Uso de lataxonomía de Bloom para diseñar ejercicios escritos (síntesis y evaluación) 5. Síntesis: reunir elementos y partes para formar un todo coherente. Escribe un argumento lógico a favor de una determinada posición. Dados un conjunto de datos formula una hipótesis que pueda explicarlos Dadas dos teorías opuestas diseña un experimento para compararlas. Diseña un separador de urea para un acuario marino de 200 l. Especifica flujo de agua requerido y condiciones de mantenimiento y limpieza. Escribe una historia corta relacionando una experiencia personal en el estilo de la novela picaresca.
  • 115.
    115 Uso de lataxonomía de Bloom para diseñar ejercicios escritos (evaluación) 6. Evaluación: Realización de juicios acerca del valor de las cosas y la validez de los métodos y argumentos Dado un argumento, detectar y enumerar las falacias lógicas que contiene. Dados los datos acerca de una cuestión, tomar una posición y defenderla. Dado un estudio de investigación, evaluar si las resultados obtenidos justifican las conclusiones alcanzadas. En una situación clínica, seleccionar la intervención más razonable y predecir los efectos y los posibles efectos no deseados. Evaluar el trabajo de un compañero dando las razones para tu evaluación.
  • 116.
    ¿Cómo puede laevaluación favorecer el aprendizaje significativo, reflexivo, crítico y relevante?  Pidamos a nuestros alumnos que demuestren:  Capacidad de transferir y aplicar sus conocimientos a situaciones nuevas.  Comprensión en profundidad.  Capacidad de síntesis.  Capacidad para la creación 116
  • 117.
    Tus alumnos reaccionaránal cambio en la estrategia de evaluación  Tus alumnos al saber que se les va a exigir comprensión profunda, aplicación, integración e interrelación de conocimientos estudiarán de otra manera, preparándose para este tipo de evaluación.  Tus alumnos tendrán que aprender más para aprobar y de esta manera aprenderán más.  Recuerda el dicho anglosajón : “You get what you assess”  El único inconveniente es que te pasaras una semana extra corrigiendo los exámenes de tus alumnos. Recuerda mi consejo: “Lo mejor para el aprendizaje, casi nunca es lo más cómodo para el profesor” 117
  • 118.
    118 Un ejemplo deevaluación con viñeta experimental  Comenta estas gráficas indicando qué fenómenos muestran.  Explica, con lo que sabes de la biología de las células B, los mecanismos celulares y moleculares que explican los datos mostrados en ambas gráficas.  Deben leer las gráficas interpretar los datos y relacionarlos con lo que saben del temario.  ¿Qué ocurre? ¿Qué mecanismos de los estudiados explican cada cosa que ocurre?  ¿Transmite honestamente la información? Herramienta pruebas de evaluación a prueba de abordaje superficial Interpretar un contexto de inmunización Diferenciarconcentracióndeafinidad
  • 119.
    Un examen deun curso de formación del profesorado 119  Defiende con argumentos pedagógicos ante una audiencia de profesores que se resisten a cualquier innovación por qué es conveniente cambiar al sistema de mas aprendizaje activo, enseñanza mediante retos y evaluación continua propugnado por el EEES.  ¿Por qué es mejor para el aprendizaje…  …el aprendizaje activo?  …la clase interactiva?  …usar metodologías inductivas?
  • 120.
  • 121.
    121 Ejercicio de interpretación de figuras. Estudiadetenidamente la figura e interprétala: ¿Qué se muestra en cada uno de sus gráficos? ¿Cuáles son las conclusiones que se pueden extraer de los resultados presentados en la figura? ¿Cuál es el mensaje principal de la figura? Lo sacan los que han pensado en clase y han hecho los ejercicios Herramienta pruebas de evaluación a prueba de abordaje superficial medido/real Error/medida
  • 122.
    122 ¿Cuál es lasimilitud? Herramienta pruebas de evaluación a prueba de abordaje superficial
  • 123.
    123 Ejercicio de interpretacióny extracción de conclusiones.  Responda a las siguientes preguntas ¿Qué muestran los resultados mostrados en la grafica?  ¿Qué podemos concluir, qué demuestran los resultados mostrados en la grafica?  ¿Esperarías estos resultados si los anticuerpos fueran la causa necesaria de la enfermedad? ¿Por qué?  ¿A la vista de los resultados cual puede ser el mecanismo necesario para que se produzca la enfermedad?  ¿Cómo lo confirmarías en un modelo animal? Efectos del tratamiento con Rituxan anticuerpo monoclonal anti CD20 de pacientes con LES
  • 124.
    Lee el documentoy explícalo relacionándolo con lo que sabes de presentación antigénica y coestimulación linfocitaria ¿Qué aplicaciones se te ocurre que podría tener este descubrimiento? Herramienta ejercicios que entrenan para esas pruebas de evaluación 124
  • 125.
    Utilidad del FCI 125 Se utilizó el Force concept inventory (FCI) para medir la comprensión de leyes de Newton en high schools Community colleges, and state universities  Se descubrió que con docencia tradicional la ganancia media era un cuarto de la máxima potencial en una asignatura  Con docencia interactiva incluso cohortes de alumnos de alto nivel doblaban su ganancia con respecto a la típica de la tradicional  Puntuación pretest Ganaciapretest-posttest Tradicional 50 25
  • 126.
    ¿Por qué el aprendizajeactivo? 126  El aprendizaje activo produce más y mejor aprendizaje que el aprendizaje pasivo. (Interactive engagement vs. Traditional methods. Hake 1988)  Compara resultados de 6542 alumnos de 62 asignaturas  La ganancia en aprendizaje es significativamente superior en las asignaturas que usan implicación interactiva con respecto a las que usan metodología tradicional.  El aprendizaje activo ofrece oportunidades para ejercicio de competencias. R.R. Hake, Am. J. Phys. 66, 64 (1998).
  • 127.
    Problemas convencionales vs.Problemas conceptuales 127  ¿Qué será más difícil?  Diseñar un experimento para responder a esta pregunta  Explorar el mismo contenido de las dos maneras en el mismo examen.  En apariencia lo conceptual es más sencillo pero los alumnos obtienen peores resultados en el “sencillo” test conceptual que en el complicado problema.  Hagamos un experimento
  • 128.
     Problemas complejos (peroesperados) 128 Problemas complejos vs. Tests conceptuales “No podemos regalar el 20% del examen” “Llámalo problema de calentamiento”  Test conceptual (inesperados) ¿Los que resuelven problemas convencionales entienden los conceptos básicos? Muchos aprenden de memoria la mecánica de resolución de los problemas esperados Los mismos alumnos en el mismo examen nota media 6,9 > nota media 4,9
  • 129.
    Problemas convencionales esperadosvs. Problemas conceptuales inesperados ¿Hay alguna correlación entre los resultados?129  ¿Cómo interpretáis estos resultados?  Relación en la mitad  Pocos hicieron mejor el conceptual que el convencional  Muchos hicieron peor el conceptual que el convencional  ¿Qué son? 52 % Problema convencional Problemaconceptual 20 40 60 80 100 20406080100 39 % 9 %
  • 130.
    ¿Qué podemos concluirde estos resultados? Porcentajedeganancia Conrespectoalamáximapotencial La incorporación de más métodos interactivos mejora los resultados del peer instruction PI PI + JITT
  • 131.
    Tradicional teaching vs.Peer teaching Ganancia media Física 25% de la máxima posible Biología 17% Ganancia media Física 50-60% de la máxima posible Biología 33%
  • 132.
    Trabajo extra quenos da el peer teaching a los profesores  Los temas deben estar preparados con más antelación.  Debemos preparar preguntas de test sobre aquello que queremos que nuestros alumnos aprendan.  Centradas sobre la comprensión profunda y aplicación de los conceptos esenciales de nuestra asignatura.  Esas preguntas deben servir para poner en evidencia si nuestros alumnos comprenden las ideas más importantes  Estrategia sugerida empezar con JITT ir preparando preguntas para peer teaching
  • 133.
    Una vez conocidosestos resultados ¿Es ético seguir utilizando la metodología tradicional de enseñanza universitaria ?  Una analogía con el ensayo clínico de tratamientos.  La eficacia de distintos tratamientos se compara aplicando uno a un grupo de pacientes otro a otro y comparando los resultados.  En medicina cuando se demuestra que un tratamiento es el doble de eficiente que otro y se publica y se admite como un hecho la superioridad del tratamiento I (Innovador) sobre el tratamiento T (Tradicional)  Si tu propones otro estudio comparando los tratamientos I y T el comité de ensayos clínicos te lo tirará para atrás por que “No es éticamente admisible negar a un grupo de pacientes el mejor tratamiento conocido”  ¿Por qué negamos a nuestros alumnos el tratamiento que produce más aprendizaje?
  • 134.
    ¿Es ético quesigamos utilizando la metodología tradicional a sabiendas de que hay otras metodologías mas eficaces pero menos cómodas para el profesor?  La evidencia publicada demuestra que no  ¿Por qué ignoramos la evidencia publicada?
  • 135.
    Más allá dela intuición y la experiencia personal (Cees van der Veluten)  ¿Por qué el profesor de medicina basa su práctica médica en la medicina basada en la evidencia publicada y su práctica docente en la tradición y su opinión personal?  ¿Por qué a su paciente le administra el tratamiento que según la última literatura médica es el mas eficaz y sin embargo a su alumno le enseña de aquella manera que simplemente le resulta más cómoda a él?  Ha sido formado en medicina pero no en docencia es y se comporta como un profesional de la medicina y sin embargo se comporta como un amateur en la docencia  Debemos esforzarnos por convertirnos en profesionales de la docencia . Debemos basarnos en las mejores prácticas puestas a prueba en los países más avanzados  Debemos informarnos  Investigación original  Revisiones y meta análisis  Libros y manuales para la innovación y la mejora  135
  • 136.
    ¿Qué es lapráctica profesional basada en la evidencia? 136  Hacer lo más correcto en cada situación.  Por ejemplo en medicina  “… the conscientious, explicit, and judicious use of current best evidence in making decisions about the care of individual patients.”  David Sackett MD (1994)  ¿Por qué no hacemos esto mismo con los alumnos?
  • 137.
    ¿Se vuelven tontoslos profesores de medicina al ir del hospital a la facultad? 137  Obviamente no  ¿Por qué cada servicio del hospital realiza sesiones clínicas todos los días y pasa un lustro sin que en el Dpto. de Medicina se haga nada para modernizar la docencia?  Estamos tan acostumbrados a que esto sea así, que lo que debería ser normal nos parece lo anormal.
  • 138.
    Una selección históricade la literatura sobre enseñanza universitaria para el gran público  51- 80 McKeachie teaching tips  1985 Assessing educational outcomes Ewel  1987 Developing critical thinkers Brookfield  1991 Active learning Creating excitement in the classroom  1994 Classroom assessment techniques Cross , Angelo  1997 Peer instruction: A User’s Manual  1997 How to use problem-based learning in the classroom.  1997 Adviser, teacher, role model, friend on being a mentor to students in science and engineering.  1998 Educative assessment Grant Wiggings  1999 The Chicago handbook for teachers: a practical guide to the college classroom. A Brinkley y cols  1999 Teaching for quality learning at University J.biggs  1999 Just-In-Time Teaching: Blending Active Learning with Web Technology  1999Discussion as a way of teaching  1999 A handbook for teaching and learning in higher education  2000 teaching with your mouth shut  2000The Internet and problem based learning developing solutions through the Web. • 2001 Understanding by design Wiggings G • 2001 The Power of Problem-Based Learning: A Practical 'How To' for teaching Undergraduate Courses in Any Discipline • 2002 Learner-Centered Teaching: Five Key Changes to Practice Weimer M • 2003 Creating Significant Learning Experiences: An Integrated Approach to Designing College Courses Fink • 2004 What the Best College Teachers Do Bain • 2004 building faculty learning communities Cox • 2004 An introduction to rubrics Stevens D • 2005The joy of teaching P Filene • 2006 Exploring research based learning Kreber C • 2008 Team based learning Micaelsen • 2008 Teaching unprepared students • 2009 Designing courses for significant learning: voices of experience Fink • 2009 Teaching with classroom response systems: Creating active learning Environments Bruff D • 2010 2nd edition The Art And Craft of College Teaching: A Guide for New Professors And Graduate Students Rotenberg • 2010 XIII edition of teaching tips of Mc Keachie • 2011 Engaging Ideas : The Professor's Guide to Integrating Writing, Critical Thinking, and Active Learning in the Classroom Bean
  • 139.
    ¿Cómo puedo incorporarestas metodologías a mi docencia?  Introducir preparación previa  JITT muy fácil sólo comunicación virtual bidireccional D I F I C U L T A D  Team based learning  Scracth system  Si queremos usarlo para Evaluación contiua se necesitan lectores OMR para lectura automática PEPEOLA muy fácil cuestionarios en plataforma se pueden importar preguntas desde word Preguntas solo comprueban pregunta y  Aprendizaje activo  Introducir actividad y reflexión en clase  preguntas ejercicios  Peer teachning más complejo pero puede ir haciéndose gradualmente  Se puede empezar con cartulinas  Si queremos usarlo para evaluación- calificación continua se necesitan clickers
  • 140.
    Diagrama de flujode las discusiones en clase en el peer teaching
  • 141.
    Escalera hacía elmáximo aprendizaje Dictatio Monólogo magistral lectio, lectio, y lectio Clase expositiva interrogativa (evolución del lectio, comentatio disputatio) hay que hacerles pensar como profesionales con la información que les damos Aprendizaje activo ejercicios y estudio previo, reorientación de presentaciones y retroinformación colectiva Estudio previo y retroinformación Just in time teaching reorientación de explicación a lo que no se entiende . Aumenta atención. FAQ PEPEOLA Preparación y Estudio Previo con Evaluación On-Line Automática Peer teaching alumnos como recursos, ayudantes del profesor Team based learning Estudio previo, tema empieza con un examen, finaliza con trabajo en equipo
  • 142.
    Cómo implementar losdistintos métodos Dictatio no tenemos que cambiar nada Clase expositiva interrogativa planificar preguntas y casos para intercalar en las explicaciones y dar lugar a diálogo introducir ejercicios y reflexión, estudio previo, retroinformación colectiva Just in time teaching aplicación creación gestion y análisis de formularios Survey monkey y google docs . Estudio previo y retroinformación se explica lo que no se entiende PEPEOLA Poner preguntas en plataforma Peer teaching Crear preguntas que pongan de relieve concepciones erróneas clickers Team based learning PEPEOLA en aula info lectores OMR Servicio corrección Scracth Comodidadparaelalumnoyelprofesor
  • 143.
    Compartir vuestros resultadosde aprendizaje  ¿Qué hemos aprendido hoy?
  • 144.
    Consejos para elfuturo  Escoge un objetivo de aprendizaje  Diseña una prueba que lo evalúe  Diseña actividades apara aprenderlo ejercitarlo  Rediseña tu prueba de evaluación, rediseña tus actividades de enseñanza aprendizaje
  • 145.
    ¿Aportan nuestras asignaturasexperiencias de aprendizaje de calidad a nuestros alumnos?  ¿Obtienen aprendizajes que permanecerán y usarán en el futuro?  ¿Obtienen aprendizajes valiosos para sus perfiles profesionales?  ¿Obtienen aprendizajes que les hacen cambiar y madurar? ¿les ayudan a desarrollarse como personas y profesionales?  ¿Obtienen aprendizajes novedosos pero que se apoyan en el nivel de base que tienen?  No podremos responder a esta cuestión hasta que conozcamos las respuestas de nuestros alumnos. Deberíamos preguntárselo a ellos. Hagámoslo.  Debemos aprender a crear experiencias de aprendizaje significativo para ellos , no basta con planificar temas y clases.
  • 146.
    Batería de preguntaspara la reflexión metacognitiva 146 5) Reflexión sobre el aprendizaje en la asignatura ¿Qué cosas importantes has aprendido en esta asignatura? Incluye: conocimientos que has adquirido, competencias (Aprender a hacer cosas) y visiones (nuevas formas de ver y pensar las cosas) que has desarrollado. ¿De los aprendizajes que has adquirido en esta asignatura cuáles piensas que te serán más útiles en tu futuro profesional? ¿Qué aspectos de la asignatura han sido más novedosos para ti? ¿Qué aspectos de la asignatura te han gustado más? ¿Qué te ha parecido el sistema empleado de enviaros los materiales antes de empezar a explicarlos para que los leáis y respondáis a preguntas? ¿Notabas que te era más fácil entender un tema cuando lo habías estudiado antes? ¿Te has sentido más responsable de tu propio aprendizaje en esta asignatura? ¿Te has sentido más motivado a trabajar en ella que en otras asignaturas de este curso? ¿Por qué? ¿De lo que han hecho los profesores que es lo que más te ha ayudado a aprender? ¿Qué has aprendido de las actividades formativas y ejercicios que has realizado? ¿Qué actividades formativas te han gustado más? ¿Por qué? ¿Qué has echado en falta? ¿Cómo mejorarías la asignatura? ¿Algún otro comentario que quieras hacer (puedes usar también la cara de atrás)?
  • 147.
    D E PE N D I E N D O D E C Ó M O S E H A G A L A E V A L U A C I Ó N C O N T I N U A P U E D E M E J O R A R E L N I V E L D E A P R E N D I Z A J E P R E T E N D I D O O E M P E O R A R L O 147 Estudios de caso en evaluación continua alineada y desalineada
  • 148.
    En general laevaluación continua suele mejorar los resultados de calificación  Cuando se cambia de evaluación final a evaluación continua los estudiantes aprueban más y sacan mejores notas.  ¿Es esta una prueba valida de la bondad del método?  ¿No será que estamos disminuyendo la dificultad más que mejorar el resultado del aprendizaje?  Hay una metodología para responder a esta pregunta 148
  • 149.
    Estudiamos la evoluciónde los resultados de distintas promociones 149  Manteniendo una serie de preguntas con índice de dificultad conocido en los exámenes.  Voy a presentar dos casos: uno con muy buenos resultados (lo que hay que hacer ) y el otro con muy malos resultados (lo que no hay que repetir).  Una lección: El efecto de la EC depende de cómo se haga esta.
  • 150.
    Caso 1. ECque no mejora los resultados sino que los empeora (se dice el pecado pero no el pecador)  Experiencia piloto de los nuevos grados incorporan evaluación continua pero mantienen los tests de conocimiento que empleaban en licenciatura.  Profesores y alumnos trabajan más en actividades no alineadas con los tests de evaluación.  Los resultados tests van bajando en años sucesivos. ¿Nos sorprende?  ¿Por qué no debería sorprender nos a profesores capaces de ponernos en el lugar del alumno? 1. Porque el que va a aprobar gracias a los puntos de evaluación continua puede dormirse en los laureles, ya no necesita estudiar tanto como antes para sacar los puntos que le faltan en el test. 2. La evaluación continua no esta alineada con los aprendizajes evaluados en la evaluación final  ¿Conclusión?  No están aprovechando el potencial de la evaluación continua para que mejoren los resultados de aprendizaje pretendidos. Los alumnos trabajan más y no mejoran los resultados 150
  • 151.
    Caso 2. ECque contribuye a mejorar los resultados de la EF (los cracks de Inmunología de la UAH)  Tras una serie de años endureciendo las pruebas de evaluación. Aumentando el porcentaje de preguntas discriminativas nos dimos cuenta de que el porcentaje de suspensos aumentaba. Nuestro progresivo incremento en exigencia no era equilibrado por nuestra mejora en apoyo. Nos estábamos convirtiendo en una de las asignaturas huesos de la licenciatura en biología.  Tras aumentar nuestro nivel de exigencia debíamos aumentar el entrenamiento para pruebas tan exigentes.  Decidimos incorporar una evaluación continua que prepara para evaluación certificativa test con preguntas que vamos retirando de los “exámenes finales” y las incorporamos a exámenes formativos. También preguntas de casos. 151
  • 152.
    Resultados obtenidos 152  Resultadosde los tests “finales” mejoran con la realización de tests al final de los módulos y espectacularmente cuando se añaden pre-tests al principio de los módulos temáticos.  Claves del éxito: menos valor (no se aprueba sólo con los puntos de la continua) pero más alineamiento de evaluación continua con evaluación final  Hay que alinear bien y no pasarse con el valor.
  • 153.
    0 20 40 60 80 100 120 2007/08 2008/09 2009/10 matrícula sobresaliente notable aprobado suspenso nopresentado Mejora de resultados incorporando evaluación formativa (convocatoria ordinaria junio) Sólo final test post test pre Test post redujo el porcentaje de suspensos en 2008/09 y aumento el porcentaje de alumnos con calificaciones de notable o superior. Test pre aumentó en 2009/2010 el porcentaje de notables y sobresalientes Evaluación continua alineada con la final y no permite dormirse en los laureles Porcentajedealumnos(Junio) 153
  • 154.
    Incremento en calificación depruebas finales  Incremento calificación media con respecto a 2007/08  Casos y peguntas de desarrollo  2008/09 27,0%  2009 /10 38,12%  2010/11 40,23%  Prueba MCQ  2008/09 12,5 %  2009 /10 23,36%  2010/11 25,06%  Nosotros ya hacíamos evaluación continua y AAD con ABP  Pero lo que puntuaba una parte (preparación de presentaciones orales) y otra (casos y tests en exámenes) no estaba alineado  El cambio fue introducir actividades de evaluación formativa alineadas con las pruebas de evaluación final. El resultado fue una mejora espectacular. 0 5 10 15 20 25 30 35 40 45 2007/08 2008/09 2009/10 2010/11 casos MCQ 154
  • 155.
    Alternativas con preguntasMCQ de exámenes certificativos 1. Darlas “quemarlas” y hacer otros.  Ventaja banco creciente de preguntas  Inconveniente hay que hacerlas nuevas y desconoceremos su dificultad y su capacidad de discriminación al elaborar la prueba sólo la conoceremos después pero al darlas la habrán perdido.  Así no hay manera de hacer preguntas de calidad para la evaluación certificativa. 2. Mantenerlas secretas, estudiar su dificultad y su poder discriminativo  Sacamos algunas para evaluación continua y formativa 155
  • 156.
    156 ¿Cómo realizar elanálisis y el proceso de mejora de calidad de la prueba?
  • 157.
    157 ¿Cómo realizar elanálisis y el proceso de mejora de calidad de la prueba? 1. Matriz de respuestas y calificaciones programa de corrección de tests alumnos en filas x preguntas en columnas 2. Se ordena la matriz Ranking por calificación global en la prueba 3. Se hace una matriz de aciertos por comparación con la fila plantilla =SI('RANK respuestas'!D126='RANK respuestas'!D$151;1;0) 4. Se crean grupos de alumnos en función de su calificación primer cuartil – cuarto cuartil 5. Se hallan las proporciones de acierto de alumnos de distintos cuartiles. 6. Con índices se comparan las proporciones de acierto en distintos grupos 7. Podemos seleccionar las preguntas mas discriminativas. Esto nos permite diseñar una prueba de alto poder discriminativo: un test corto de 25- 50 preguntas y preguntas, casos y ejercicios (cuya capacidad para discriminar también podemos estudiar). 8. Así podemos combinar lo mejor de ambos tipos de exámenes.
  • 158.
    158 Los valores delos Índices permiten comparar, clasificar y mejorar preguntas Más discriminativas diferencian más entre los que saben y los que no (mantener) Las que diferencian ente los mejores y el resto Las que diferencian entre los que saben algo y los que no tienen ni idea Menos discriminativas (corregir o eliminar) Demasiado fáciles los que no estudian las aciertan. Hay que dificultarlas o a EC Demasiado difíciles las fallan hasta los más estudiosos. Hay que facilitarlas o eliminarlas Tienen algún fallo o ambigüedad. Hay que corregirlas =SI('RANK respuestas'!D126='RANK respuestas'!D$151;1;0)
  • 159.
    ¿Qué necesitamos? 159 1.Un lectorde exámenes (1989) o un servicio universitario de corrección de exámenes que nos facilite la tarea 2.Un programa de corrección de exámenes y alguien que nos explique como usar el software. 3.Una hoja de cálculo de excel. 4.Para preguntas MCQ la fórmula para convertir aciertos en (1) y los fallos en (0) =SI('RANK respuestas'!D126='RANK respuestas'!D$151;1;0)
  • 160.
    160 Gestión de lainformación generada por un sistema de evaluación multivariante 1. Las TICs nos facilitan mucho esta labor: 1. Plataformas de aprendizaje que permiten 1. la realización de foros on line para el trabajo de equipo 2. portafolios electrónicos, 3. Programas para la realización, autocorrección y autocalificación de tests, 2. Surveymonkey, google docs 3. Lectores que califican tests automáticamente, sistemas de respuesta a distancia clickers Educlick. 4. Hojas de datos que nos permiten 1. Procesar toda esta información numérica e integrarla en una calificación final para cada alumno. 2. Estudiar la calidad de nuestras pruebas para discriminar distintos niveles de aprendizaje. 2. Los profesores debemos aprender a explotar estas herramientas
  • 161.
    Recursos sobre comohacer preguntas de test (MCQ)  Manual para la elaboración ce preguntas http://www.nbme.org/Publications/index.html)  Ventajas e inconvenientes de distintos métodos de evaluación por medio de pruebas escritas. 161
  • 162.
    Preguntas de testcómo herramienta para fomentar comportamientos éticos Raíz En relación a XXXXXX es cierto que: A afirmación 1 B afirmación 2 C A y B son ciertas D A y B son falsas E No tengo certeza de cuál es la correcta, debería buscar información y estudiarla para responder. 162 Raíz Viñeta clínica: ¿Qué habría que hacer? A distractor 1 B distractor 2 C respuesta correcta D distractor 3 E No tengo certeza de cuál es la correcta, debería buscar información y estudiarla para responder.
  • 163.
    Ventajas didácticas ylogísticas • Al haber una opción para abstenerse E (que no penaliza) evitamos tener que revisar manualmente si en corrector lee bien las preguntas en blanco pues sólo habría preguntas en blanco cuando el lector no lee bien u ocasionalmente el alumno olvida responder a alguna. • Además así el alumno tiene una opción ética para contestar reconociendo que no sabe. • Fomentamos con nuestro sistema de calificación que el alumno reconozca cuando no sabe y actué en consecuencia. 163
  • 164.
    Cómo funciona elsistema de penalización en preguntas que combinan dos VF 164 • Errar resta medio punto que es la probabilidad que corresponde al que sabe una, duda otra y se arriesga entre V/F (0,5) • Pero el truco está en que al que no sabe ni una ni otra le resta 0,5 que es más su probabilidad de acertar por azar (0,25) • Con este test los que no tienen ni ética, ni idea sacan puntuaciones negativas, • Al combinar dos afirmaciones no hace falta rebuscar tanto estas afirmaciones para que la pregunta sea discriminativa (diferencie entre los que saben más y los que saben menos).
  • 165.
    Penalización variable 165  Acorrecta CD -0,25 B-0,50  B correcta CD-0,25 A-0,50  C correcta AB-0,25 D-0,50  D correcta AB-0,25 C-0,50
  • 166.
    Cómo funciona elsistema de penalización en preguntas con tres distractores 166 • Errar resta medio punto que es la probabilidad que corresponde al que duda entre la correcta y un distractor y se arriesga (0,5) • Pero el truco está en que al que duda entre 3 ó 4 le resta 0,5 que es más que su probabilidad de acertar por azar si duda entre tres (0,33) o entre cuatro (0,25) • Con este test los que no tienen ni ética, ni idea sacan puntuaciones negativas, • Al penalizar más a los más ignorantes se aumenta la capacidad de discriminación de la pregunta.
  • 167.
    Nuestro modelo deevaluación continua Concepto Valor Evaluación Continua 1 Evaluación Continua 2 Evaluación “al Final” ABP (seminarios) 25% Tutorías 5% (individual) Presentación ppt 10% (grupal) Presentación oral 10% (individual) Teoría (clase grande) 50% Primer módulo E formativa pre2,5% E sumativa post 7,5% Segundo módulo E formativa pre 2,5% E sumativa Post 7,5% Examen “finalito” 30% 15 tests 15 casos Prácticas (laboratorios) 25% 5% 5% Examen prácticas 15% Total 100% 20% 25% 55% (repartido) Examen final en convocatoria ordinaria 100 % sólo para alumnos que no optaron a evaluación continua 167
  • 168.
    Aprendizajes del ABPValor Novedad Dificultad de la tarea Disfrute de la tarea Desarrollo de la competencia Presentation oral (PO) Muy Alto Muy Alto Alto Muy Alto Alto Preparación de la PO Muy Alto Alto Alto/ Suficiente Alto Alto Comprensión de artículos originales de investigación Alto Muy Alto Alto Suficiente Alto Trabajar con bibliografía en Inglés Alto Alto Alto Bajo Suficiente Buscar información en Internet Alto Suficiente Suficiente/ Bajo Alto Alto Acquisición independente de conocimiento Alto Suficiente Suficiente Alto Alto Trabajo en equipo Alto Suficiente Suficiente Muy Alto Alto Aprender a aprender con autonomía Alto Suficiente Suficiente Alto Alto Resolución de dudas en tutorías Alto Suficiente Suficiente Alto Alto Uso de TICs y softwares Alto Bajo Bajo Alto Alto 168
  • 169.
    ¿Puedo mantener elnivel de exigencia utilizando evaluación continua?  Abogado del diablo ¿No estaremos aprobando a alumnos con un nivel de aprendizaje mediocre?  Si el profesor no controla adecuadamente su sistema de evaluación esto puede ocurrir.  Si queremos evitar que ocurra esto debemos regular nuestra exigencia en la evaluación continua y controlar el nivel de exigencia y dificultad de tus pruebas de evaluación final.  Estudios de dificultad de preguntas y de su poder discriminativo. Sistema de análisis en Excel. 169
  • 170.
    ¿Cómo mejorar laevaluación continua?  Centrarla en competencias escogidas (ejercicio 11) y alrededor de conceptos fundamentales de nuestra asignatura (ejercicio 6).  ¿Cómo hacerla factible?  Decidir en qué ocasiones hacerla (frecuencia) y cómo gestionar control (automático), calificación (sorteo) y feedback (colectivo).  ¿Cómo vamos a explotar la información que genera nuestra evaluación?  Para mejorar aprendizaje retroinformación colectiva del profesor al alumno  Para mejorar enseñanza planificación de obtención de retroinformación desde el Alumno al Profesor 170
  • 171.
    Criterios de calidadde la evaluación continua  Validez ¿Qué evalúa? ¿Es la evidencia suficiente para inferir los aprendizajes deseados?  Fiabilidad ¿Con qué reproducibilidad?  Marketing ¿Perciben los alumnos que desarrollan competencias y aprendizajes valiosos?  Poder informativo ¿Qué información sacamos de la EC?¿proporcionamos retroinformación a los alumnos? ¿obtenemos información útil para replantear y mejorar nuestra enseñanza? 171
  • 172.
    Poder informativo dela EC  ¿Qué información genera sobre aprendizajes de calidad?  ¿Qué información genera sobre lo que nuestros alumnos no aprenden y las dificultades que tienen?  ¿Cómo se aprovecha esta información para retroinformar al alumno?  ¿Cómo se aprovecha esta información para mejorar el proceso de enseñanza-aprendizaje? 172
  • 173.
    Competencias para laevaluación a desarrollar por el profesor 1. Seleccionar resultados de aprendizaje que permitan la evaluación competencias. 2. Escoger métodos para premiar la realización de actividades formativas. 3. Diseño de pruebas de evaluación de utilización de conocimiento de alto nivel. 4. Aprender a utilizar la evaluación on line automática para estimular el estudio previo. 5. Evaluación formativa y auténtica 6. Aprender a elaborar rúbricas 173
  • 174.
    174 COMPETENCIAS y resultadosdel aprendizaje Herramientas de evaluación Competencia nº 1: Saber específico: Conocimiento s de inmunología - Definir, comparar y aplicar conceptos inmunológicos relativos a moléculas, células, tejidos y procesos del sistema inmune. - Explicar los mecanismos y procesos de regulación en la respuesta inmune normal y patológica. -Explicar el fundamento, operación y rango de aplicación de los métodos inmunodiagnósticos e inmunoterapéuticos. -Interpretar resultados experimentales de técnicas inmunológicas Enumera similitudes y diferencias entre … Analiza las diferencias entre respuestas inmunes primarias y secundarias ¿Qué métodos utilizarías para . . . Interpreta los resultados experimentales mostrados en esta gráfica Competencia nº 2: Saber hacer específico Proceso de información en inmunología). -Buscar bibliografía de información inmunológica con herramientas electrónicas en un entorno on line. -Leer, comprender y analizar la literatura primaria en inmunología (artículos originales y revisiones). -Entender diseños experimentales y diseñar experimentos en inmunología -Comunicar información científica oralmente, por escrito y usando recursos on line. -Aplicar principios, elementos y tecnologías inmunológicas a la investigación biológica. ¿Han sido capaces de resolver autónomamente sus dudas? ¿Han entendido el artículo? ¿Han localizado los métodos que deben usar en prácticas? ¿Han entendido los diseños experimentales del artículo? ¿Han diseñado bien sus experimentos de prácticas? Su presentación merece un … Su informe merece un … ¿Han elegido métodos apropiados a los fines propuestos?
  • 175.
    175 COMPETENCIAS y resultadosdel aprendizaje Herramientas de evaluación Competencia nº 3: Transversal instrumental Resolución de problemas Lengua extranjera inglés. - Uso de TICs en biología. -Comunicar información científica oralmente, por escrito y por canales on line. Han comprendido el articulo original en ingles y la bibliografia complementaria Han explotado las posibilidades de Internet, Power Point, y Acrobat Reader Han realizado una presentación comprensible y amena Han realizado un buen informe del trabajo estudiado Competencia nº 4: Trabajo en equipo Trabajar en grupos cooperativos asumiendo las responsabilidades que se les han asignado Los productos de su trabajo en equipo merecen un . . . Evaluación por compañeros Competencia nº 5: Transversal sistémica Aprendizaje autónomo: -Desarrollar hábitos para el autoestudio y el aprendizaje activo autodirigido e independiente. Han encontrado recursos en Internet para la resolución de problemas y ejercicios Han documentado correctamente sus trabajos Han resuelto los problemas sin necesidad de ayuda Competencia nº 6: Transversal sistémica Pensamiento crítico y creativo Formular hipótesis y diseños experimentales para ponerlas a prueba Interpretar resultados experimentales Formular conclusiones y argumentos científicos basados en datos experimentales. Juzgar trabajos científicos Han realizado un buen análisis crítico del trabajo estudiado Son capaces de interpretar datos y deducir conclusiones Son capaces de argumentar científicamente Su juicio del artículo es incisivo y fundamentado Competencia nº 7: Actitudinal: - Desarrollar confianza en la capacidad para resolver problemas inmunológicos. - Desarrollar interés por la investigación clínica Autoevaluación declaran haber desarrollado confianza en sus posibilidades Han mostrado su interés participando en clase
  • 176.
  • 177.
    Mitos en evaluación 177 No hay un método mejor (objetivo y estandarizado) para evaluar todo, depende de lo que queramos evaluar y del contexto  Lo mejor suele ser una combinación de métodos con muestreo suficiente (fiabilidad)  No sólo son auténticos ciertos métodos. Lo mejor es que las pruebas evalúen auténticamente lo que queremos evaluar (validez)  La evaluación es un asunto de psicometría en el que todo esta inventado.  Lo mejor es que la evaluación tenga impacto educativo ayude a aprender  Este integrada en las actividades de enseñanza aprendizaje evaluamos lo que hacemos
  • 178.
  • 179.
    Caso clínico 179  Varónde 52 años no fumador lleva tres días con febrícula y tosiendo, produce esputo verde .  Su presión sanguínea, pulso y ritmo respiratorio son normales  La exploración de ruidos pulmonares es normal
  • 180.
    Eres su médicode cabecera ¿Qué harías? 180 A. Pedir una radiografía de torax para descartar la neumonia B. Prescribir un antibiotico C. Prescribir un antiinflamtorio corticoide D. Recomendar Pelargonim sidoides, un remedio de herbario muy popular. 
  • 181.
    ¿Qué harían lamayoría de los médicos? 181
  • 182.
    Que nos dicela evidencia 182  La radiofgrafia mno es necesaria pero al paciente puede hacerle ilucsión  El antibiotico no no ayudará  Antitussivos no están bien estudiados pero se prescriben