Este documento trata sobre el diseño de instrumentos de medición para cursos en línea. Explica los principios fundamentales del diseño de instrumentos de medición como las rúbricas y los tipos de rúbricas. También proporciona ejemplos de cómo diseñar rúbricas y los beneficios de usarlas para la evaluación de estudiantes en cursos en línea.

1. Diseño de Instrumentos de
Medición
M di ió para C Cursos en Lí
Línea
Dra. Aury M. Curbelo
http://www.digitaleducationtechnology.com
p // g gy

2. Obejtivos
• Al finalizar este taller los participantes:
▫ Conocerán los principios fundamentales sobre el
diseño de instrumentos de medición para cursos en
línea.
▫ Conocerán los que son las rúbricas,
▫ Conocerán los tipos de rúbricas
▫ Conocerán como diseñar rúbricas para la evaluación
de cursos en línea
línea.
▫ Conocerán los programas de computadoras
disponibles para el diseño de rúbricas.
▫ Diseñaran rúbricas utilizando el programa Rubricator.

3. quot;For as long as assessment is viewed as
For
something we do 'after' teaching and learning
are over, we will fail to greatly improve
, g y p
student performance, regardless of how well
or how poorly students are currently taught or
motivated.quot;
Grant Wiggins, 1998

4. I
Introducción
d ió
Hmieleski y Champagne (2000).
“Though college students can order textbooks,
register for courses, view grades, and apply for
jobs i
j b using the W ld Wid W b a recent survey
h World Wide Web,
by Rensselaer Polytechnic Institute's Interactive
and Distance Education Assessment (IDEA)
Laboratory found that nearly all colleges
conduct course evaluations at the end of the
term using a paper-based format.

5. I
Introducción (
d ió (cont.)
)
• Esto significa que:
▫ Este tipo de evaluación no le sirve ni al profesor, ni a
los estudiantes, ni a la institución por las siguientes
razones:
Resultados llegan semanas despúes que se ha terminado
el semestre.
Los resumes de estas evaluaciones son ambiguos y con
vagas explicaciones.
Los estudiantes saben que sus comentarios van a ser
leídos solo muchas, muchas semanas despúes.
Muchas de
M h d estas evaluaciones se ll
l i llevan a cabo en
b
condiciones de gran estrés (e.g., para ascensos,
promoción, requisitos institucionales, otros) en lugar de
ser una herramienta para mejorar el proceso de
enseñanza y aprendizaje.

6. Desventajas de los modos tradicionales de
j
evaluación de cursos
• Formato
▫ 98% de las universidades que ofrecen cursos en línea
utilizan formas de evaluación en papel ( estudio
realizado por IDEA Lab ,1999).
1999)
• Frecuencia de la retroalimentación
▫ Al final del semestre o mucho más tarde.
• Recibo de informes finales tardes
▫ 25% dos semanas
▫ 64% emtre un (1) mes
▫ 90% entre dos (2) meses
• Costos
▫ C t d l papel $
Costo del l $0.25 a $ 4.00 por estudiante por año.
t di t ñ
http://ts.mivu.org/default.asp?show=article&id=795

7. Pasos para utilizar evaluaciones en
línea
• Retroalimentación inmediata (profesor y para los
estudiantes)
• Interpretación de resultados inmediatos
• Comentarios de los estudiantes organizados y a
tiempo.
p
• Respuesta individual.
• Privacidad garantizada
• Protección contra fraude
• Uso de contraseñas
• Costos
• Efectividad
• Tiempo

8. Ejemplos de cuestionarios en línea
• htt // li
http://slim.emporia.edu/program/evaluate/
i d / / l t /
• http://www.emporia.edu/asem/sample_eval.ht
m
• http://www.unomaha.edu/~wwwpa/postcours
e.html

9. http://slim.emporia.edu/program/evaluate/e2.htm

10. http://www.emporia.edu/asem/sample_eval.htm

11. http://www.unomaha.edu/ wwwpa/postcourse.html
http://www.unomaha.edu/~wwwpa/postcourse.html

12. Ejemplo de softwares
• http://www.quia.com/
http://school.discovery.
com/quizcenter/quizce
nter.htm

13. Ejemplo de softwares (cont.)
j p ( )
• http://www.questiontools.com/index.html

14. Otras alternativas

15. • “Every time I introduce rubrics to a g
y group of
p
teachers the reaction is the same — instant
appeal (“Yes, this is what I need!”) followed
closely b panic (“
l l by (“Good grief, h
d f how can I b
be
expected to develop a rubric for everything?”).
When you learn what rubrics do and why you
do—and why—you
can create and use them to support and assess
student learning without losing your sanity.”
sanity.
▫ Heidi Goodrich Andrade (2004)

16. ¿Qué es una rúbrica?
Q é úb i ?
• Según Rodríguez (2004):
▫ Una rúbrica es una guía que intenta
evaluar el funcionamiento de un
alumno basado en la suma de una
gama total de criterios, más que de una
sola cuenta numérica.
▫ Una rúbrica es una herramienta de
evaluación usada para medir el trabajo
de los alumnos.

17. ¿Qué es una rúbrica? (cont.)
• Rodríguez (2004):
▫ Una rúbrica es una guía de trabajo tanto para
los alumnos como para los profesores.
▫ Normalmente se entregan a los alumnos antes
de iniciar
d i i i un determinado t b j para ayudar
d t i d trabajo d
a los alumnos a pensar sobre los criterios en
los cuales su trabajo será juzgado
juzgado.
▫ Una rúbrica favorece el proceso de
enseñanza/aprendizaje.
/ p j

18. ¿Qué es una rúbrica? (cont )
(cont.)
• Según The George Lucas Educational
ú h d i l
Foundation (2004):
▫ L rúbricas son sistemas
Las úb i i t
multidimensionales que proporcionan
consistencia en los t b j d
i t i l trabajos de
evaluación de los estudiantes.
▫ L rúbricas se utilizan d d el
Las úb i tili desde l
comienzo hasta la terminación de un
proyecto.
t

19. ¿Qué es una rúbrica? (cont.)
• Según The George Lucas Educational
Foundation (2004):
▫ Proporcionan un sistema específico de
medida para tareas específicas y se
pueden adaptar para cada proyecto.
▫ Mientras más complejos sean los
proyectos más complejas son las
rúbricas.
rúbricas

20. Tipos de Rúbricas
• Según Gómez, Aguirre, Posso y García
(
(2004):
4)
▫ Rúbrica Comprensiva
El profesor evalúa la totalidad del proceso o producto sin
juzgar por separado las partes que lo componen.
▫ Rúbrica Analítica
El profesor evalúa inicialmente, por separado, las dif
f lú i i i l t d l diferentes
t
partes del producto o desempeño y luego suma el puntaje de
estas para obtener una calificación total.

21. Tipos de Rúbricas (cont.)
• Rúbrica Comprensiva
▫ Se utilizan cuando pueden aceptarse
pequeños errores en alguna de las partes del
proceso, sin que ellas alteren la buena
calidad del producto final.
▫ Son más apropiadas cuando las actividades
de desempeño requieren que el estudiante
produzca una respuesta sin que
d t i
necesariamente haya una respuesta correcta
única.
única

22. Tipos de Rúbricas (cont )
(cont.)
• Rúbrica Analítica
▫ Se prefieren cuando se necesita que los
trabajos tengan una respuesta muy enfocada.
j g p y
▫ Se utilizan para situaciones en las cuáles hay
más de dos respuestas válidas y la creatividad
no es importante en la respuesta.

23. Tipos de Rúbricas (
p (cont.)
)
• Rúbrica Analítica
▫ El proceso de calificación es más lento,
especialmente porque se evalúan
individualmente diferentes habilidades o
características que requieren que el maestro
examine el producto varias veces.
▫ Por eso tanto su elaboración como su
aplicación requieren tiempo.
p q p

24. ¿Por q utilizar las rúbricas?
¿ qué
• Rodríguez (2004):
▫ Las rúbricas mejoran los productos finales de
los alumnos y por lo tanto aumentan el
aprendizaje.
▫ Cuando los alumnos reciben rúbricas de
antemano, entienden cómo los evaluarán y
pueden prepararse por consiguiente.
▫DDesarrollando una rúbrica y h ié d l
ll d úb i haciéndola
disponible a los alumnos les proporcionará la
ayuda necesaria para mejorar la calidad de su
trabajo y para aumentar su conocimiento.
b j i i

25. ¿Por qué utilizar las rúbricas? (cont.)
• Según Goodrich Andrade (2004):
▫ Las rúbricas , son herramientas de gran
alcance para enseñar y para avalúo.
▫ Pueden mejorar el aprovechamiento
académico de los estudiantes, así como
observar su progreso.
p g
▫ Las rúbricas son útiles por que ayudan a los
estudiantes a ser jueces sobre la calidad de sus
trabajos y de los trabajos de los otros.

26. ¿Por qué utilizar las rúbricas? (cont.)
• Las rúbricas reducen la cantidad de tiempo que
pasan los profesores en la evaluación de los
trabajos de los estudiantes.
• Las rúbricas proveen a los estudiantes una
retroalimentación continua sobre sus fortalezas
y áreas de necesidad para mejorar.

27. ¿Por qué utilizar las rúbricas? (cont.)
• Goodrich Andrade (2004):
▫ “One student actually didn’t like rubrics for
One didn t
this very reason: “If you get something wrong,”
she said, “your teacher can prove you knew
your
what you were supposed to do!” (Marcus
1995).

28. Ventajas de
V t j d usar rúbricas
úb i
• Para los profesores:
p • Para los alumnos:
▫ Pueden aumentar la ▫ Los alumnos conocen
calidad de su las expectativas del
instrucción directa profesor.
profesor
proporcionando el foco, ▫ Los alumnos pueden
el énfasis, y la atención utilizar rúbricas como
en los detalles herramienta para
particulares como desarrollar sus
modelo para los capacidades
capacidades.
alumnos.
▫ Los profesores pueden
reutilizar l rúbricas
tili las úb i
para varias actividades.

29. V
Ventajas d usar rúbricas (
j de úb i (cont.)
)
• Utilizar las rúbricas provee para que los estudiantes
entiendan qué es lo que se espera de él
él.
• Indican las expectativas para un proyecto.
▫ Con ayuda de las rúbricas los estudiantes entienden
y
que aprender es ganar habilidades específicas (en
temas académicos específicos y desarrollan
habilidades en la solución de problemas)
problemas).
• También proveen a los estudiantes la oportunidad
de hacer una autoevaluación -- para reflexionar en el
proceso de aprendizaje.

30. ¿Cómo construir rúbricas?
• Paso #1
▫ Busque modelos:
Busque los trabajos de sus estudiantes que reflejen
un buen y no-tan-buen trabajo.
Identifique las características que hacen los buenos
de los no tan buenos
no-tan-buenos.
• Paso #2
▫ Haga una lista donde enumere los criterios de
g
evaluación para el proyecto.
Utilice la discusión de los modelos para comenzar
una lista sobre los aspectos de calidad de los trabajos
asignados a sus estudiantes.

31. ¿Cómo construir rúbricas? (cont )
(cont.)
• Paso #3
▫ Cl ifi
Clasifique l grados d calidad.
los d de lid d
Describa los niveles desde el mejor hasta el peor y luego
complete los niveles medios básados en sus criterios de
calidad.
lid d
Establezca con claridad dentro de esa área o unidad un
(unos) objetivo(s) , desempeño(s), comportamiento(s),
competencia(s) o actividad(es) en los que se va a enfocar
enfocar.
Determine cuáles va a evaluar.
• Paso #4
▫ Describa lo más claramente posible, los criterios de
desempeño específicos que va a utilizar para llevar a
cabo la evaluación de esas áreas.
Estos criterios deben permitir establecer qué tanto ha
aprendido el estudiante del tema que se está trabajando.

32. ¿Cómo construir rúbricas? (cont )
(cont.)
• Paso #5
▫ Diseñe una escala de calidad para calificarlas, esto es,
establezca los niveles de desempeño que puede
alcanzar el estudiante. Estos pueden ir por ejemplo, de
excelente h t pobre.
l t hasta b
• Paso #6
▫ Someta la rúbrica a un panel de expertos para validez
de la i
d l misma.
Revise lo que ha plasmado en la rúbrica para asegurarse
de que no le falta nada.
• Paso #7
▫ Haga una prueba piloto de la rúbrica
Practique el modelo o rúbrica con sus estudiantes.
Adaptado de Gómez, Aguirre, Posso y García (2004) “Matrices de
Valoración, Rúbricas” EDUTEKA: Julio 27 de 2002.

33. Errores comunes en la construcción de Rúbricas
• Según Center for Technology in Learning (1997-
2002)
▫ No identifiquen claramente los criterios por los cuales
los estudiantes van a ser evaluados.
▫ E
Error al escoger una escala (
l l (e.g., numérico, cualitativo)
é i lit ti )
que no está bien adaptada para recoger el tipo de
información que sted necesita.
▫ Error al escoger entre una rúbrica analítica vs. una
comprensiva.
Por ejemplo, eligiendo una rúbrica comprensiva cuando
usted desea recoger la información de avalúo sobre un
número de habilidades y de comportamientos específicos
de pensamiento crítico.
▫ No id ifi l los á d
identificar claramente l estándares l excelencia,
la l i
o los criterios, para cada nivel de evaluación.

34. Otras consideraciones
• EDUTEKA (2004) recomienda que una vez
clarificado los pasos anteriores comience a
construir la rúbrica teniendo en cuenta lo
siguiente:
▫ La escala de calidad para calificar los diversos aspectos
a evaluar, se ubica en la fila horizontal superior, con
una gradación que vaya de mejor a peorpeor.
▫ En la primera columna vertical se ubican los aspectos
o elementos que se han seleccionado para evaluar.

35. Otras consideraciones (cont.)
( )
• EDUTEKA (2004) recomienda:
( 4)
▫ Que en las celdas centrales es donde se describe de la
forma más clara y concisa de los posibles criterios que
se van a utilizar para evaluar distintos aspectos del
proyecto.
▫ Recuerde que las estas celdas centrales explican cuáles
son las características de un trabajo excelente, de uno
malo y las variaciones intermedias entre el uno y el
otro.
otro

36. Gómez, Aguirre
Gómez Aguirre, Posso y García (2004) “Matrices de Valoración,
Matrices Valoración
Rúbricas” EDUTEKA: Julio 27 de 2002.

37. CRÉDITOS:
Matriz de Valoración diseñada y usada por la profesora Maria del Pilar Aguirre en la
Clase de Español, para el grado duodécimo, del Colegio Bolívar, Cali, Colombia.
Fecha de publicación en EDUTEKA: Julio 27 de 2002.
Fecha de la última actualización: Julio 27 de 2002.

38. Programas de computadoras para construir rúbricas
• http://www.teach-nology.com/web_tools/rubrics/
http://landmark-project.com/classweb/tools/rubric_builder.php3
http://www.rubrics.com/rubricator/index.html
p

41. Rubricator

42. Rubistar
• http://rubistar.4teachers.org/index.php

43. Ejercicio de Práctica

44. Instrucciones
• Seleccione un compañero de trabajo para crear la
rúbrica.
b
• Seleccione un criterio, una competencia, o un
objetivo que usted desea evaluar en los trabajos de
sus estudiantes.
▫ Ejemplo;
Evaluación de una página de web por sus estudiantes
utilizando la técnica de resolver problemas (problem
solving approach).
Un proyecto de colaboración entre grupos para
desarrollar un video instruccional.
• Busque el website de
http://rubistar.4teachers.org/index.php
http://rubistar 4teachers org/index php
• Prepare la rúbrica.

45. Rubistar
• http://rubistar.4teachers.org/index.php

46. Rubistar

47. Otros enlaces
• http://www.cyberbee.com/content.pdf
• http://www.cyberbee.com/design.pdf
• http://www.essdack.org/tips/webpagerub
ric.html
i ht l
• http://ts.mivu.org/default.asp?show=artic
le&id=795

48. Preguntas
http://www.digitaleducationtechnology.com