Recomendaciones para elaborar y calificar reactivos de respuestas medición y evaluación del aprendizaje. Tarea para la clase de Medición y evaluación del aprendizaje con el maestro Isaac Ortega, de lunes y miércoles de 12:00 a 2:00 pm

1. Thomas P. Hogan y Gavin Murphy
Elaborado por: Acevedo Guillermo, Ávila Israel, Barrera
Karina, Salas Stephanie y Schiavón Arcelia.
Recomendaciones para elaborar y
calificar reactivos de respuestas
construidas: lo que los expertos dicen

2. Reactivo de seleccionar respuesta (SR):
 Respuestas alternativas
 Reactivos de opción múltiple (verdadero/falso-
relacionar)
Reactivo de respuesta construida (CR):
 El individuo tiene que “construir” una respuesta

3.  También conocidos como “preguntas abierta.”
 La antigua literatura en psicometría le hacía
referencia como “ensayos.”
 En las SR las recomendaciones van dirigidas a la
preparación del reactivo, mientras que CR va más
dirigido hacía la naturaleza del reactivo.

4.  Tratar de no hacer recomendaciones demasiado
generales
 Separar recomendaciones que hayan sido
puestas juntas y viceversa
 Categorizar las recomendaciones correctamente
 Solo recomendaciones que estuvieran en
diferentes referencias

5. Recommendation Frequency
1. Cover logistics: time limit, page limit, point value. 20
2. Avoid using optional items. 17
3. Define question/task clearly. 16
4. Relate to instructional objective(s), test blueprint. 16
5. Construct rubric or ideal answer. 8
6. Use appropriate number of items.
a. Use more items, less time per item. 8
b. Use fewer items, more time per item. 3
7. Test for complex processes (not mere recall). 7
8. Consider recommended words for questions. 6
9. Construct items at appropriate level. 6
10. Have questions reviewed by someone or pretest. 6
11. Look for evidence (on opinion questions). 4
12. Identify mental processes required. 3

6. 1. Se debe tomar en cuenta
el valor que se le dará al
reactivo, el tiempo para
responderlo y el espacio
2. Evita poner elementos
opcionales
3. Define la tarea o la pregunta
claramente

7. 4. Relaciona con objetivos de
las instrucciones
5. Construye una rubrica o
respuesta ideal
6. Usa el número
apropiado de reactivos
+ Reactivos = - Tiempo por
reactivo
- Reactivos = + Tiempo por
reactivo
7. Usar para calificar procesos
de pensamientos más
complejos
8. Usa palabras especificas,
menciona o enlista, al
escribir los reactivos

8.  Recomendación 9: Enfatiza preguntas de redacción
o tareas en un nivel apropiado para el público
objetivo. Declaraciones codificadas bajo esta
recomendación, a menudo hacen referencia a
niveles de lectura de reactivos de respuesta
construida.
 Recomendación 10: Revisar si el reactivo es claro
por cualquier método. Algunas fuentes sugieren que
otra persona revise la pregunta.

9.  Recomendación 11: Buscar evidencia. Sólo aplica
en los reactivos basados en opinión o temas
controversiales. La recomendación enfatiza observar
cómo el que responde usa la evidencia sobre su
posición específica del tema.
 Recomendación 12: Identificar los
procesos mentales requeridos. Se hace una
recomendación separada de la 4, debido a que,
igual que la 7, ambas recomendaciones asumen una
distinción en los tipos de procesos mentales
provocados por diferentes tipos de reactivos.

10.  Recomendación 1: calificar respuestas anónimas.
 Recomendación 2: calificar reactivos uno a la
vez.
 Recomendación 3: usar una rúbrica para calificar
o respuesta ideal.
 Recomendación 4: separar los mecanismos de
lectura (deletreo y gramática) para demostrar
conocimiento.

11.  Recomendación 5: utilizar un segundo lector. Cuando
se aplican pruebas a un publico muy amplio.
 Recomendación 6: Pensar en varias opciones de
métodos para calificar.. Pensar cuidadosamente cuál
es el mejor método para calificar el reactivo de
respuesta construida.
 Recomendación 7: Use técnicas que le ayuden a
asegurar la consistencia.

12.  Recomendación 6: sugiere tener retroalimentación,
por ejemplo, escribiendo comentarios y no sólo
poner la respuesta final.
 Recomendación 9: calificar todas las respuestas de
un reactivo en una vez.
 Recomendación 10: reorganizar el orden de los
papeles.
 Recomendación 11: Lea la muestra antes de calificar
todo.
 Recomendación 12: establecer estándares de
desempeño realistas.
 Recomendación 13: usar revisiones post-test.

13.  Evitar los reactivos basados en opinión.
 Hacer todos los reactivos independientemente.
 Usar una guía.
 Ordenar los reactivos de respuesta construida en
orden de dificultad.

14.  Aunque si son homogéneos en cierto aspecto los
reactivos de RC existen muchas variedades de
los mismos:
 Ensayos, producciones artísticas, exámenes orales
individuales, proyectos científicos, etc.

15. Bennett (1993) se refiere a
las categoría de RC como
una “clasificación
superordenada” para
enfatizar su
heterogeneidad.
Los reactivos de RC no
cuentan con una
recomendación general
para crearlos, sino que cada
uno tiene recomendaciones
específicas.

16.  Muchas veces parece que va dirigido a tres
grandes grupos: Profesores de aulas, personas
que evalúen en grandes escalas y expertos en
medición.
 Sin embargo estas recomendaciones van
dirigidas a cualquier tipo de audiencia potencial.

17.  Estas recomendaciones son hechas
principalmente para el trabajo en aulas.
 Sugerencias relacionadas en trabajos a grandes
escalas seguramente tendrían algunas
consideraciones importantes.

18. A. Prepare los reactivos de RC para ayudar a
asegurar la validez de la evaluación , es decir , para
que la evaluación llegue a lo que se quiere evaluar .
Algunas sugerencias para ayudar a garantizar la
validez :
 Cada elemento o tarea de RC deberían surgir
directamente de los objetivos de la instrucción , que
se pueden resumir en la forma de un modelo de
prueba , un conjunto de especificaciones de prueba,
o los estándares de contenido .

19.  Identificar los objetivos que son
especialmente apropiados para los reactivos
de RC, es decir, los que no son evaluados de
manera adecuados/mente con SR artículos.
Buscar más complejidad o procesos de nivel
superior.
 Una dificultad común con los reactivos de RC
es que la tarea no está suficientemente clara
para los examinados. Para ayudar a clarificar
la tarea:
A) Formular cuidadosamente la redacción de cada tema con
el fin de centrarse en la respuesta deseada.
B) Proporcionar directrices logísticas (por ejemplo, límites
de tiempo , valores puntuales)
.
C) Asegúrese de que la redacción es apropiada para los
examinandos.
D) Puede ser útil contar con un ayudante para leer los
artículos con claridad.

20. B. Preparar los reactivos de RC para ayudar a maximizar la
fiabilidad de la puntuación después de los reactivos. Sugerencias
para garantizar la fiabilidad:
 Evitar el uso de reactivos opcionales. Esto permite la
comparabilidad entre las respuestas de los examinados. .
 En el momento de la preparación de un reactivo de RC ,
especificar cómo serán calificadas . Para ello es necesario pensar
primero en una adecuada estrategia de puntuación y luego
especificar exactamente cómo la estrategia elegida será aplicada,
resultando a menudo en lo que se llama un modelo de puntuación
.
 Por lo general, es preferible utilizar más reactivos que lleve
menos tiempo contestar en lugar de un menor número de
reactivos con más tiempo dedicado a cada uno.

21. A. Use procedimientos de puntuación que aseguren la
validez y la exactitud de la proceso de puntuación.
Sugerencias para ayudar a garantizar la validez y
equidad:
 Calificar los reactivos sin saber la identidad del
examinado. Mezclar los papeles para no calificar en el
mismo orden y que sea un solo reactivo el que se
califique.
 Use un modelo de puntuación que se concentra en el
objetivo de la evaluación.
 No permita que los factores externos influyan en las

22. B. Use procedimientos de puntuación que
maximicen la fiabilidad del resultado de
puntajes.
 Use un modelo de puntuación, es decir, un
procedimiento claramente definido para la
puntuación. Consulte periódicamente la
rúbrica de calificaciones y / o re-califique
reactivos anteriores para garantizar que se
está calificando correctamente.
 Cuando se califican muchos reactivos por un
solo examinado y son muchos examinados
es preferible calificar un mismo reactivo para
todos los examinados.
 Cuando el puntaje de un reactivo de RC es
particularmente importante use diferentes
recursos de información por ejemplo

23. a) Hay preguntas acerca de cuales recomendaciones
afectan la calidad psicométrica de las mediciones. Por
ejemplo ¿Si hace alguna diferencia, ya sea para la
fiabilidad o validez, si los reactivos de RC sean
calificados de manera anónima o uno a la vez?
b) En relación con las recomendaciones acerca de la
simplicidad de redacción y de la influencia de las
variables irrelevantes como habilidad de la escritura,
varios estudios han examinado interacciones de tipo
de reactivo con el nivel de habilidad y con el género.
c) A propósito de las recomendaciones sobre el uso de
reactivos de RC para aprovechar los procesos
mentales complejos existe considerable investigación
que se ha dirigido a la cuestión de la medida en que
reactivos de RC y RS aprovechan diferentes procesos
mentales, pero la pregunta sigue siendo uno de
disputa interminable. Para otras recomendaciones, la
investigación es escasa o inexistente.

24.  Un segundo tipo de investigación se
relaciona con las prácticas normales
de maestros con respecto a las
recomendaciones para los reactivos
de RC. Aunque las prácticas
normales para aplicaciones a gran
escala de reactivos de RC son bien
conocidos, se sabe poco sobre la
aplicación por maestros de aula.
 Por ejemplo, ¿los profesores califican
de manera anónima los reactivos de
RC? ¿Al calificar varios reactivos lo
hacen uno a la vez? ¿Los profesores
preparan un modelo de puntuación
de antemano?
 Standards for Teacher Competence
in Educational Assessment of
Students