Taller realizado en octubre del 2012.

1. Taller de Diseño y Análisis
de Pruebas Objetivas
Medición y construcción de
instrumentos
Alberto Torreblanca V.

2. El proceso de evaluación
Elegir una escala y un instrumento de medición
acorde con la escala
Comparar a los miembros de una población con
respecto a la escala
Ordenar y ubicar a los elementos de la población
Emitir juicios valorativos de la población
y de sus elementos
Emitir juicios valorativos respecto de la escala
Elegida y al instrumento

3. Forma parte de un proceso mayor
“Para una selección justa todos
tendrán que tomar el mismo
examen. Por favor trepen el
árbol”

4. Conceptos preliminares
“Las pruebas son instrumentos de
Medición. Por lo tanto deben de
Satisfacer los mismos requisitos
que otros instrumentos.”

5. Conceptos preliminares
“La medición debe de ser completa
para el propósito que se desea, debe
Conocerse su objetivo y alcance”

6. Conceptos preliminares
● Calibración
● Precisión
● Error

7. Conceptos preliminares
Ya que no existen un
análogo al sistema
a nivel continente.
Para el desarrollo de
instrumentos de
medición se siguen y
establecen
estándares.

8. Requisitos de un instrumento de
medición
OB
EZ JE
LI D TIV
VA ID
AD
CON
FIAB
IL IDAD

9. Validez
● El instrumento mide lo que se pretende medir.
● Se cuenta con evidencias que justifiquen las
decisiones que se tomen con el instrumento.

10. Objetividad
● El instrumento debe ser independiente del
objeto a medir.
● No debe haber diferencias de apreciación
entre dos evaluadores o entre el evaluador y
el evaluado.

11. Confiabilidad
● El instrumento debe permitir medidas dentro
del orden de error considerado en el diseño.
● Las medidas deben ser suficientemente
precisas, de acuerdo con el diseño.
● El instrumento permite obtener medidas
repetitivas, cuyos resultados sean similares,
dentro del orden de error considerado.

12. Interrogantes y premisas a tener
en cuenta

13. ¿Para que evaluamos?
• Diagnosticar, tener evidencia de la situación
actual.
• Monitorear, acompañar el desarrollo del
objeto de estudio.
• Corregir, retroalimentar.

14. ¿Qué evaluamos?
●
Aprendizajes de los alumnos
●
Desempeño de docentes
●
Gestión de los directores
●
Eficacia de la capacitación

15. ¿Qué necesitamos?
●
Instrumento
●
Referencias
●
Emitir juicios

16. Fundamentos de la medición
●
La idea de medición comienza con la idea de una
variable o línea en la que los objetos pueden
ubicarse.
●
Los objetos de las mediciones que realizamos son
algunas dimensiones de las personas, alumnos
(individuos).
●
La construcción de la variables requiere de una
relación sistemática y reproducible entre el
instrumentos y los individuos.

17. Requerimientos básicos para la medición
●
La reducción de la dimensión a medir a una
abstracción unidimensional.
●
La idea de magnitud lineal inherente a la posición de
los objetos en la línea.
●
Determinar unidades que pueden ser repetidas sin
modificaciones a través del rango de la variable
definida.
●
Es decir, hacer posible la comparación cuantitativa
(más o menos de la dimensión).

18. ¿Qué vamos a medir?
Ítem Ítem Ítem Ítem
Desempeño en lectura

21. Medición Ideal
Juan Pedro José
Menor Habilidad Matemática Mayor
habilidad Habilidad Matemática habilidad

22. ¿ Cómo realizamos nuestras
evaluaciones ?

23. Evaluación objetiva tradicional
Selección de
Selección de
Selección de
Selección de preguntas
preguntas
objetivos
objetivos Instrumento
Instrumento
Especificaciones
Especificaciones Validación por
Validación por Resultados e
Resultados e
de la
de la expertos
expertos Informes
Informes
evaluación
evaluación
Construcción de
Construcción de Aplicación de
Aplicación de
preguntas
preguntas los instrumentos
los instrumentos

24. IDEZ
VAL ✔ Determinación de objetivos
✔ Tablas de validez de
contenido
✗ Validez predictiva -
retrospectiva
✗ Validez concurrente
✗ Validez de constructo

25. IDEZ
VAL ✔ Determinación de objetivos
✔ Tablas de validez de
contenido
✗ Validez predictiva -
retrospectiva
✗ Validez concurrente
✗ Validez de constructo

26. OB
JE
TIV
ID
✔ Uso de ítemes objetivos AD
✔ Guías de calificación
✗ Establecer escalas
✗ Instrumentos equivalentes
✗ Establecimiento de cortes

27. ✔ Análisis de ítemes
✔ Consistencia interna (Alfa)
✔ Error experimental
✗ Piloto de preguntas
✗ Error de diseño
✗ Bancos de ítemes
CON
FIAB
ILIDA
D

28. Comparando dos pruebas
PRUEBA 2011 13
4 6 12 15
1 2 3 5 7 8 9 10 11 14
1 3 4 5 8 9 11 13 14
2 6 10 12 15
7
PRUEBA 2012

29. Ejecución de pruebas piloto
Banco de preguntas

30. Banco de Preguntas
Variable - Constructo

31. IDEZ
VAL ✔ Determinación de objetivos
✔ Tablas de validez de
contenido
✔ Validez predictiva -
retrospectiva
✔ Validez concurrente
✔ Validez de constructo

32. Banco de Preguntas
A A A A C C C C C
B B B B
C C C C C
Variable - Constructo

33. OB
JE
TIV
ID
✔ Uso de ítemes objetivos AD
✔ Guías de calificación
✔ Establecer escalas
✔ Instrumentos equivalentes
✔ Establecimiento de cortes

34. Banco de Preguntas
CORTE
A A A A A A A
B B B B B B B
C C C C C C C
100 300 500 700 900
Definición de la escala

35. ✔ Análisis de ítemes
✔ Consistencia interna (Alfa)
✔ Error experimental
✔ Piloto de preguntas
✔ Error de diseño
✔ Bancos de ítemes
CON
FIAB
ILIDA
D

36. Banco de Preguntas
B B B B B B B B
20 35 50 65 80
Error de diseño
Número mínimo
6 9 16 23 51 76 99
de ítems
Error en % 20 15 10 8 5 4 3.5

37. Proceso de elaboración de ítems
Diseño Operativo piloto -
aprobación
Revisión
Banco de
ítems
Validación

38. Proceso de elaboración de pruebas
Objetivos / TVC
Diseño
Selección de ítems
Validación de
instrumento

39. Proceso de elaboración de pruebas
Aplicación
Análisis
Informes y reportes

40. Gracias
Alberto Torreblanca Villavicencio
alberto@e-ducate.pe
Elaborado especialmente para los Talleres
Regionales – DGDD – MINEDU 2012