Diapositivas de apoyo al estudio de la segunda parte del Tema 2 ("Características Técnicas de los Instrumentos de Medida") de la asignatura "Técnicas e Instrumentos para la Recogida de Información" (Grado en Pedagogía, UNED)

1. TÉCNICAS E INSTRUMENTOS PARA LA
RECOGIDA DE INFORMACIÓN
Tema 2: Características técnicas de los instrumentos de medida
(Parte II)
Asignatura Obligatoria (OB) de 2º curso
Grado en Pedagogía

2. Comprender la utilidad de la medición en educación
Saber calcular la dificultad, discriminación/homogeneidad y análisis
de los distractores de un ítem; y fiabilidad y validez de un test
Saber calcular la unidimensionalidad de un test
Diferenciar la TCT de la TRI
Calcular los parámetros de un ítem desde laTRI
Interpretar la información de los parámetros y características de un
ítem desde la TRI
Objetivos
Tema 2 – Características técnicas de los instrumentos de medida

3. Características técnicas de los instrumentos de medida
Tema 2 – Características técnicas de los instrumentos de medida
Hablaremos de las características técnicas de los
instrumentos de medida, sobre todo en lo referente a
los ítems que los componen
Teoría Clásica de los
Test (TCT)
Los resultados
dependen de la
muestra elegida
Los resultados
se expresan en
relación al grupo
normativo
Teoría de Respuesta al
Ítem (TRI)
Los resultados
son invariantes a
la muestra
elegida
Pero exige un
importante
tamaño de
muestra (n>300)

4. Teoría de Respuesta al Ítem (TRI)
Tema 2 – Características técnicas de los instrumentos de medida
“La Teoría de Respuesta al Ítem (TRI) intenta brindar
una fundamentación probabilística al problema de medir
constructos latentes (no observables) y considera al ítem
como unidad básica de medición (…)
(…) La puntuación de una prueba en el modelo clásico
(TCT) estima el nivel de un atributo (aptitud, rasgo de
personalidad, interés, etc…) como la sumatoria de
respuestas a ítems individuales, mientras que la TRI se
centra exclusivamente en el ítem”

5. Teoría Clásica de losTest (TCT) vs.Teoría de Respuesta al Ítem (TRI)
Tanto la TCT como la TRI abordan el mismo problema:
tratar de calcular el error cometido al medir variables de
naturaleza psicopedagógica, pero…
TCT
• PuntajeVerdadero (V)
• Lineal  X=V+e
• Las características métricas
(fiabilidad y validez) son del
test en su conjunto, y están
referidas al grupo
normativo.
• A posteriori.
TRI
• Aptitud (θ)
• Exponencial
• Las características métricas
son de cada ítem, y son
invariantes a la muestra
elegida. Basta comprobar el
ajuste al modelo con una
muestra grande (n>300).
• A priori.

6. Supuestos y Postulados de laTRI
Tema 2 – Características técnicas de los instrumentos de medida
• La respuesta al ítem está determinada
exclusivamente por una variable,
denominada rasgo latente (modelos
unidimensionales)
Unidimensionalidad
• La probabilidad de responder
correctamente a un ítem es
independiente de la probabilidad de
responder a otro cualquiera.
Independencia Local

7. Supuestos y Postulados de laTRI
Tema 2 – Características técnicas de los instrumentos de medida
Postulados
básicos de
laTRI
El resultado de un individuo en un ítem es
explicado por un rasgo latente o aptitud
(θ).
A medida que la aptitud (θ) aumenta,
también aumenta la probabilidad (P) de
responder correctamente el ítem.
La función que relaciona ambas cosas P(θ)
se llama función característica del ítem o
curva característica del ítem (CCI).
P(θ) es una función monótona creciente.

8. Modelos desde laTRI
Tema 2 – Características técnicas de los instrumentos de medida
Nos centraremos en los modelos donde la CCI obedece a una función logística
En concreto veremos el modelo de Rasch de 1, 2 y 3 parámetros

9. Modelo de Rasch de 1 parámetro
Tema 2 – Características técnicas de los instrumentos de medida
El parámetro θ se expresa estandarizado (media 0, desviación 1), y su recorrido
fundamental va desde -3 a +3.
El parámetro b viene expresado en la misma escala que θ, y en este modelo el
valor de b se corresponde al valor de θ para el cual P(θ) = 0,5.

10. Modelo de Rasch de 1 parámetro
Tema 2 – Características técnicas de los instrumentos de medida
b=0
Ejercicio 1. Supuesto un modeloTRI de Rasch de un solo parámetro, y dado un
ítem con b=0. ¿Cuál es la probabilidad de acertar dicho ítem para un sujeto con
una aptitud θ = -1? ¿Y con θ = 0? ¿Y con θ = 2? [Tomamos D=1,7]

11. Modelo de Rasch de 1 parámetro
Tema 2 – Características técnicas de los instrumentos de medida
Ejercicio 2. Supuesto un modeloTRI de Rasch de un solo parámetro. La CCI de
la izquierda corresponde al “ítem 1”, y la CCI de la derecha corresponde al “ítem
2”. ¿Cuál de los dos ítems tiene un mayor índice de dificultad?

12. Modelo de Rasch de 2 parámetros
Tema 2 – Características técnicas de los instrumentos de medida
a = índice de discriminación del ítem
b=0,75 a=0,4 b=0,75 a=2,4

13. Modelo de Rasch de 2 parámetros
Tema 2 – Características técnicas de los instrumentos de medida
b=0,75 a=0,4 b=0,75 a=2,4
Ejercicio 3. Supuesto un modeloTRI de Rasch de dos
parámetros. Para un sujeto con un nivel de aptitud θ = 1 ¿Cuál
es la probabilidad de acertar el ítem de la izquierda? ¿Y el ítem
de la derecha? [Tomamos D=1,7]

14. Modelo de Rasch de 3 parámetros
Tema 2 – Características técnicas de los instrumentos de medida
En este modelo se añade el parámetro “c”, que
representa la probabilidad de acertar el ítem por azar, es
decir la probabilidad que tienen de acertar el ítem sujetos
con θ −∞

15. Modelo de Rasch de 3 parámetros
Tema 2 – Características técnicas de los instrumentos de medida
Ejercicio 4. ¿Cuál de los tres ítems cuyas CCI se
representan tiene una mayor probabilidad de ser
acertado por azar?
Ítem A
Ítem B
Ítem C

16. Modelo de Rasch de 3 parámetros
Tema 2 – Características técnicas de los instrumentos de medida
Ejercicio 5. Supuesto un modeloTRI de tres
parámetros. Dado un sujeto con un nivel de aptitud θ=0,
¿cuál es su probabilidad de acertar un ítem si a=1,5;
b=0,5; y c=0,1? ¿y si “c” se eleva hasta c=0,3?
[Tomamos D=1,7]

17. Calibración y Ajuste al ModeloTRI
Tema 2 – Características técnicas de los instrumentos de medida
Al proceso de estimación de los parámetros de los modelos TRI se
le denomina calibración, y necesita de muestras muy grandes
(n>300).
Para realizar el proceso de calibración:
1. Se debe optar por un modelo determinado (p.e., Rasch de 1, 2 ó
3 parámetros).
2. Se deben estimar los parámetros correspondientes a cada ítem
(se hace por procedimientos informático-matemáticos complejos,
que quedan fuera de la asignatura).
3. Calcular-confirmar la precisión de dichas estimaciones mediante,
por ejemplo, la bondad de ajuste de las curvas CCI construidas a
los datos.

18. Calibración y Ajuste al ModeloTRI
Tema 2 – Características técnicas de los instrumentos de medida
RE = Residuos estandarizados
Conforme RE aumente peor será el ajuste de las curvas a los datos.
Normalmente se fija un valor máximo de RE = 1,96 a partir del
cual se rechazaría el ajuste y, por tanto, la CCI construida

19. Calibración y Ajuste al ModeloTRI
Tema 2 – Características técnicas de los instrumentos de medida
Ejercicio 6 (p. 79-80 del libro)
En la tabla adjunta se muestran los resultados de 60
escolares en un ítem de comprensión lectora.
Los resultados se han agrupado en 6 intervalos según
su puntuación en la variable latente θ.
Los parámetros estimados para un modelo logístico
de tres parámetros fueron: a=0,5; b=0,6; c=0,1
[Se considera D=1,7].
Se toma criterio de ajuste que ningún residuo
estandarizado supere en valor absoluto a 1,96.
¿Se ajusta el modelo construido del ítem a los datos
recogidos?

20. Aplicaciones de laTRI
Tema 2 – Características técnicas de los instrumentos de medida
• Construcción de conjuntos de ítems de
propiedades métricas conocidas.
• Luego escoges los ítems en función de tu
objetivo de medición (p.e., evaluación de
aprendizajes, selección de personal, detección
de altas capacidades…)
Bancos de
ítems
• Se adaptan al nivel de aptitud del sujeto.
• Maximizan la precisión de la información que
da el test sobre el sujeto (minimizan el error).
• Dicho de otra manera, pueden conseguir la
misma precisión que otros test no adaptativos,
pero a través de un menor número de ítems.
Test
adaptativos