Modelo de utilidad de la prueba y cualidades de las pruebas.

1. Utilidad de la prueba:
cualidades de las pruebas
ID7756 Evaluación del Aprendizaje de Idiomas
Enero-Marzo 2014
Prof. Yris Casart
ycasart@usb.ve

2. Objetivos de la sesión
• Presentar y discutir el modelo de utilidad de la
prueba propuesto por Bachman y Palmer (1996).
• Revisar los principios del modelo de utilidad de
la prueba.
• Analizar las nociones de confiabilidad, validez de
constructo, autenticidad, interactividad,
impacto, practicidad y otras.
• Examinar una situación de evaluación tomando
en cuenta las cualidades de las pruebas.

3. Modelo de utilidad de la prueba
Herramienta de control de calidad de las pruebas.
“La cualidad más importante de una prueba es su
utilidad” (p. 17). Es el aspecto más importante a
considerar durante el proceso de diseño, desarrollo
y administración de las pruebas.
El modelo consta de seis cualidades y tres
principios básicos para su implementación.
(Bachman y Palmer, 1996)

4. Considerando…
1) que cada una de las cualidades contribuye a la
utilidad de la prueba de una manera particular.
2) que existe una interrelación entre las cualidades
de la prueba.
3) que la utilidad es producto del efecto
combinado de las cualidades.
(Bachman y Palmer, 1996)

5. Principios fundamentales
1) Se debe maximizar la utilidad, no las
cualidades.
2) Se debe evaluar el efecto combinado de las
cualidades sobre la utilidad.
3) Se debe determinar el balance adecuado para
cada situación. La utilidad debe ser evaluada
con relación a una situación concreta.
(Bachman y Palmer, 1996)

6. •Confiabilidad
•Validez de constructo
•Autenticidad
•Interactividad
•Impacto
•Practicidad
(Bachman y Palmer, 1996)

7. Confiabilidad
• Consistencia de la medición (de las
puntuaciones de la prueba).
• Si la medición no es consistente, no nos da
información sobre la habilidad que deseamos
medir.
• Debemos tratar de minimizar los efectos de las
diferentes fuentes de inconsistencia.
• Debemos evaluar el efecto de las variaciones en
las puntuaciones. (Bachman y Palmer, 1996)

8. Validez de constructo
• En qué medida podemos interpretar las
calificaciones como indicadores del constructo
(habilidad) que queremos medir.
• La posibilidad de que nuestras interpretaciones
acerca de las habilidades se puedan generalizar
más allá de la prueba en el ámbito de uso de la
lengua objeto (TLU domain)
• La validación del constructo es un proceso cuyo
propósito es demostrar la validez de nuestras
interpretaciones. (Bachman y Palmer, 1996)

9. Autenticidad
• Grado de correspondencia entre las
características de las tareas de la prueba y las de
las tareas en el ámbito de uso de la lengua objeto.
• Está muy ligada a la noción de validez de
constructo puesto que permite investigar en qué
medida las calificaciones pueden generalizarse al
ámbito de uso de la lengua objeto.
• Incide sobre la percepción de los evaluandos y
puede promover una respuesta afectiva positiva o
negativa. (Bachman y Palmer, 1996)

10. Interactividad
• En qué medida las características individuales
del evaluando están involucradas durante la
realización de las tareas de la prueba.
• Es preciso que haya una interacción con el
conocimiento del idioma del evaluando para
poder hacer inferencias sobre su habilidad. De
allí su relación con la validez de constructo.
• Al igual que la autenticidad, es una cualidad
relativa, solo puede ser estimada.
(Bachman y Palmer, 1996)

11. Autenticidad, interactividad y
validez de constructo
“Authenticity,
interactiveness and
construct validity all
depend upon how we
define the construct
‘language ability’.”
(Bachman y Palmer, 1996)

12. Impacto
• Las consecuencias que tiene para los individuos,
la sociedad y el sistema educativo el uso de las
pruebas y el uso de las calificaciones.
• Al desarrollar un instrumento debemos estar
conscientes de que tendrá un impacto, pero
además debemos investigar en qué medida, en
qué dirección (positiva o negativa) y sobre cuáles
áreas específicas incide.
(Bachman y Palmer, 1996)

13. Practicidad
• “Relación entre los recursos requeridos para el
diseño, desarrollo y uso de la prueba y los
recursos disponibles para estas actividades” (p.
36).
• Tipos de recursos: humanos, materiales, tiempo.
• Solo puede determinarse en relación con el
contexto específico, pero hay ciertas pruebas y
tareas que requieren más o menos recursos en
las diferentes etapas de su diseño y uso.
Bachman y Palmer (1996)

14. Cualidades de la información
Aspectos técnicos
• Confiabilidad
• Validez
o Relevancia de
contenido
o Correspondencia de
criterio
o Validez de constructo
“Asuntos adicionales”
• Practicidad
o Costo
o Tiempo (clase)
o Tiempo (corrección e
interpretación de
resultados)
o Perfil del
administrador
(Genesee y Upshur, 1996) o Aceptabilidad

15. Confiabilidad
Validez
Autenticidad
Practicidad
Washback
Transparencia
Seguridad
(Coombe, Folse y Hubley, 2007)

16. Transparencia
Información clara y precisa de que disponen los
estudiantes acerca de la evaluación. Debe incluir:
•Contenido y formato.
•Tiempo disponible, fecha tope.
•Que deben hacer para lograr buenos resultados.
•Ponderación de las preguntas
•Criterios de evaluación.
•Feedback útil para mejorar
(Coombe, Folse y Hubley, 2007)

17. Seguridad
Adopción de medidas para evitar que los
estudiantes se copien o que se filtre información
sobre la prueba.
No se trata de un asunto que concierne solamente
a pruebas a gran escala. Desarrollar pruebas útiles
consume tiempo y energía, por lo tanto es deseable
poder reutilizar pruebas y otros materiales.
(Coombe, Folse y Hubley, 2007)

18. Conclusiones
•El modelo de utilidad de la prueba propuesto por
Bachman y Palmer (1996) ofrece consideraciones
útiles para el diseño, adaptación, implementación,
evaluación de pruebas que cumplan con el
propósito para el que fueron desarrollados.
•Manejar los conceptos discutidos puede
contribuir a mejorar significativamente las
pruebas que realizamos, puesto que nos permiten
adoptar un enfoque sistemático y práctico.

19. Actividad 1: Estudio de caso
Lea la información acerca de la prueba
administrada por la Sra. Wright y el Sr. Knott y
trate de identificar sus errores con relación a los
fundamentos (cornerstones) de las pruebas.
¿Cómo se podrían resolver esos problemas? En un
cuadro como el que se presenta a continuación,
señale por lo menos 5 problemas.
Cornerstone Problema Posible Solución
Christine Coombe - Dubai Men's College - July 2013

20. Referencias
Bachman, L. and Palmer, A. (1996). Language Testing
in Practice: Designing and Developing Useful
Language Tests. Oxford, UK: Oxford University
Press.
Coombe, C., Folse. K, & Hubley, N. (2007). A Practical
Guide to Assessing English Language Learners.
Ann Arbor, MI: University of Michigan Press.
Genesee, F. and Upshur, J. (1996). Classroom-Based
Evaluations in Second Language Education.
Cambridge, U.K.: Cambridge University Press.