El documento presenta el modelo de utilidad de la prueba propuesto por Bachman y Palmer, el cual considera seis cualidades clave (confiabilidad, validez de constructo, autenticidad, interactividad, impacto y practicidad) que contribuyen a la utilidad de una prueba. Explica cada una de estas cualidades y tres principios fundamentales para maximizar la utilidad al diseñar y aplicar pruebas. Finalmente, propone un ejercicio para identificar problemas en el diseño de una prueba y cómo resolverlos considerando estas cualidades.
From the CALPER/LARC Testing and Assessment Webinar Series
Download the handouts and ppt: https://larc.sdsu.edu/archived-events/
View the recording: http://vimeo.com/61062729
Presentation Abstract:
How many of us have studied a language and then found ourselves unable to perform even the most basic daily tasks in the language? Integrating performance assessment into world language curricula is one way to minimize the likelihood of such an outcome. This webinar explores the purposes and uses for performance assessment in world language classrooms. Many language instructors and learners want to know the extent to which an assessment can capture how well a student will be able to complete real-life tasks when using the target language (Bachman & Palmer, 1996; Stoynoff & Chapelle, 2005). The webinar will begin with a description of performance assessment, how it aligns with learning and teaching purposes, and its uses for the classroom. Next, we will explore how to integrate performance assessment into language classrooms, including developing tasks and rubrics that will support such activities (Norris et al, 2008). During this part, we will examine one or more typical performance assessment tasks, and we will discuss how to adapt them to your needs. Finally, we will discuss the logistics of performance assessment and brainstorm ways to integrate meaningful performance assessment within the constraints of available resources.
Webinar Date: May 5, 2011
From the CALPER/LARC Testing and Assessment Webinar Series
Download the handouts and ppt: https://larc.sdsu.edu/archived-events/
View the recording: http://vimeo.com/61062729
Presentation Abstract:
How many of us have studied a language and then found ourselves unable to perform even the most basic daily tasks in the language? Integrating performance assessment into world language curricula is one way to minimize the likelihood of such an outcome. This webinar explores the purposes and uses for performance assessment in world language classrooms. Many language instructors and learners want to know the extent to which an assessment can capture how well a student will be able to complete real-life tasks when using the target language (Bachman & Palmer, 1996; Stoynoff & Chapelle, 2005). The webinar will begin with a description of performance assessment, how it aligns with learning and teaching purposes, and its uses for the classroom. Next, we will explore how to integrate performance assessment into language classrooms, including developing tasks and rubrics that will support such activities (Norris et al, 2008). During this part, we will examine one or more typical performance assessment tasks, and we will discuss how to adapt them to your needs. Finally, we will discuss the logistics of performance assessment and brainstorm ways to integrate meaningful performance assessment within the constraints of available resources.
Webinar Date: May 5, 2011
Socialmailer è la risposta alla nuova esigenza di veicolare un messaggio attraverso tutti i canali di comunicazione web 2.0 e raggiungere con campagne mirate e professionali un numero elevatissimo di contatti.
Coinvolgere il cliente è la chiave del successo.
Una delle attività più importanti della tua impresa è comunicare con il mercato. Spesso il problema non è il cosa ma il come comunicare per raggiungere i tuoi clienti, quelli acquisiti e soprattutto quelli potenziali.
Oggi la tecnologia ci mette a disposizione molti strumenti di comunicazione: telefono, sms, instant messenger, email, social network. Sono disponibili così tanti veicoli che rischiamo di non utilizzarli al meglio per coinvolgere i nostri interlocutori.
Socialmailer soddisfa la necessità di inviare un messaggio attraverso molti messaggeri.
Il sistema raccoglie i tuoi contatti dal gestionale aziendale, dal sistema di posta elettronica, dalle rubriche online, dai social network o inserendoli manualmente nella piattaforma, definendo per ogni singolo contatto il canale di comunicazione preferenziale: email, newsletter, sms, ma anche instant messenger (Es: Skype) e social network (Es: Facebook, LinkedIn e Twitter).
Socialmailer è il tuo nuovo strumento per creare campagne mirate, integrate e coordinate, adattando in modo facile e professionale la comunicazione e i contenuti dei messaggi a ciascun mezzo utilizzato. Il sistema offre illimitati quantitativi di messaggi strutturati e di altissimo livello qualitativo, sia nel layout grafico che nella tipologia di contenuto.
Socialmailer trova il messaggero giusto per ogni tuo contatto.
2012 Volvo C70 For Sale CO | Volvo Dealer ColoradoMcDonald Volvo
2012 Volvo C70 brochure provided by McDonald Volvo located in Littleton. Find the 2012 Volvo C70 for sale in Colorado. Call us about our current sales and incentives at (303) 376-4733. http://www.mcdonaldvolvo.com
Socialmailer è la risposta alla nuova esigenza di veicolare un messaggio attraverso tutti i canali di comunicazione web 2.0 e raggiungere con campagne mirate e professionali un numero elevatissimo di contatti.
Coinvolgere il cliente è la chiave del successo.
Una delle attività più importanti della tua impresa è comunicare con il mercato. Spesso il problema non è il cosa ma il come comunicare per raggiungere i tuoi clienti, quelli acquisiti e soprattutto quelli potenziali.
Oggi la tecnologia ci mette a disposizione molti strumenti di comunicazione: telefono, sms, instant messenger, email, social network. Sono disponibili così tanti veicoli che rischiamo di non utilizzarli al meglio per coinvolgere i nostri interlocutori.
Socialmailer soddisfa la necessità di inviare un messaggio attraverso molti messaggeri.
Il sistema raccoglie i tuoi contatti dal gestionale aziendale, dal sistema di posta elettronica, dalle rubriche online, dai social network o inserendoli manualmente nella piattaforma, definendo per ogni singolo contatto il canale di comunicazione preferenziale: email, newsletter, sms, ma anche instant messenger (Es: Skype) e social network (Es: Facebook, LinkedIn e Twitter).
Socialmailer è il tuo nuovo strumento per creare campagne mirate, integrate e coordinate, adattando in modo facile e professionale la comunicazione e i contenuti dei messaggi a ciascun mezzo utilizzato. Il sistema offre illimitati quantitativi di messaggi strutturati e di altissimo livello qualitativo, sia nel layout grafico che nella tipologia di contenuto.
Socialmailer trova il messaggero giusto per ogni tuo contatto.
2012 Volvo C70 For Sale CO | Volvo Dealer ColoradoMcDonald Volvo
2012 Volvo C70 brochure provided by McDonald Volvo located in Littleton. Find the 2012 Volvo C70 for sale in Colorado. Call us about our current sales and incentives at (303) 376-4733. http://www.mcdonaldvolvo.com
1. Utilidad de la prueba:
cualidades de las pruebas
ID7756 Evaluación del Aprendizaje de Idiomas
Enero-Marzo 2014
Prof. Yris Casart
ycasart@usb.ve
2. Objetivos de la sesión
• Presentar y discutir el modelo de utilidad de la
prueba propuesto por Bachman y Palmer (1996).
• Revisar los principios del modelo de utilidad de
la prueba.
• Analizar las nociones de confiabilidad, validez de
constructo, autenticidad, interactividad,
impacto, practicidad y otras.
• Examinar una situación de evaluación tomando
en cuenta las cualidades de las pruebas.
3. Modelo de utilidad de la prueba
Herramienta de control de calidad de las pruebas.
“La cualidad más importante de una prueba es su
utilidad” (p. 17). Es el aspecto más importante a
considerar durante el proceso de diseño, desarrollo
y administración de las pruebas.
El modelo consta de seis cualidades y tres
principios básicos para su implementación.
(Bachman y Palmer, 1996)
4. Considerando…
1) que cada una de las cualidades contribuye a la
utilidad de la prueba de una manera particular.
2) que existe una interrelación entre las cualidades
de la prueba.
3) que la utilidad es producto del efecto
combinado de las cualidades.
(Bachman y Palmer, 1996)
5. Principios fundamentales
1) Se debe maximizar la utilidad, no las
cualidades.
2) Se debe evaluar el efecto combinado de las
cualidades sobre la utilidad.
3) Se debe determinar el balance adecuado para
cada situación. La utilidad debe ser evaluada
con relación a una situación concreta.
(Bachman y Palmer, 1996)
6. •Confiabilidad
•Validez de constructo
•Autenticidad
•Interactividad
•Impacto
•Practicidad
(Bachman y Palmer, 1996)
7. Confiabilidad
• Consistencia de la medición (de las
puntuaciones de la prueba).
• Si la medición no es consistente, no nos da
información sobre la habilidad que deseamos
medir.
• Debemos tratar de minimizar los efectos de las
diferentes fuentes de inconsistencia.
• Debemos evaluar el efecto de las variaciones en
las puntuaciones. (Bachman y Palmer, 1996)
8. Validez de constructo
• En qué medida podemos interpretar las
calificaciones como indicadores del constructo
(habilidad) que queremos medir.
• La posibilidad de que nuestras interpretaciones
acerca de las habilidades se puedan generalizar
más allá de la prueba en el ámbito de uso de la
lengua objeto (TLU domain)
• La validación del constructo es un proceso cuyo
propósito es demostrar la validez de nuestras
interpretaciones. (Bachman y Palmer, 1996)
9. Autenticidad
• Grado de correspondencia entre las
características de las tareas de la prueba y las de
las tareas en el ámbito de uso de la lengua objeto.
• Está muy ligada a la noción de validez de
constructo puesto que permite investigar en qué
medida las calificaciones pueden generalizarse al
ámbito de uso de la lengua objeto.
• Incide sobre la percepción de los evaluandos y
puede promover una respuesta afectiva positiva o
negativa. (Bachman y Palmer, 1996)
10. Interactividad
• En qué medida las características individuales
del evaluando están involucradas durante la
realización de las tareas de la prueba.
• Es preciso que haya una interacción con el
conocimiento del idioma del evaluando para
poder hacer inferencias sobre su habilidad. De
allí su relación con la validez de constructo.
• Al igual que la autenticidad, es una cualidad
relativa, solo puede ser estimada.
(Bachman y Palmer, 1996)
11. Autenticidad, interactividad y
validez de constructo
“Authenticity,
interactiveness and
construct validity all
depend upon how we
define the construct
‘language ability’.”
(Bachman y Palmer, 1996)
12. Impacto
• Las consecuencias que tiene para los individuos,
la sociedad y el sistema educativo el uso de las
pruebas y el uso de las calificaciones.
• Al desarrollar un instrumento debemos estar
conscientes de que tendrá un impacto, pero
además debemos investigar en qué medida, en
qué dirección (positiva o negativa) y sobre cuáles
áreas específicas incide.
(Bachman y Palmer, 1996)
13. Practicidad
• “Relación entre los recursos requeridos para el
diseño, desarrollo y uso de la prueba y los
recursos disponibles para estas actividades” (p.
36).
• Tipos de recursos: humanos, materiales, tiempo.
• Solo puede determinarse en relación con el
contexto específico, pero hay ciertas pruebas y
tareas que requieren más o menos recursos en
las diferentes etapas de su diseño y uso.
Bachman y Palmer (1996)
14. Cualidades de la información
Aspectos técnicos
• Confiabilidad
• Validez
o Relevancia de
contenido
o Correspondencia de
criterio
o Validez de constructo
“Asuntos adicionales”
• Practicidad
o Costo
o Tiempo (clase)
o Tiempo (corrección e
interpretación de
resultados)
o Perfil del
administrador
(Genesee y Upshur, 1996) o Aceptabilidad
16. Transparencia
Información clara y precisa de que disponen los
estudiantes acerca de la evaluación. Debe incluir:
•Contenido y formato.
•Tiempo disponible, fecha tope.
•Que deben hacer para lograr buenos resultados.
•Ponderación de las preguntas
•Criterios de evaluación.
•Feedback útil para mejorar
(Coombe, Folse y Hubley, 2007)
17. Seguridad
Adopción de medidas para evitar que los
estudiantes se copien o que se filtre información
sobre la prueba.
No se trata de un asunto que concierne solamente
a pruebas a gran escala. Desarrollar pruebas útiles
consume tiempo y energía, por lo tanto es deseable
poder reutilizar pruebas y otros materiales.
(Coombe, Folse y Hubley, 2007)
18. Conclusiones
•El modelo de utilidad de la prueba propuesto por
Bachman y Palmer (1996) ofrece consideraciones
útiles para el diseño, adaptación, implementación,
evaluación de pruebas que cumplan con el
propósito para el que fueron desarrollados.
•Manejar los conceptos discutidos puede
contribuir a mejorar significativamente las
pruebas que realizamos, puesto que nos permiten
adoptar un enfoque sistemático y práctico.
19. Actividad 1: Estudio de caso
Lea la información acerca de la prueba
administrada por la Sra. Wright y el Sr. Knott y
trate de identificar sus errores con relación a los
fundamentos (cornerstones) de las pruebas.
¿Cómo se podrían resolver esos problemas? En un
cuadro como el que se presenta a continuación,
señale por lo menos 5 problemas.
Cornerstone Problema Posible Solución
Christine Coombe - Dubai Men's College - July 2013
20. Referencias
Bachman, L. and Palmer, A. (1996). Language Testing
in Practice: Designing and Developing Useful
Language Tests. Oxford, UK: Oxford University
Press.
Coombe, C., Folse. K, & Hubley, N. (2007). A Practical
Guide to Assessing English Language Learners.
Ann Arbor, MI: University of Michigan Press.
Genesee, F. and Upshur, J. (1996). Classroom-Based
Evaluations in Second Language Education.
Cambridge, U.K.: Cambridge University Press.