La primera etapa del desarrollo de pruebas es el diseño.

1. Procedimientos para el desarrollo
de pruebas: primera etapa
ID7756 Evaluación del Aprendizaje de Idiomas
Enero-Marzo 2014
Prof. Yris Casart
ycasart@usb.ve

2. Objetivos de la presentación
 Repasar las etapas del proceso de
desarrollo de pruebas.
 Exponer las actividades que forman
parte de la primera etapa del proceso y
sus respectivos productos.

3. Etapas del desarrollo de pruebas
Etapas
1. Diseño
2. Operacionalización
3. Administración
Actividades
Descripción, definición,
identificación, selección,
desarrollo, asignación y manejo
Selección,
especificación y
escritura
Administración, recolección,
retroinformación, análisis y
archivo
(Bachman y Palmer, 1996)

4. Etapas del desarrollo de pruebas
Etapas
1. Diseño •Declaración del diseño
• Estructura de la prueba
• Especificaciones de las tareas
2. Operacionalización
• Retroinformación sobre utilidad
• Puntaje de las pruebas
3. Administración
Productos
(Bachman y Palmer, 1996)

5. Primera etapa: el diseño
Consideraciones necesarias para establecer la
correspondencia entre el desempeño en la
prueba y el uso de la lengua y para asegurar
que las calificaciones de la prueba serán de
máxima utilidad para los propósitos
establecidos. La declaración de diseño
constituye la base para el desarrollo de las
tareas de la prueba.
(Bachman y Palmer, 1996)

6. Declaración de diseño
 Descripción del propósito de la prueba.
 Identificación, selección y descripción de las
tareas en el ámbito de uso de la lengua.
 Descripción de los usuarios de la lengua y de los
evaluandos.
 Definición del constructo a evaluar.
 Desarrollo de un plan para evaluar la utilidad de
la prueba.
 Identificación, asignación y manejo de los
recursos disponibles.
(Bachman y Palmer, 1996)

7. Descripción del propósito de la prueba
¿Cuál debería ser el
propósito principal de la
prueba?

8. Descripción del propósito de la prueba
 Hacer inferencias sobre la habilidad
lingüística de los evaluandos.
Tomar decisiones:
o Según su grado de impacto (número de personas o
tipo de programa y posibilidad de revertir las
decisiones).
o Según sobre quién o qué recae la decisión:
evaluandos, profesores, administradores o
programas).
Investigación:
o Describir niveles de habilidad, orden de adquisición
de aspectos del conocimiento lingüístico, etc.
(Bachman y Palmer, 1996)

9. Sobre la toma de decisiones
 Es preciso demostrar que las inferencias acerca de
la habilidad lingüística son válidas para poder
justificar el uso de las calificaciones de la prueba
como base para la toma de decisiones.
 El tipo de decisiones que se desee tomar afectará
otras etapas de desarrollo de la prueba (definición
de constructo y método de corrección).
 La toma de decisiones depende de la calidad de la
información sobre la cual se basa. Suele haber una
relación con la cantidad de recursos disponibles.
(Bachman y Palmer, 1996)

10. Identificación, selección y
descripción de las tareas en el
ámbito de uso de la lengua
 Importancia de este componente
 Procedimiento para identificar las tareas en el
ámbito de uso de la lengua
 Tipos de ámbito de uso de la lengua
 Selección y descripción de las tareas

11. Importancia de este componente
 La descripción detallada de las tareas en el ámbito
de uso de la lengua es de vital importancia para
desarrollar las tareas de la prueba.
 La correspondencia entre estas y aquellas
permitirá generalizar las inferencias sobre la
habilidad lingüística al ámbito de uso de la
lengua meta.
 Esta descripción también resulta útil a la hora de
evaluar la utilidad de la prueba.
(Bachman y Palmer, 1996)

12. Procedimiento para identificar las
tareas en el ámbito de uso de la lengua
Aun cuando estemos familiarizados con el ámbito
relevante, se recomienda un procedimiento
sistemático para identificar las tareas:
o Identificar e involucrar a los interesados.
oDesarrollar procedimientos para recoger
información sobre las tareas.
oRecoger información sobre las tareas
oAnalizar las tareas con base en sus
características
oAgrupar tareas con características similares.
(Bachman y Palmer, 1996)

13. Tipos de ámbito de uso de la lengua
 Ámbito de la vida real: cuando el propósito de la
prueba es tomar decisiones con base en el
desempeño de los evaluandos en ámbitos reales. Se
debe tomar en cuenta el nivel y la amplitud de la
habilidad lingüística de los evaluandos.
 Ámbito de instrucción de la lengua:
oCuando las tareas en el ámbito de instrucción se
asemejan a las del ámbito de la vida real.
oCuando las tareas no se corresponden.
oCuando resulte difícil identificar el ámbito de uso
(Bachman y Palmer, 1996)

14. Selección y descripción de las tareas
 No todas las tareas del ámbito de uso de la lengua
son adecuadas para ser consideradas a la hora de
diseñar las tareas de la prueba porque…
o …no cumplen con los criterios de utilidad.
o …pueden realizarse sin involucrar el uso de la habilidad
lingüística que se desea medir.
o …no son apropiadas para todos los evaluandos.
 Es importante contar con una descripción de las
características distintivas de las tareas que sirva de
“plantilla” para el diseño de las tareas de la
prueba. Utilizar el marco de referencia (cap. 3)
(Bachman y Palmer, 1996)

15. Descripción de los usuarios de la
lengua y de los evaluandos
 Importancia
 Rasgos a considerar

16. Importancia de la descripción de los
evaluandos
 La correspondencia entre los usuarios de la lengua
y los evaluandos incide sobre la interactividad de
las tareas de la prueba tareas ± interactivas.
 Las características de los evaluandos pueden
incidir sobre su desempeño en la prueba y se
deben considerar en el desarrollo de las tareas.
 Es recomendable adoptar un enfoque sistemático
que combine entrevistas, observaciones,
cuestionarios, etc. para recoger información que
permita elaborar la descripción de los evaluandos.
(Bachman y Palmer, 1996)

17. Rasgos a considerar
 Características personales.
 Conocimiento del tema.
o Conocimientos homogéneo sobre temas específicos.
o Conocimientos sobre diversos temas (no común).
 Perfil y nivel de habilidad lingüística
o Descripción inicial general para adaptar la prueba al
nivel de los evaluandos.
o Desempeño en diferentes tipos de tarea y en áreas
específicas de la habilidad lingüística.
 Posibles respuestas afectivas de los evaluandos
o Promover respuestas afectivas positivas
(Bachman y Palmer, 1996)

18. Definición del constructo a evaluar
 Importancia y consideraciones
 Programa de estudios vs. teoría
 Inclusión de la competencia estratégica
 Inclusión del conocimiento sobre el tema

19. Importancia y consideraciones
 Sirve de base para utilizar las calificaciones para
los propósitos esperados, guía el proceso de
desarrollo de la prueba, permite demostrar la
validez de constructo de las interpretaciones.
 La definición del constructo dependerá del tipo
de inferencias que queramos hacer a partir de las
calificaciones de la prueba.
 Se debe especificar los componentes de la
habilidad lingüística a evaluar según la situación.
(Bachman y Palmer, 1996)

20. Programa de estudios vs. teoría
 Cuando se desea hacer inferencias sobre
componentes específicos de habilidad lingüística
con el fin de diagnosticar fortalezas y debilidades
o evaluar el logro de objetivos en un programa de
estudios, se toma el programa como punto de
partida.
 Cuando la prueba no está inserta dentro de un
programa de estudio, se tomará como base para la
definición de constructo los componentes
descritos en la teoría de la habilidad lingüística.
(Bachman y Palmer, 1996)

21. Inclusión de la competencia estratégica
 La competencia estratégica forma parte del uso de
la lengua.
 Puede excluirse en la definición del constructo si
no se desea hacer inferencias sobre la competencia
estratégica. Puede incluirse en la definición del
constructo si se desea evaluar la competencia
estratégica.
 Esto se logra a través de las instrucciones que se le
da a los evaluandos.
(Bachman y Palmer, 1996)

22. Inclusión del conocimiento del tema
Hay tres opciones para definir el constructo en lo
que respecta al conocimiento del tema:
 No se incluye en la definición del constructo.
o Evaluandos tienen conocimientos sobre temas diversos.
 Se incluye en la definición del constructo.
o Evaluandos con conocimientos homogéneos sobre
temas específicos.
 Constituyen constructos separados.
o No se tiene información sobre el tipo de conocimientos
de los evaluandos pero se desea medir el conocimiento
temático, además de la habilidad lingüística.
(Bachman y Palmer, 1996)

23. Inclusión del conocimiento del tema
Hay tres opciones para definir el constructo en lo
que respecta al conocimiento del tema:
 No se incluye en la definición del constructo.
o Inferencias sobre las habilidades lingüísticas
 Se incluye en la definición del constructo.
o Inferencias acerca de la posibilidad de procesar
información temática específica por medio de la lengua.
 Constituyen constructos separados.
o Inferencias sobre los componentes de la habilidad
lingüística y sobre áreas de conocimiento temático.
(Bachman y Palmer, 1996)

24. Desarrollo plan para evaluar la
utilidad de la prueba (Capítulo 7)
 Buscar el equilibrio adecuado entre las seis
cualidades.
o Establecimiento de niveles mínimos aceptables.
 Evaluación de la utilidad de la prueba.
o Preguntas y lista de cotejo
 Consideraciones para la recolección de evidencia
sobre la utilidad de la prueba.
o información cualitativa y cuantitativa en cada etapa
del proceso. (Bachman y Palmer, 1996)

25. Identificación, asignación y
manejo de los recursos disponibles
(Capítulo 8)
 Indentificar los recursos requeridos (humanos y
materiales)
 Hacer un inventario de recursos disponibles
 Elaborar de un plan para su asignación y manejo
o Tabla de tareas y recursos
o Línea de tiempo de tareas
 Proyectos de mayor vs. menor envergadura
 Proyectos individuales vs. en equipo
(Bachman y Palmer, 1996)

26. Conclusiones
La etapa de diseño…
 involucra una gran cantidad de
actividades,
 implica tomar una cantidad
considerable de decisiones que no
deben ser tomadas a la ligera, ya que
tendrán implicaciones en etapas futuras
del proceso,
 es determinante para el éxito del
proyecto.

27. Referencias
Bachman, L. and Palmer, A. (1996). Language
Testing in Practice: Designing and Developing Useful
Language Tests. Oxford, UK: Oxford University
Press.