Algunos aspectos técnicos
de las evaluaciones externas
http://www.mecd.gob.es/inee
ALGUNOS ASPECTOS TÉCNICOS DE LAS EVALUA...
Algunos aspectos técnicos
de las evaluaciones externas
Finalidad de las evaluaciones educativas
Evaluaciones externas en l...
Algunos aspectos técnicos
de las evaluaciones externas
Conocer
a través de la valoración de
los aprendizajes de los
estudi...
Algunos aspectos técnicos
de las evaluaciones externas
Evaluaciones
Internacionales
OCDE
(Organización para
la Cooperación...
Algunos aspectos técnicos
de las evaluaciones externas
 Evaluaciones cíclicas, a gran escala
 Cuadernillo de prueba + cu...
Algunos aspectos técnicos
de las evaluaciones externas
I-Selección de la muestra
Algunos aspectos técnicos
de las evaluaciones externas
I-Selección de la muestra-Características generales
1.
Selección de...
Algunos aspectos técnicos
de las evaluaciones externas
I-Selección de la muestra
Tamaño de la muestra
•Precisión de los
es...
Algunos aspectos técnicos
de las evaluaciones externas
I-Selección de la muestra
Individuos frente a centros
Selección
sis...
Algunos aspectos técnicos
de las evaluaciones externas
I-Selección de la muestra
Exclusiones y ampliaciones de la muestra
...
15 alumnos
30 alumnos
45 alumnos
Probabilidad
del centro
Probabilidad
del alumno en
el centro
Probabilidad
final
del alumn...
Algunos aspectos técnicos
de las evaluaciones externas
II-Construcción de pruebas
Algunos aspectos técnicos
de las evaluaciones externas
¿Qué evaluar?
Currículo-Conocimientos
qué se espera que los estudia...
Algunos aspectos técnicos
de las evaluaciones externas
 Una prueba ideal consta de
múltiples ítems para poder todas
las d...
Algunos aspectos técnicos
de las evaluaciones externas
15
II-Construcción de pruebas. Ejemplos de ítems
Algunos aspectos técnicos
de las evaluaciones externas
III-Asignación de puntuaciones
Algunos aspectos técnicos
de las evaluaciones externas
 Se utiliza la Teoría de la Respuesta al Ítem
17
III-Asignación de...
Algunos aspectos técnicos
de las evaluaciones externas
Estimación de la dificultad de los ítems de una prueba y habilidad ...
Algunos aspectos técnicos
de las evaluaciones externas
No tener en cuenta el diseño del
muestreo y de las pruebas a la
hor...
Algunos aspectos técnicos
de las evaluaciones externas
http://www.mecd.gob.es/inee
20
Más información…
Algunos aspectos técnicos
de las evaluaciones externas
Gracias
Algunos aspectos técnicos
de las evaluaciones externas
Mapa de evaluaciones del sistema educativo español
no universitario...
Próxima SlideShare
Cargando en…5
×

Aspectos técnicos de evaluaciones externas. XVI JAEM. Palma de Mallorca 2013

1.447 visualizaciones

Publicado el

Publicado en: Educación
0 comentarios
1 recomendación
Estadísticas
Notas
  • Sé el primero en comentar

Sin descargas
Visualizaciones
Visualizaciones totales
1.447
En SlideShare
0
De insertados
0
Número de insertados
553
Acciones
Compartido
0
Descargas
35
Comentarios
0
Recomendaciones
1
Insertados 0
No insertados

No hay notas en la diapositiva.

Aspectos técnicos de evaluaciones externas. XVI JAEM. Palma de Mallorca 2013

  1. 1. Algunos aspectos técnicos de las evaluaciones externas http://www.mecd.gob.es/inee ALGUNOS ASPECTOS TÉCNICOS DE LAS EVALUACIONES EXTERNAS: DISEÑO DEL MUESTREO, CONSTRUCCIÓN DE PRUEBAS Y ASIGNACIÓN DE PUNTUACIONES PALMA DE MALLORCA, 5 DE JULIO DE 2013 RUTH MARTÍN ESCANILLA @rumaes7ruth
  2. 2. Algunos aspectos técnicos de las evaluaciones externas Finalidad de las evaluaciones educativas Evaluaciones externas en las que participa España Rasgos comunes de las evaluaciones a gran escala I. Selección de la muestra II. Construcción de las pruebas III. Asignación de puntuaciones
  3. 3. Algunos aspectos técnicos de las evaluaciones externas Conocer a través de la valoración de los aprendizajes de los estudiantes Rendir cuentas Innovar y mejorar el sistema educativo Aumento de transparencia del sistema educativo Evaluaciones ¿para qué? Finalidad de las evaluaciones educativas 3
  4. 4. Algunos aspectos técnicos de las evaluaciones externas Evaluaciones Internacionales OCDE (Organización para la Cooperación y Desarrollo Económicos) PISA Programa para la evaluación internacional de estudiantes Programme for International Student Assessment Alumnos que cumplen 16 años en el año de realización 3 años 2012 TALIS Estudio internacional de enseñanza y aprendizaje Teaching and Learning International Survey Profesores y directores 5 años 2013 PIAAC Programa para la evaluación internacional de las competencias de adultos Programme for International Assessment of Adult Competences Población adulta (16 a 64 años) 10 años 2012 Evaluaciones internacionales IEA (International Association for the Evaluation of Educational Achievement) TIMSS Estudio International de Matemáticas y Ciencias Trends in International Mathematics and Science Study 4º EP 4 años 2011 TEDS-M Estudio internacional sobre la formación inicial del profesorado de Matemáticas Teacher Education and Development Study in Mathematics Futuros profesores de Primaria y Secundaria Primera vez en 2008 Evaluaciones de matemáticas en las que participa España Destinatarios Periodicidad Última Evaluaciones Nacionales MECD y Administración Educativa Evaluación General de Diagnóstico 4º EP (2009) 2º ESO (2010) - 2009 2010 Evaluaciones de Diagnóstico 4º EP (2009) 2º ESO (2010) Anual 2013 4
  5. 5. Algunos aspectos técnicos de las evaluaciones externas  Evaluaciones cíclicas, a gran escala  Cuadernillo de prueba + cuestionarios de contexto  Rigor metodológico: • Marco teórico: qué evaluar, elaboración de ítems, distribución de ítems y cuadernillos… • Definición exhaustiva de la población objetivo • Selección de la muestra/censo • Traducción de materiales, aplicación, corrección, limpieza de datos… • Análisis TRI de las respuestas Dificultad de los ítems y puntuación lograda por los alumnos  Informes internacionales comparativos Rasgos comunes de los estudios de evaluación a gran escala 5
  6. 6. Algunos aspectos técnicos de las evaluaciones externas I-Selección de la muestra
  7. 7. Algunos aspectos técnicos de las evaluaciones externas I-Selección de la muestra-Características generales 1. Selección de centros (Primary Sampling Unit) • Muestreo proporcional al tamaño • TEDS-M muestreo con probabilidades iguales • PISA: 35 alumnos al azar • TIMSS: uno o dos grupos al azar • TEDS-M: 30 alumnos elegidos al azar 2. Selección de alumnos dentro del centro (Secondary Sampling Unit) Los diseños de muestreo son complejos y deben tenerse en cuenta en el cálculo de los estimadores (variables de ponderación) Muestra representativa. Procedimiento probabilístico para evitar sesgos Muestreo en varias etapas (centros y alumnos dentro del centro), por conglomerados Muestreo estratificado Estratificación explícita: la selección tiene lugar en diferentes subpoblaciones o estratos definidos por una variable de estratificación (CC.AA., titularidad de los centros, etc.) Estratificación implícita: asociada a un muestreo sistemático. Se ordenan las unidades de muestreo según un cierto criterio para que la muestra reproduzca la distribución de los porcentajes de la población. Selección sistemática de centros dentro de cada estrato Muestreo en dos etapas 7
  8. 8. Algunos aspectos técnicos de las evaluaciones externas I-Selección de la muestra Tamaño de la muestra •Precisión de los estimadores •Tamaño de la muestra •Tiempo •Presupuesto •Sencillez del diseño del muestreo y del trabajo de campo 8
  9. 9. Algunos aspectos técnicos de las evaluaciones externas I-Selección de la muestra Individuos frente a centros Selección sistemática de centros Muestreo por individuos (alumnos) Muestreo por conglomerados (centros educativos) 9
  10. 10. Algunos aspectos técnicos de las evaluaciones externas I-Selección de la muestra Exclusiones y ampliaciones de la muestra Ampliación de muestras (por algún aspecto de especial interés) ¡Cuidado con las exclusiones! ¡Algunas pueden ser importantes! 10
  11. 11. 15 alumnos 30 alumnos 45 alumnos Probabilidad del centro Probabilidad del alumno en el centro Probabilidad final del alumno Peso base del alumno POBLACIÓN. N =180 MUESTRA n= 9 Elegir 3 centros / 3 alumnos por centro La suma de pesos de los alumnos es el tamaño de la población Ejemplo 11
  12. 12. Algunos aspectos técnicos de las evaluaciones externas II-Construcción de pruebas
  13. 13. Algunos aspectos técnicos de las evaluaciones externas ¿Qué evaluar? Currículo-Conocimientos qué se espera que los estudiantes hayan aprendido TIMSS/TEDS-M Competencias con qué éxito los estudiantes pueden extrapolar lo que han aprendido y aplicar sus conocimientos y habilidades en nuevos contextos PISA, EGD, ED, PIAAC Contexto Todos los estudios y TALIS 13
  14. 14. Algunos aspectos técnicos de las evaluaciones externas  Una prueba ideal consta de múltiples ítems para poder todas las dimensiones descritas en el marco muestral  No todos los alumnos responden a todas las preguntas  El análisis de resultados debe hacerse teniendo en cuenta el diseño empleado  Reparto de los cuadernillos según un diseño matricial por bloques 14 II-Construcción de pruebas Distribución por bloques de la prueba PISA 2009
  15. 15. Algunos aspectos técnicos de las evaluaciones externas 15 II-Construcción de pruebas. Ejemplos de ítems
  16. 16. Algunos aspectos técnicos de las evaluaciones externas III-Asignación de puntuaciones
  17. 17. Algunos aspectos técnicos de las evaluaciones externas  Se utiliza la Teoría de la Respuesta al Ítem 17 III-Asignación de puntuaciones  La dificultad de un ítem se define en relación con la probabilidad de respuesta correcta, dada la “habilidad” del individuo  La “habilidad” del individuo se define en relación con la verosimilitud de dar una respuesta correcta dada la dificultad del ítem  La respuesta a una pregunta depende de la interacción entre la “habilidad” de alumno y las características de la pregunta. No se obtienen puntuaciones ligadas a una población en particular o a un grupo de individuos concretos, sino sobre la relación entre la “habilidad” del individuo y la dificultad de la tarea Curva característica del ítem (modelo de un parámetro) habilidad del individuo () Probabilidad de respuesta correcta
  18. 18. Algunos aspectos técnicos de las evaluaciones externas Estimación de la dificultad de los ítems de una prueba y habilidad de los alumnos 18 III-Asignación de puntuaciones  La TRI permite evaluar distintos niveles de habilidad y obtener puntuaciones para individuos que no realizan el mismo subconjunto de ítems  La TRI permite establecer medidas sobre las “tendencias” a lo largo del tiempo  La TRI se combina con procedimientos basados en imputaciones múltiples, como los valores plausibles
  19. 19. Algunos aspectos técnicos de las evaluaciones externas No tener en cuenta el diseño del muestreo y de las pruebas a la hora de analizar e interpretar los resultados puede conducir a conclusiones incorrectas 19
  20. 20. Algunos aspectos técnicos de las evaluaciones externas http://www.mecd.gob.es/inee 20 Más información…
  21. 21. Algunos aspectos técnicos de las evaluaciones externas Gracias
  22. 22. Algunos aspectos técnicos de las evaluaciones externas Mapa de evaluaciones del sistema educativo español no universitario 22

×