2. Una visión de la evaluación
Rafael Vidal
Director General
Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval)
6 de diciembre de 2007
Campeche, Campeche
1
3. Por qué evaluar
1. Herramientas para mejorar las instituciones sociales
2. Decisiones de política educativa sin información
3. Fascinación por los rankings
4. La evaluación, la mejor herramienta
2
4. Contenido
1. Hechos destacados en la evaluación educativa
2. Las pruebas aplicadas en México
3. Clasificación por su impacto
4. El uso inadecuado de la evaluación
5. La evaluación adecuada
6. La evaluación en Ceneval
3
5. Hechos destacados en el mundo (1)
• El College Board (1900)
• La revista Psychometrika (1935)
• El Educational Testing Service –ETS- (1948)
• George Rasch desarrolla un modelo logístico
para medición (50’)
• La Asociación Internacional para la Evaluación
del Desempeño Educativo –IEA- (1958/1967)
• Establecimiento de CITO en Holanda (1968)
• El National Assessment of Educational
Progress –NAEP- (1969)
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
4
6. Hechos destacados en el mundo (2)
• Establecimiento del INCE (luego INECSE) en
España (1994)
• Decisión de crear PISA (1997)
• Primera aplicación de PISA (2000)
• Ley No Child Left Behind, USA (2002)
• IEA - Primer Estudio Internacional de
Matemáticas –FIMS- (1964)
• IEA - Segundo Estudio Internacional de
Matemáticas –SIMSS- (1980-81)
• IEA - Tercer Estudio Internacional de
Matemáticas y Ciencias –TIMSS- (1995)
5
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
7. 6
Hechos destacados en México (1)
• Primeras pruebas estandarizadas de ingreso (60’s)
• Pruebas de acceso a la secundaria –SEP- (1973)
• Creación del Ceneval (1994)
• Acuerdo Secretarial de la SEP No. 200 (1994)
• Pruebas IDANIS (90´s)
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
8. 7
Hechos destacados en México (2)
• Pruebas de Estándares Nacionales 1998
• México decide participar en TIMSS (1995)
Nota: el primer estudio es de 1964
• México retira los resultados nacionales del
TIMSS (1996)
• México participa en PISA (2000)
• Creación del INEE (2002)
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
9. 8
¿Qué hemos aprendido?
Ya aprendimos a:
• Hacer las evaluaciones
• Hacerlas mal
• Tenerles miedo
• Ocultarlas
• Hacerlas bien
• No tenerles miedo
• Publicarlas
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
10. 9
Las preguntas que muchos se hacen son:
• Si ya está PISA, ¿para qué queremos LLECE?
• Si ya está Ceneval, ¿para qué queremos al
INEE?
• Si ya está Excale, ¿para qué queremos
Enlace?
• Si ya está Exani, ¿para qué queremos
Enlace?
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
11. 10
Algunas pruebas aplicadas en México
Nom-bre
Dirigido a Uso
Tipo de
prueba
Im-pacto
PISA
Evaluar al sistema
educativo al término de la
educación obligatoria.
Comparación con otros
países.
Impactar a la política educativa.
Matricial
Muestra
Bajo
LLECE
Evaluar 2 grados de la
Educación Básica.
Comparación con países de
la región.
Impactar a la política educativa.
Matricial
Muestra
Bajo
Excale
Evaluar el sistema
educativo en sus diferentes
grados (1 ó 2 grados cada
año).
Impactar a la política educativa.
Retroalimentar al curriculum.
Matricial
Muestra
Bajo
Enlace
Evaluar a los estudiantes.
Informar a estudiantes, a
padres de familia y a la
sociedad sobre el desempeño
de los estudiantes.
Uniforme
Censal
Bajo
EXANI
Evaluar a los aspirantes a
educación media, superior y
postgrado.
Ayudar a las decisiones de
admisión.
Informar a escuelas de
procedencia.
Prueba bajo
petición de
parte
Alto
EGEL
Evaluar a los estudiantes.
Conocer la preparación de los
estudiantes al final de la
licenciatura.
Uniforme o
individuali-zada
Alto/
Bajo
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
12. 11
Clasificación por su impacto:
Bajo impacto
• No tienen consecuencias directas de
importancia para el sustentante y se
utilizan, generalmente, para valorar los
resultados obtenidos de un currículum
académico, programa o acciones
realizadas en un centro escolar.
• Pruebas para evaluar centros escolares
y sistemas educativos (pueden hacer
uso de un diseño matricial).
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
13. 12
Clasificación por su impacto:
Alto impacto
• Tienen consecuencias directas para el
sustentante y se utilizan para valorar los
repertorios adquiridos por los individuos.
• Pruebas para evaluar individuos (no pueden
hacer uso de un diseño matricial).
Hechos
destacados en la
evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de la
evaluación
La evaluación
adecuada
La evaluación en
Ceneval
14. 13
Ejemplos de pruebas de alto impacto y bajo impacto
Alto impacto Bajo impacto
IDANIS, EGEL, EXANI, EXABA Excale, ENLACE, Preexani, PISA
Uso: decisiones académicas Uso: evaluar centros, programas
o sistemas
Normativas o criteriales Criteriales
Equivalentes (se pregunta lo
mismo a todos los sustentantes)
Modulares (hay muchas
versiones)
Por demanda (generalmente no
son representativas)
Censo o muestra
(representativas)
Conocimientos o habilidades
generales o alineadas al currículo
Alineadas al currículo
Comparabilidad individual Comparabilidad a nivel centro
escolar, estado o país
Error de medida importante a
nivel individual
Error de medida importante a
nivel centro escolar
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su
impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
15. 14
¿Qué deseamos evaluar?
Pero: ¿evaluamos personas porque queremos
saber cómo están las personas o evaluamos
personas porque queremos saber cómo están
los centros o instituciones o más aún el sistema
educativo?
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado
de la
evaluación
La evaluación
adecuada
La evaluación
en Ceneval
16. Uso inadecuado de la información
• La evaluación como castigo
• Pruebas diseñadas para un propósito, pero
utilizadas para otro.
• Obsesión por los rankings
15
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
17. Ejemplos de pruebas con un propósito, utilizadas
para otro:
- El Exani que es una prueba de ingreso (alto
impacto, no curricular, baja cobertura del
dominio evaluado), utilizada para calificar a la
institución que hace la admisión.
- El IDANIS (prueba de ingreso a la educación
secundaria, baja cobertura del dominio
evaluado), utilizada para clasificar a los
estados de la república.
16
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
18. Ejemplos de pruebas con un propósito, utilizadas
para otro:
- El EGEL que es una prueba de egreso, utilizada
para clasificar sin más a las instituciones.
- La prueba PISA que es un instrumento matricial
que se aplica a una muestra, utilizada para
premiar a estudiantes.
17
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado
de la
evaluación
La evaluación
adecuada
La evaluación
en Ceneval
19. Problemas con los rankings (ordenamientos)
• Condiciones para establecer un ranking:
– Tratar igual a los iguales
– Contar con el universo completo de los objetos a
ser clasificados o contar con muestras
representativas (en el sentido técnico de esta
expresión) de los grupos de objetos a ser
clasificados.
18
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado
de la
evaluación
La evaluación
adecuada
La evaluación
en Ceneval
20. 19
Cuatro características esenciales Hechos de la evaluación (1)
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
Validez. Las pruebas se diseñan y construyen para
medir un dominio perfectamente identificado.
La validez de los instrumentos de medición denota
la congruencia que existe entre lo que se planeó
medir y lo que se midió. Por ello, las inferencias
que se realizan de los resultados son indicadores
fehacientes del rasgo medido.
Confiabilidad. Los resultados de la evaluación son
consistentes, de tal forma que los cambios en los
niveles de competencia de los sustentantes reflejan
cambios en los puntajes obtenidos en la prueba.
La evaluación
en Ceneval
21. 20
Cuatro características esenciales Hechos de la evaluación (2)
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
Equidad. Los instrumentos de medición se
construyen de forma tal que no benefician a un
grupo determinado. Consecuentemente se asume
que las diferencias de los puntajes se deben a
cambios en los niveles de competencia de los
sustentantes, no a factores ligados a otras variables
omitidas.
Pertinencia. Los instrumentos de medición tienen
una cobertura suficiente y relevante de los
dominios en los que el sustentante debe mostrar su
competencia.
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
22. En las evaluaciones válidas…
• El propósito de la evaluación está delimitado
• El dominio que se mide está claramente definido
• Las características de la población sustentante
están identificadas.
• Los instrumentos se diseñan para dar
cumplimiento al propósito de la evaluación.
• Se cuenta con la evidencia escrita y empírica de la
validez de la medición.
• Las inferencias que se derivan de la evaluación se
acotan a las bondades de los instrumentos de
medición utilizados.
21
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación por
su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
23. En las evaluaciones confiables…
• Rinde mediciones equivalentes
• Se cumple el dictum atribuido a Al Beaton:
“If you want to measure change, don’t
change the measure”.
• Hay validez de escala (no hay
redundancias ni huecos, se cubre el
espectro de la población evaluada y las
medidas son cuasiequidistantes).
22
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
24. En las evaluaciones equitativas…
• No hay sesgos:
– Ideológicos
– Raciales
– De género
– Regionales
• Existe igualdad en las condiciones de aplicación
• Se usan procedimientos estandarizados para el
manejo del material de examen, la lectura y la
calificación.
23
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
25. En las evaluaciones pertinentes…
• Dependiendo del propósito de la prueba, la
relevancia de los contenidos seleccionados para
el examen son los esenciales de:
– La práctica profesional
– Del currículo académico
– De la habilidad o competencia
24
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
26. 25
Alternativa al ranking
A efecto de que las instituciones cuenten con
parámetros que les permitan compararse con otras
instituciones similares o a través del tiempo, se podría:
1. Establecer niveles de desempeño.
2. Definir lo que significa estar en cierto nivel de
desempeño.
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
27. 26
Misión del Ceneval
El Ceneval es una institución de carácter
eminentemente técnico cuya misión es
promover la calidad de la educación
mediante evaluaciones válidas, confiables
y pertinentes de los aprendizajes, que
contribuyan a la toma de decisiones
fundamentadas, así como la prestación
de servicios relacionados.
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
28. 27
Numeralia General
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
• Pruebas en operación
(instrumentos diferentes): 162
• Consejos Técnicos: 38
• Consejeros Técnicos: Más de 700
• Personal de planta del Ceneval 398
• Sustentantes evaluados
anualmente: Alrededor de 1,750,000
• Aplicaciones al año: 2,800
• Piezas impresas anualmente: 11 millones
• Hojas leídas anualmente: Alrededor de 5 millones
• Total de sustentantes evaluados
desde 1994: Más de 19 millones
• Piezas impresas desde 1994: 120 millones
• Hojas leídas desde 1994: 57 millones
29. 28
Numeralia 2006
- Reuniones de Consejos Técnicos: 110
- Exámenes aplicados (en papel): 1,649,888
- Número de aplicaciones: 2,873
- Instrumentos aplicados: 155
- Piezas impresas: 11,110,946
- Hojas leídas: (incluye Comipems) 4,582,000
- Total de exámenes en línea 106,259
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
30. Hechos Filosofía de trabajo (1)
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
29
• La evaluación es la mejor herramienta para
mejorar las instituciones sociales.
• La evaluación no es un fin en sí mismo, es un
medio para otros fines.
• Evaluar es más que medir pero se necesita medir
bien para evaluar mejor.
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
Evaluar... Una buena medida para educar mejor
31. Hechos Filosofía de trabajo (2)
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
30
Ceneval es una institución técnica
• Ceneval se reconoce como una institución de carácter
técnico, su trabajo y su empeño son técnicos.
• No es una institución política, ni de opinión, ni responde a
consignas, corazonadas o sospechas.
• Los resultados que entrega y los juicios que emite se fundan
en razones técnicas y metodológicas.
• Ésto obliga a una preparación y actualización constante.
• El diseño, construcción y operación de los instrumentos
debe apegarse a estándares internacionales.
• Ceneval está obligado a orientar a los usuarios sobre los
requisitos técnicos de las pruebas y sobre la mejor forma de
interpretar los resultados de las evaluaciones.
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
32.
Diseño
Construcción
Verificación
Ensamble
Metodología Ceneval
Preparación del proyecto
Diseño de instrumentos
Delimitación de contenidos
Planeación operativa
Elaboración especificaciones
Elaboración de reactivos
Cuestionario de contexto
Complementos
Aplicación
Calificación
Reportes
Revisión técnica
Validación externa reactivos
Revisión de estilo
Calibración reactivos piloto
Guías para sustentante
Manuales de aplicación
Integración de versiones
Revisión editorial
Impresión
Diccionarios de datos
Rutinas de calificación
Control de material de examen
Capacitación de aplicadores
Distribución de materiales
Aplicación del examen
Recopilación y clasificación
Lectura y corrección
Calificación sustentantes
Calibración reactivos
Niveles de logro
Reportes a sustentantes
Reportes a instituciones
Consolidación bases de datos
Estudios de validación
= Cuerpo colegiado
Definición niveles desempeño
Piloteo de reactivos
31
33. 32
Hechos Filosofía de trabajo (3)
destacados en
la evaluación
El corazón de Ceneval son sus cuerpos colegiados
educativa
Las pruebas
• La validez y la legitimidad de su quehacer descansa
aplicadas en
México
en sus órganos colegiados (Consejos Técnicos,
Comités Académicos, elaboradores de reactivos,
Clasificación
validadores, etc.).
por su impacto
• Los cuerpos colegiados deben ser representativos y
deben de mantenerse renovados.
• La actividad de sus cuerpos colegiados debe estar
reglamentada.
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
34. Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
Comités académicos Función
1. Diseñador Delimitar los contenidos
específicos de un examen
2. Elaborador de
especificaciones
Definir operacionalmente los
contenidos específicos del
examen
3. Elaborador de reactivos Elaborar los reactivos del examen
4. Validador de reactivos Revisar el contenido y
construcción de cada reactivo
5. Delimitador de los puntos
de corte
Establecer los puntos de corte y
definir los niveles de logro
Cuerpos Colegiados
Consejo Técnico Organismo rector del
examen
35. Hechos Filosofía de trabajo (4)
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
34
Valores fundamentales
• Veracidad en los datos.
• Respeto a la confidencialidad de los individuos y de
las instituciones.
• Honestidad en el manejo de la información.
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
36. 35
Compromisos del Ceneval
• Nueva generación de pruebas
• Fortalecimiento de los Consejos Técnicos
• Alta capacidad técnica
• Atención esmerada
Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
37. Hechos
destacados en
la evaluación
educativa
Las pruebas
aplicadas en
México
Clasificación
por su impacto
El uso
inadecuado de
la evaluación
La evaluación
adecuada
La evaluación
en Ceneval
Horizonte de ampliación en el repertorio de los EGEL: evolución y tendencias en
las carreras profesionales; criterios para fundamentar el desarrollo de un
nuevo EGEL.
Dr. Mario Vizcarra Mendoza
Director del Área de las Ingenierías y las Tecnologías
Exámenes de habilidades profesionales transversales y de campos de
conocimiento para carreras profesionales afines: características generales y
posibilidades de desarrollo.
Mtra. Rebeca Reynoso Angulo
Directora del Área de las Ciencias Sociales y las Humanidades
Líneas de investigación y estudios relacionados con los resultados del EGEL.
Mtro. Rafael Hernández González
Director del Área de las Ciencias de la Vida y la Conducta
Relevancia y posibilidades en la formación de cuadros expertos en las IES en la
formulación y validación de reactivos.
Lic. Catalina Betancourt Correa
Jefa del Departamento de Producción de Reactivos
Los informes de resultados de los EGEL como herramienta de
retroalimentación para las IES: contenido, y posibilidades de uso.
Mtra. Laura Delgado Maldonado
Jefa del Departamento de Análisis Psicométrico
La operación de los EGEL: organización y perspectiva de las aplicaciones
presenciales.
Lic. Beatriz Jiménez Aguilar
Directora general adjunta de Operación
El registro y la aplicación de los exámenes en línea.
Ing. Socrátes Muñiz Zafra
Director General Adjunto de Tecnologías de la Información y la Comunicación
Mesa 1
Mesa 2
Mesa 3
Mesa 4
Mesa 5
Mesa 6
Mesa 7
Mesas de trabajo
