Conferencia María Elena Barrera, presentada durante la 8va Semana Cultural de la Facultad de Pedagogía e Innovación Educativa

1. La evaluación de programas y estudiantes
en instituciones de educación superior
mexicanas
Universidad Autónoma de Baja California
18 de septiembre de 2012

2. Factores que favorecen los procesos de evaluación,
acreditación y aseguramiento de la calidad
Internacionalización de la
educación superior
Expansión de la demanda de ES
y, sobre todo, de una educación
de calidad
Nuevas demandas originadas en el
aparato productivo y mercado laboral
(economía del conocimiento
Nuevos enfoques de
gestión, planeación y
administración de las IES

3. Los beneficios tangibles
• Propicia el acceso a información relevante y
actualizada sobre la calidad y pertinencia de los
1 programas e instituciones.
• Fomenta la confianza en las instituciones educativas
del país.
2
• Brinda mayor credibilidad a las instituciones
educativas y credenciales académicas.
3

4. Evolución de las prácticas de
evaluación y acreditación
Desde Hacia
Evaluación integral, incluida la
Evaluación de insumos
evaluación de resultados
Preeminencia de la Mayor valorización de la evaluación
autoevaluación externa y la acreditación
Evaluación académica Evaluación de múltiples dimensiones
Modelo burocrático Modelo de agencia independiente

5. Evaluación y acreditación en
México

6. Antecedentes
La difusión de las prácticas de evaluación y
acreditación, con sus múltiples propósitos,
enfoques e instancias, es resultado de un largo
y complejo proceso.
En este proceso han participado diversos
actores:
 La SEP y el CONACYT.
 Los organismos más representativos de
las IES (ANUIES y FIMPES, entre otros).
 Y las instancias evaluadoras (CENEVAL,
CIEES, CONACyT y COPAES, entre otros).
 Las instituciones de educación superior.

7. Tipos e instancias de evaluación
• Existen diferentes tipos de evaluaciones:
– A nivel individual. Exámenes de ingreso y egreso de estudiantes a
las instituciones de Educación Superior; evaluación y estímulos a
la carrera docente y de investigación; CENEVAL, SNI, Programas de
estímulos a la carrera docente, PROMEP, IES.
– A nivel de programas académicos. Evaluación diagnóstica y
procesos acreditación. CIEES, COPAES, Programa de Posgrados de
Calidad, SEP-RVOE.
– A nivel institucional. Acreditación social. CIEES, PIFI, FIMPES,
ANUIES y CUMEX, entre otros
– De política pública o evaluación sistémica. De eficacia,
eficiencia, pertinencia, equidad, calidad. Especialistas de la OCDE,
ANUIES, SEP-Hacienda-Congreso, entre otros.

8. Ámbitos e instancias de evaluación a
nivel individual
Alumnos Personal Académico
Ámbito Trayectoria Proceso Organismo Ámbito Trayectoria Proceso Organismo
IES IES: Exámenes
Ingreso Evaluación CENEVAL
Ingreso Evaluación de Oposición
A nivel A nivel
individual
individual IES IES: Procesos de
Trayecto Evaluación CENEVAL promoción y
Personal permanencia
Alumnos Académico Promoción y
Permanencia Evaluación SEP-IES:
Programas de
estímulos
Evaluación y IES, SEP y
Egreso Certificación CENEVAL SNI y PROMEP

9. Ámbitos e instancias de evaluación
y acreditación en el nivel de programas
Ámbito Proceso Organismo
IES
CIEES
Evaluación SEP-CONACYT
SEP y gobiernos estatales
(RVOE)
Programas
Académicos
Organismos
Acreditación acreditadores de
COPAES

10. Ámbitos y organismos de evaluación,
acreditación y certificación a nivel institucional
Ámbito Proceso Organismo
Evaluación CIEES
Instituciones
FIMPES
Acreditación
Social o ANUIES
Institucional
CUMEX

11. Los retos de la coordinación: COCOEES
El desarrollo de los organismos de evaluación y
acreditación condujo a instancias estructuralmente aisladas
Instituciones
FIMPES CUMEX
CIEES
Programas
NIVELES
PNPC COPAES RVOE
Individuos
PROMEP
EGEL, EXANI Certificación
SNI
Evaluación Acreditación Certificación
PROCESOS

12. EVALUACIÓN DE LOS
ESTUDIANTES

13. Evaluación de los estudiantes
• ¿Quién la realiza?
• En las IES los profesores
• En evaluación externa el
CENEVAL
– El ingreso (EXANI)
– El egreso (EGEL)
– El trayecto (ExDial)
– Certificación
profesional (apoyo a los
Colegios y Asociaciones)
– Escoba UABC
– College Board
– Entre otras

14. Los Exámenes que opera el Ceneval
Exámenes de Ingreso
• EXANI I (educación media superior)
• EXANI II (educación superior)
• EXANI III (posgrado)
Exámenes de Egreso para la Licenciatura
• EGEL Ciencias de la vida y la conducta (11)
• EGEL Ciencias sociales y humanidades (10)
• EGEL Ingenierías y tecnologías (12)
Exámenes Diagnósticos para la Licenciatura
• EXIL-CBI
• ExTra-Es
• ECCyPEC
Otros proyectos por demanda
• Exámenes para la Certificación del Ejercicio Profesional (EUC)
• Acuerdo 286
• Enlace para educación media superior
• Instrumentos para las Universidades Tecnológicas (EGETSU)
• Exámenes para los egresados de Escuelas Normales
• Entre otros

15. Características y uso de los
EXÁMENES DE INGRESO

16. Características: aspectos técnicos
1. El diseño y elaboración del Perfil referencial del
examen es establecido por un Consejo
Técnico, integrado por especialistas en evaluación
educativa.
2. El contenido temático de las áreas es definido por
un Comité de Diseño en el que participan
representantes de instituciones públicas y privadas
de distintas regiones geográficas del país.

17. Características: aspectos técnicos
3. Exploran una muestra representativa de
conocimientos y habilidades.
4. Son pertinentes porque tienen una cobertura
suficiente y relevante de lo que se desea medir.
5. Pueden aplicarse a gran escala.
6. Cumplen con reglas de diseño y aplicación
estandarizadas, por lo que sus versiones son
equivalentes en contenido y grado de dificultad
aunque contengan una mezcla distinta de reactivos.

18. Características: aspectos técnicos
3. Exploran una muestra representativa de
conocimientos y habilidades.
4. Son pertinentes porque tienen una cobertura
suficiente y relevante de lo que se desea medir.
5. Pueden aplicarse a gran escala.
6. Cumplen con reglas de diseño y aplicación
estandarizadas, por lo que sus versiones son
equivalentes en contenido y grado de dificultad
aunque contengan una mezcla distinta de reactivos.

19. Características: aspectos técnicos
11. Contienen reactivos de diferentes grados de
dificultad.
Dificultad
(%)
Preguntas de un área

20. Características: aspectos técnicos
11. Contienen reactivos de diferentes grados de
dificultad.
Dificultad
(%)
Preguntas de un área

21. Características: aspectos técnicos
12. Se califican de manera automatizada, a fin de
aplicar los mismos criterios para toda la población
13. Los reactivos son elaborados y validados por
distintos Comités, integrados por académicos
adscritos a diversas instituciones públicas y
privadas y fueron capacitados en la generación y
revisión de reactivos, siguiendo especificaciones
puntuales para cada tarea.

22. Características: aspectos técnicos
14. Antes de integrarse a un examen, los reactivos son
probados en muestras nacionales.
15. Las versiones únicamente incluyen reactivos que
cumplen con los parámetros de
dificultad, discriminación y correlación punto
biserial exigidos por la Dirección Técnica y de
Investigación del Ceneval.

23. Características: aspectos técnicos
Normativo Comparara el resultado del sustente respecto
de los demás individuos que presentan el
mismo examen.
Sustentantes Sustentantes
no aceptados aceptados

24. Características: aspectos técnicos
Criterial Compara el desempeño del sustentante
respecto de niveles de logro que definen
qué debe saber hacer y qué debe conocer.
Sobresaliente
Satisfactorio
Elemental

25. Características: aspectos técnicos
¿Qué tanto afecta a la vida Alto
Impacto
académica del sustentante?
Bajo
Alta
Sensibilidad ¿Qué tanto se relaciona con
los contenidos curriculares del Moderada
nivel previo?
Baja

26. Características: oferta de pruebas
Diagnóstico al egreso Pronóstico Admisión Diagnóstico al ingreso
IMPACTO
SENSIBILIDAD ALTO BAJO
A LA INSTRUCCIÓN
ALTA EXANI-I
Módulos
EGREMS
EXANI-I EXANI-II
MODERADA Selección Módulos
EXANI-III
Investig. Pre
BAJA EXANI-II EXANI-II
Selección
EXANI-III
Profesion.

27. Características: oferta de pruebas
Diagnóstico al egreso Pronóstico Admisión Diagnóstico al ingreso
¿Cómo me ¿Cómo me iría en ¿Puedo cursar ¿Cuento con los
preparé en el IMPACTO el examen de estudios del conocimientos y
nivel previo?
SENSIBILIDAD admisión?
ALTO siguiente nivel? habilidades que me
BAJO
A LA INSTRUCCIÓN exige la institución?
ALTA EXANI-I
Módulos
EGREMS
EXANI-I EXANI-II
MEDIA Selección Módulos
EXANI-III
Investig. Pre
BAJA EXANI-II EXANI-II
Selección
EXANI-III
Profesion.
Criterial Normativo Normativo Criterial

28. El examen general para el
egreso de la licenciatura EGEL

29. Objetivo y alcance del EGEL
Objetivo:
– Identificar la medida en que los egresados de la Licenciatura
cuentan con los conocimientos y habilidades que son
esenciales para el inicio del ejercicio profesional en el país.
Provee información válida y confiable que contribuye a establecer,
fundamentalmente, tres aspectos:
1. El grado de idoneidad de cada egresado con respecto a un
estándar de formación nacional;
2. El nivel de eficacia de los programas y modalidades de formación
profesional que administran las IES;
3. Indicadores de rendimiento a partir de los cuales, los organismos
evaluadores y acreditadores respectivos, pueden identificar los
méritos de cada programa de licenciatura en cada IES.

30. Características del EGEL (1)
ATRIBUTO DEFINICIÓN
Especializado por Evalúa conocimientos y habilidades específicos de la Licenciatura
carrera que son críticos para iniciarse en el ejercicio de la profesión. No
profesional incluye conocimientos y habilidades profesionales genéricos.
De alcance Se diseñan y preparan para que tengan validez en todo el país. No
nacional está referido a un currículo en particular.
Estandarizado Cuenta con reglas fijas de diseño, elaboración, aplicación y
calificación.
Criterial Los resultados de cada sustentante se comparan contra un
estándar de desempeño nacional.
De máximo Permite establecer el nivel de rendimiento del sustentante, sobre
esfuerzo la base de que éste hace su mejor esfuerzo al resolver los
reactivos de la prueba.
De alto impacto Con base en sus resultados los sustentantes pueden titularse y las
IES obtienen un indicador de rendimiento académico.

31. Características del EGEL (2)
ATRIBUTO DEFINICIÓN
De opción Cada pregunta se acompaña de cuatro opciones de respuesta,
múltiple entre las cuales sólo una es la correcta.
Contenidos Permite determinar si los sustentantes son capaces de utilizar
centrados en lo aprendido durante su Licenciatura en la resolución de
problemas problemas y situaciones a los que típicamente se enfrenta un
egresado al inicio del ejercicio profesional.
Sensible a la Evalúa resultados de aprendizaje de programas de formación
instrucción profesional, los cuales son una consecuencia de la experiencia
educativa institucionalmente organizada.
Contenidos Contenidos validados por comités de expertos y centenares de
validados profesionistas en ejercicio en el país.
socialmente

32. Organización de contenidos de los
EGEL
1. Las Áreas: Se corresponden con las funciones o
ámbitos de actuación en los que se organiza el ejercicio
de la profesión
Los EGEL organizan
sus contenidos en 2. Las Subáreas: Se corresponden con las actividades que
cuatro niveles de típicamente realiza el profesionista en las funciones
anidamiento o profesionales (Áreas) contempladas en la prueba
desagregación, los
cuales se
corresponden con la 3. Los Temas: Se corresponden con las tareas o acciones
forma como se que son necesarias para llevar a cabo las actividades
organiza la propia profesionales (Subáreas) consideradas en la prueba
práctica profesional
4. Los Contenidos específicos: Se corresponden con los
conocimientos y habilidades asociados a la realización de las tareas
profesionales contempladas. Se definen en términos observables y
son utilizados como referentes para la elaboración de reactivos

33. Criterios para asignar Testimonios
de Desempeño
En cada EGEL el Consejo Técnico establece el criterio que debe cumplirse
para el otorgamiento de un Testimonio de Desempeño Satisfactorio o
Sobresaliente. En todos los casos, dicho criterio refiere a una determinada
cantidad de áreas en las que el sustentante debe alcanzar un resultado
satisfactorio o sobresaliente.
Ejemplo:

34. Reporte individual de resultados
Dictamen general
en el examen cada área del examen
Desempeño en
Satisfactorio
Políticas
SPEEDY GONZÁLEZ
Docencia,
Didáctica y educativas, formación y Investigación
currículo gestión y orientación educativa
evaluación educativa
DS DSS DS DS
1127 1188 1139 1091

35. Examen General para el Egreso de la Licenciatura en
Pedagogía - Ciencias de la Educación
EGEL-EDU
Descripción de los Niveles de Desempeño
El Examen General para el Egreso de la Licenciatura en Pedagogía-Ciencias de la Educación (EGEL-EDU) permite identificar el nivel de dominio o desempeño
logrado por el sustentante con respecto a los conocimientos y habilidades que el Consejo Técnico del Examen ha definido como necesarios para iniciarse eficazmente
en el ejercicio profesional. Para estos efectos, se definen dos niveles de dominio o desempeño para cada una de las áreas que lo componen:
Nivel de desempeño satisfactorio Nivel de desempeño sobresaliente
Didáctica y currículo. El sustentante considera y analiza referentes Didáctica y currículo. El sustentante, además de lo logrado en el nivel
teórico-metodológicos para el desarrollo de procesos específicos de satisfactorio, toma decisiones sobre las características y procedimientos para el
diseño, intervención y evaluación en los campos del currículo y de la diseño, aplicación y evaluación de propuestas curriculares y didácticas, y
didáctica. Reconoce los criterios y procedimientos para la elaboración de reconoce el impacto de aplicación de dichas propuestas. Propone acciones de
propuestas curriculares o didácticas que respondan a necesidades mejora y actualización en el campo didáctico y curricular.
específicas, así como los mecanismos para su evaluación.
Políticas educativas, gestión y evaluación educativa. El sustentante es Políticas educativas, gestión y evaluación educativa. Además de las
capaz de identificar el marco jurídico que fundamenta las corrientes y capacidades demostradas en el nivel de desempeño satisfactorio, el sustentante
políticas educativas en México, los postulados rectores de las políticas es capaz de analizar los elementos implícitos de la política, la gestión y la
educativas nacionales vigentes, los componentes de un plan de desarrollo evaluación educativa.
institucional y diferenciar los elementos de las prácticas de gestión
educativa.
Docencia, formación y orientación educativa. El sustentante es capaz Docencia, formación y orientación educativa. Además de las capacidades
de identificar necesidades y desarrollar propuestas de formación, del nivel de desempeño satisfactorio, el sustentante puede dar seguimiento y
capacitación y actualización docente al definir perfiles, contenidos, determinar adecuaciones a las acciones consideradas en una propuesta de
metodología y estrategias de evaluación. Además, es capaz de elaborar formación, capacitación y actualización docente; determinar y evaluar el impacto
diagnósticos y propuestas de orientación educativa (seleccionar objetivos, de estrategias de intervención en orientación educativa que permitan brindar
técnicas, procedimientos e instrumentos, y metodologías aplicables al atención a necesidades de los involucrados; evaluar el impacto de propuestas
contexto y a los proyectos); identificar características generales y educativas que utilicen tecnologías de la información y la comunicación.
seleccionar medios, recursos y materiales didácticos tecnológicos
pertinentes para el diseño de propuestas educativas.
Investigación educativa. El sustentante es capaz de identificar de Investigación educativa. El sustentante, además de demostrar el nivel de
manera general, las técnicas de investigación en educación. desempeño satisfactorio, es capaz de identificar los elementos constitutivos de
una investigación educativa: fuentes de información, preguntas de investigación,
hipótesis, conceptos clave y marco teórico.

36. Informe comparativo anual
IES 899 (58) 3.4 46.6 50.0
IES 921 (43) 7.0 39.5 53.5
IES 1016 (33) 9.1 72.7 18.2
IES 905 (95) 9.5 41.1 49.5
IES 908 (51) 11.8 37.3 51.0
IES 1090 (220) 15.0 68.6 16.4
IES 1021 (104) 15.4 76.0 8.7
IES 917 (90) 15.6 54.4 30.0
IES 1194 (53) 18.9 67.9 13.2
IES 1018 (62) 21.0 67.7 11.3
IES 1185 (85) 22.4 57.6 20.0
IES 1577 (40) 22.5 60.0 17.5
IES 1053 (109) 22.9 68.8 8.3
IES 908
IES 2432 (55)
11.8
23.6
37.3
70.9
51.0
5.5
IES 2192 (112) 24.1 62.5 13.4
(51)
IES 1191 (35) 28.6 65.7 5.7
IES 1400 (49) 30.6 63.3 6.1
NACIONAL (3,164) 31.2 54.1 14.7
IES 1225 (186) 32.3 57.0 10.8
IES 2101 (43) 32.6 44.2 23.3
IES 1571 (30) 33.3 56.7 10.0
IES 1192 (34) 35.3 61.8 2.9
IES 123 (34) 38.2 58.8 2.9
IES 1264 (31) 38.7 51.6 9.7
IES 1239 (67) 38.8 50.7 10.4
IES 1292 (198) 42.9 47.5 9.6
IES 1284 (67) 44.8 52.2 3.0
IES 1286 (77) 46.8 44.2 9.1
IES 1236 (53) 47.2 47.2 5.7
IES 942 (45) 48.9 44.4 6.7
IES 1152 (69) 49.3 46.4 4.3
IES 1295 (127) 52.8 35.4 11.8
IES 1213 (47) 68.1 31.9
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
SIN TESTIMONIO TESTIMONIO DE DESEMPEÑO TESTIMONIO DE DESEMPEÑO
SATISFACTORIO SOBRESALIENTE
36

37. EGEL aplicados
(1994 – 2011)
120,000 113,572
110,000
104,806
100,000
94,995
90,000
Número de sustentantes
84,727
80,000 74,569
76,932
70,000
60,000 60,800
53,730
50,000
48,427
40,000 37,674
30,000
24,122 28,666
853,305
20,000
11,014 18,065
(18 años)
8,294
10,000
234 9,325
3,353
0
1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011
Año
37

38. Resultados del EGEL-EDU
Fortalezas y debilidades en la
formación

39. Distribución en testimonios de desempeño del
conjunto de sustentantes del EGEL en Pedagogía –
Ciencias de la Educación durante 2011.
10.3%
35.7%
53.9%
Sin Testimonio (ST)
Testimonio de Desempeño Satisfactorio (TDS)
Testimonio de Desempeño Sobresaliente (TDSS)

40. Comparativo de los niveles de desempeño
alcanzados por el conjunto de sustentantes del
EGEL durante 2011 por área de conocimiento.
2.7%
100%
9.1% 8.5%
PORCENTAJE DE SUSTENTANTES .
90% 23.1%
80%
70%
58.2% 64.2%
60%
69.0% 44.0%
50%
40%
30%
20%
32.9% 33.4% 33.1%
10% 21.9%
0%
Didáctica Políticas Docencia, Investigación
y educativas, formación y educativa
currículo gestión y orientación
evaluación educativa
educativa
Aún No Satisfactorio (ANS) Desempeño Satisfactorio (DS) Desempeño Sobresaliente (DSS)

41. Distribución en testimonios de
desempeño del conjunto de
sustentantes del EGEL en Pedagogía –
Ciencias de la Educación durante 2012.
10.5 %
44.0%
45.5% Aún no satisfactiorio
Testimonio de desempeño
satisfactorio
Testimonios de desempeño
sobresaliente

42. Comparativo de los niveles de desempeño
alcanzados por el conjunto de
sustentantes del EGEL durante 2012 por
área de conocimiento.
120.0
2.1%
100.0
9.2% 8.9%
21.0%
80.0
54.7%
51.6%
60.0 60.9% 37.1% TDSS
TDS
ANS
40.0
20.0 41.9% 39.5% 43.2%
30.0%
0.0
Didáctica y currículo Polílicas, gestión y evaluación Docencia, formación, orientación Investigación educativa
educativas educativa y tutoría

43. El Premio Ceneval al Desempeño de
Excelencia-EGEL

44. El Premio Ceneval al Desempeño
de Excelencia-EGEL
Este premio tiene el propósito de reconocer y estimular a los
egresados de diversos programas de licenciatura que alcanzan un
desempeño excepcional en el EGEL y, con ello, promover la cultura
del mérito y la excelencia académica en las instituciones de
educación superior del país.
Se otorga a los egresados que:
a) alcancen un desempeño sobresaliente en todas y cada una de las
áreas que integran el EGEL
b) presenten por primera vez el EGEL y
c) tengan un año máximo de haber egresado de la licenciatura o estén
próximos a hacerlo

45. El Premio Ceneval al Desempeño
de Excelencia-EGEL
Los premiados obtienen:
Un diploma y una medalla alusivos
El reconocimiento público del logro alcanzado en el EGEL, en un
medio impreso de comunicación de alcance nacional
La participación en la ceremonia de entrega de los premios en la que
estarán presentes las autoridades de la SEP y funcionarios del
Ceneval.

46. Relación de sustentantes que obtuvieron el Premio
Ceneval al Desempeño de Excelencia en el EGEL en
Pedagogía – Ciencias de la Educación durante el tercer
cuatrimestre de 2011.
Nombre Institución de procedencia Campus
(orden alfabético)
Castrejón Gutiérrez María Fernanda Universidad del Valle de México Texcoco
Lecuona González Marcela Universidad de la Salle Bajío León
Osuna Márquez Josefa Universidad del Valle de México Hermosillo
Tijerina Villarreal Diana Marcela Universidad Panamericana Insurgentes
Villafuerte Díaz Yunuen Centro Universitario ETAC Nodo Tulancingo

47. Relación de sustentantes que obtuvieron el Premio
Ceneval al Desempeño de Excelencia en el EGEL
de Pedagogía – Ciencias de la Educación
en el primer cuatrimestre de 2012.
Nombre Institución Campus
González Valles Nancy Universidad Autónoma de Cd Juárez
Cd Juárez
Hernández Hidalgo Zayra Universidad Autónoma de Cd Juárez
Alicia Cd Juárez
Gutiérrez Miranda María Universidad Autónoma de Pachuca
del Carmen Hidalgo
Valdez Huerta Debra Universidad del Puerto Peñasco
Serelh Desarrollo Profesional
Martínez Sánchez Luz Universidad Anáhuac Norte
Adriana

48. Hacia donde vamos a…
• Incorporar a los marcos de referencia de los • Desarrollar un
procesos de evaluación y acreditación de instrumento, de alcance
programas educativos e instituciones vigentes, nacional, que mida la
los indicadores de rendimiento académico de
percepción de los egresados
los programas educativos basados en los
de las IES acerca de las
resultados de los EGEL, como una categoría de
análisis esencial. competencias adquiridas
• Incorporar, como información complementaria (o
durante su formación y la
alternativa en los casos de los programas que no empleabilidad.
cuenten con EGEL) los indicadores de
resultados de aprendizaje derivados de
pruebas que midan perfiles de egreso.

49. Conclusiones
• El modelo de evaluación,
acreditación y aseguramiento de
la calidad en México está en fase
de revisión y mejora.
– Aún está desarticulado pero a
través de COCOEES se busca
su armonización y
congruencia interna.
– En 2012, se espera concluir
con nuevos marcos de
México necesita para
referencia integrados.
internacionalizarse esta integración y
establecer claras políticas en este
sentido.

50. Muchas gracias
Evaluar…
Una buena medida para educar mejor.

51. ¿Preguntas?