Analisi s prueba enlace ems 2015

Las pruebas ENLACE
para educación media superior
Una evaluación para el Instituto Nacional
para la Evaluación de la Educación
ANEXO

ANEXO
Cuaderno de investigación
Felipe Martínez Rizo
Coordinador
Luis Ángel Contreras Niño • Eugenio González
Jesús M. Jornet Meliá • Ma. Regina Martínez Casas
J. Felipe Martínez Fernández • María Guadalupe Pérez Martínez
Francisco E. Reyes Jiménez • Lucrecia Santibáñez
Guillermo Solano Flores • Marianne Sandy Taut
Agustín Tristán López
Universidad Autónoma de Aguascalientes
40
Una evaluación para el Instituto Nacional
para la Evaluación de la Educación
Las pruebas ENLACE
para educación media superior

D.R. © Instituto Nacional para la Evaluación de la Educación
Barranca del Muerto 341, Col. San José Insurgentes,
Del. Benito Juárez; C.P. 03900 México, D.F.
Editora
María Norma Orduña Chávez
Corrección de estilo
Hugo Soto de la Vega
Formación
Heidi Puon Sánchez
Impreso y hecho en México.
Distribución gratuita. Prohibida su venta.
Consulte el catálogo de publicaciones en línea: www.inee.edu.mx
La elaboración de esta publicación estuvo a cargo de la Dirección General
de Difusión y Fomento de la Cultura de la Evaluación. El contenido,
la presentación, así como la disposición en conjunto y de cada página
de esta obra son propiedad del INEE. Se autoriza su reproducción parcial
o total por cualquier sistema mecánico o electrónico para fines
no comerciales y citando la fuente de la siguiente manera:
Martínez Rizo, F. (Coord.) (2015). Las pruebas ENLACE para educación
media superior. Una evaluación para el Instituto Nacional para la Evaluación
de la Educación. México: INEE.
Las pruebas ENLACE para educación media superior
Una evaluación para el Instituto Nacional para la Evaluación de la Educación
Primera edición, 2015
ISBN: En trámite
Coordinador
Luis Ángel Contreras Niño, Eugenio González,
Jesús M. Jornet Meliá, Ma. Regina Martínez Casas,
J. Felipe Martínez Fernández, María Guadalupe Pérez Martínez,
Francisco E. Reyes Jiménez, Lucrecia Santibáñez,
Guillermo Solano Flores, Marianne Sandy Taut,
Agustín Tristán López

5
Índice
Presentación ................................................................................................................... 7
Introducción ................................................................................................................. 11
Alineación a los referentes .......................................................................................... 14
Aspectos técnicos ......................................................................................................... 45
Atención a la diversidad .............................................................................................. 63
Aplicaciones ................................................................................................................. 78
Usos y consecuencias ................................................................................................... 99
Conclusiones y recomendaciones ............................................................................. 136
Referencias bibliográficas.......................................................................................... 147
Anexos
1. Criterios y subcriterios de evaluación ......................................................................................... 1149
2. Informe de estudios especiales de comités de expertos
y entrevistas cognitivas sobre reactivos de enlace-ms
3. Microanálisis de una muestra de reactivos de enlace-ms
4. Información de entidades sobre aplicaciones
5. Resultados de encuesta de autoridades estatales sobre usos y consecuencias
6. Material de entrevistas con autoridades estatales y federales sobre usos y consecuencias
7. Revisión de prensa

DIRECTORIO
JUNTA DE GOBIERNO
Sylvia Irene Schmelkes del Valle
CONSEJERA PRESIDENTA
Eduardo Backhoff Escudero
CONSEJERO
Gilberto Ramón Guevara Niebla
CONSEJERO
Margarita María Zorrilla Fierro
CONSEJERA
Teresa Bracho González
CONSEJERA

7
Presentación
En diciembre de 2009 la Universidad Autónoma de Aguascalientes (UAA) y el Instituto Na-
cional para la Evaluación de la Educación (INEE) firmaron un convenio, en cuyo marco el INEE
encomendó a la UAA la realización del Estudio de validación de las pruebas ENLACE y EXCALE
de educación básica, para lo cual el 1 de octubre de 2013 se firmó un Anexo de Ejecución del
convenio mencionado.
Dicho Anexo de Ejecución precisa que el estudio analizará varios aspectos de las pruebas
ENLACE y EXCALE,
con base en la documentación que sobre su diseño, aplicación, resultados y la utilización y
consecuencias de los mismos aporten la SEP [Secretaría de Educación Pública] y el INEE y, en la
medida en que sea necesario, en información adicional proporcionada por personas de la SEP,
el INEE y los sistemas educativos de las entidades federativas del país, en relación con aspectos
de los que no haya elementos suficientes en la información documental que se recabe.
Se añade que el estudio incluirá recomendaciones
que tengan en cuenta las mejores prácticas internacionales […] de manera que el desarrollo
del sistema nacional de evaluación de México, en lo relativo a educación básica, incluya
evaluaciones de aprendizajes en gran escala que, por la calidad de su diseño y aplicación,
así como por el uso que se haga de sus resultados, contribuyan en la mayor medida posible
al propósito de mejorar la calidad de la educación mexicana.
El Anexo precisa que los aspectos que comprenderá el estudio serán:
1. La alineación al currículo de la educación básica de México, revisando el grado en que
las pruebas atienden adecuadamente y según la naturaleza de una evaluación en gran
escala, los campos formativos, las asignaturas y los niveles de demanda cognitiva consi-
derados en los planes y programas de estudio de la educación básica nacional.
2. Los aspectos técnicos de las pruebas, como la calidad de los reactivos que las integran,
la de las versiones de las pruebas, las escalas y modelos psicométricos utilizados, las
técnicas de equiparación, entre otros.
3. La forma en que las pruebas atienden las diferencias culturales y lingüísticas que hay
entre los estudiantes de un sistema educativo de grandes dimensiones, en un país que
se define como multicultural, y las implicaciones de lo anterior.
4. La forma en que se llevan a cabo las aplicaciones de las pruebas, tanto censales como
muestrales, y las implicaciones que tienen para la calidad de los resultados.
5. La forma en que se difunden los resultados de las pruebas, los análisis de factores aso-
ciados y el uso que se hace de dichos resultados, así como las consecuencias que ha
traído consigo su utilización en el sistema educativo.

8
LaspruebasENLACEparaeducaciónmediasuperior
El Anexo de octubre 2013 consideraba cuatro etapas, pero en abril de 2014 el INEE solicitó
incluir las pruebas ENLACE de educación media superior (ENLACE-MS en adelante), para lo que
en junio se suscribió un Addendum al Anexo, con lo que el trabajo comprende cinco etapas,
de las cuales la cuarta corresponde al análisis de ENLACE-MS y la quinta a conclusiones y reco-
mendaciones generales.
A diferencia de las pruebas que se refieren a educación básica, las que se aplican a estudiantes
de enseñanza media superior no pueden utilizar como referente para su construcción un cu-
rrículo nacional, dado que no lo hay. Lo que existe es un marco común de competencias que
todos los subsistemas que comprende el sistema educativo nacional en este tipo educativo
deben atender.
Por ello, para el análisis de las pruebas ENLACE-MS, el grupo de especialistas juzgó adecuado
llevar a cabo dos actividades —que no se consideraron necesarias en el caso de los otras prue-
bas—, para explorar el grado en que los ítems evalúan competencias que no se limiten a las más
elementales, sino que incluyan algunas que impliquen niveles de demanda cognitiva como los
que se espera que alcancen los alumnos de ese tipo educativo: por una parte, la formación de
comités de validación conformados por profesores de media superior y otros expertos en las dos
áreas que cubren las pruebas de ENLACE-MS (matemáticas y lectura), y por otra, la realización
de entrevistas cognitivas con estudiantes del nivel.
Las demás actividades fueron similares a las de las etapas anteriores, por lo que se describen
sintéticamente como sigue:
• Una vez que el grupo de trabajo estuvo de acuerdo en añadir una etapa relativa a EN-
LACE-MS, y sin esperar a la firma del Addendum al Anexo de Ejecución, Luis Ángel
Contreras, con apoyo de Jesús Jornet y Guillermo Solano, aceptó hacerse cargo de la
coordinación de las dos tareas especiales a las que se ha hecho referencia.
• De inmediato se solicitó a la Dirección General de Evaluación de Políticas (DGEP) de la SEP
la información documental disponible sobre las pruebas de ENLACE-MS.
• Aprovechando la reunión presencial del 16 y 17 de junio en que se revisó la primera
versión del informe sobre EXCALE, se invitó a personal de la DGEP y el Centro Nacional
de Evaluación para la Educación Superior (CENEVAL), buscando ampliar la información
documental recibida en un primer momento.
• Los comités de validación con profesores y otros expertos tuvieron lugar en Ensenada del
7 al 10 de julio 2014, y las entrevistas cognitivas del 23 al 25 del mismo mes, en la Ciudad
de México. En los comités participaron 8 profesores de media superior, 2 especialistas
para el área de lectura, y otros tantos para la de matemáticas. Los estudiantes que parti-
ciparon en las entrevistas cognitivas fueron 18, 9 para cada área.
• Personal de la UAA llevó a cabo nuevas entrevistas a funcionarios de seis entidades fe-
derativas y de las direcciones generales de la Subsecretaría de Educación Media Superior
a cargo de los principales subsistemas federales de ese tipo educativo; asimismo envió
cuestionarios en línea a todas las entidades y revisó diarios de circulación nacional.
• En julio y agosto de 2014 cada par de especialistas trabajó revisando la documentación
sobre ENLACE proporcionada por el CENEVAL, por conducto de la DGEPE.
• El 29 de agosto los subgrupos de especialistas hicieron llegar una primera versión del
análisis de ENLACE-MS a la coordinación, que integró los avances en un documento que
se envió al grupo el 5 de septiembre.

9Presentación
• La primera versión del texto integrado se discutió en reunión presencial de todos los
miembros del grupo los días 8 y 9 de septiembre.
• Los especialistas prepararon luego una segunda versión del análisis de ENLACE-MS, y
el 3 de octubre enviaron sus respectivos productos a la coordinación, que elaboró esta
versión final integrada del cuarto informe.
Como en los casos anteriores, se contemplaba que la entregada en el mes de octubre no fuera
la versión definitiva del análisis de las pruebas ENLACE de educación media superior, y que sus
conclusiones podrían ser complementadas en el informe final a entregarse en diciembre. Sin
embargo en este caso los autores no consideramos necesario hacer modificaciones a la versión
anterior, por lo que ésta retoma sin cambios la entregada en el mes de octubre.
Reiteramos que nuestros análisis y valoraciones se refieren siempre a nuestro objeto de estudio
y de ninguna manera a las numerosas personas involucradas en su desarrollo, su aplicación y el
procesamiento de resultados. También señalamos de nuevo que este informe es producto del
trabajo colectivo del grupo, si bien cada par de especialistas tuvo una participación principal en
el apartado que le correspondía. Los momentos de discusión colectiva permitieron enriquecer
las aportaciones de cada persona con la visión del resto, lo que llevó a un grado de consenso
considerable, aunque no absoluto.
Aguascalientes, diciembre de 2014

11
Introducción
Los dos informes anteriores del proyecto incluyeron sendos apartados en los que se precisa la
noción de validación, las de confiabilidad y validez, y los criterios de evaluación que se utilizan
en el análisis encomendado al grupo. En este tercer informe no consideramos necesario reiterar
la presentación de dichas nociones, pero sí los criterios de evaluación utilizados.
En el primer informe, a partir de una revisión de la literatura especializada, se llegaba a la pro-
puesta de 72 criterios particulares que serían la base para llevar a cabo el estudio, sin contar
tres criterios adicionales de carácter general. De esos criterios 11 se referían a lo que en ese mo-
mento se caracterizó como validez de contenido, y en particular a la alineación de las pruebas al
currículo; 16 a la validez de constructo, y otros aspectos técnicos de las pruebas; 12 a la validez
cultural; 16 tenían que ver con las aplicaciones y sus implicaciones para confiabilidad y validez;
y 17 se referían a la validez de usos y consecuencias de las pruebas.
A lo largo del trabajo el listado de criterios definido inicialmente se modificó, para quedar en 59
criterios y 102 subcriterios. Por último, al hacerse el análisis de las pruebas ENLACE de educa-
ción media superior se hizo un nuevo ajuste, quedando finalmente 58 criterios y 97 subcriterios.
Además de ajustar el número de criterios y subcriterios, a partir del cuarto informe se decidió
modificar la manera de designar los cinco aspectos a considerar, para lo que inicialmente se
utilizaban expresiones que incluían el término validez, con diversas precisiones. Considerando
las discusiones entre los especialistas al respecto, y siguiendo el criterio expresado desde 1999
en los estándares de la Asociación Estadounidense de Investigación Educativa, la Asociación
Estadounidense de Psicología y el Consejo Nacional de Evaluación en Educación (AERA, APA y
NCME, por sus siglas en inglés, respectivamente), el cual se ratificó en la versión más reciente
de esos estándares, difundida en agosto de 2014, se decidió finalmente usar una terminología
que no implique posturas específicas sobre la noción de validez.
La tabla siguiente presenta la distribución de los criterios utilizados en este informe sobre ENLA-
CE de educación media superior, que será la misma que se utilice en el informe final.
Aspecto Áreas Criterios Subcriterios
1 Alineación a los referentes 11 25
2 Aspectos técnicos 8 33
3 Atención a la diversidad 12 —
4 Aplicaciones 16 39
5 Usos y consecuencias 11 —
TOTALES 58 97
Tabla 1 Áreas, criterios y subcriterios de evaluación utilizados

12
A continuación puede verse un listado de los 58 criterios utilizados, enunciados en forma sin-
tética; en el anexo 1 se podrá encontrar su formulación in extenso, con los subcriterios corres-
pondientes.
ALINEACIÓN A LOS REFERENTES
1. Teoría de contenido, curricular u otro.
2. Definición de especificaciones.
3. Determinación de la importancia relativa de contenidos.
4. Representatividad de ítems y subescalas frente a subdominios y dominio.
5. Complejidad cognitiva del contenido.
6. Manual de diseño de reactivos.
7. Comité de redacción de ítems.
8. Manual de análisis de reactivos.
9. Comité de revisión de reactivos.
10. Sistema de revisión lógica de ítems.
11. Alineación de la prueba al currículo en general.
ASPECTOS TÉCNICOS
1. Documentación de evidencias de diversos tipos de validez.
2. Procesos para desarrollo de las pruebas, equivalencia y periodicidad.
3. Calibración y análisis psicométrico de las pruebas.
4. Confiabilidad.
5. Análisis psicométrico y calidad de ítems.
6. Calidad de los bancos de ítems.
7. Calificación.
8. Niveles de desempeño e interpretación de resultados.
ATENCIÓN A LA DIVERSIDAD
1. Marco conceptual de la prueba.
2. Especificación de las poblaciones.
3. Estrategia sobre diversidad cultural, lingüística y socioeconómica.
4. Especificación de ítems.
5. Profesionales involucrados en el desarrollo de los ítems.
6. Representación de poblaciones diversas en las muestras para piloto.
7. Validación cognitivo-cultural.
8. Revisión de ítems.
9. Análisis de sesgo.
10. Estudios de generalizabilidad.
11. Tiempos y calendarios.
12. Mecanismos de corrección.

13Introducción
APLICACIONES
1. Listado de escuelas actualizado y confiable.
2. Muestras con diseño sólido.
3. Coincidencia universo planeado-real.
4. Coincidencia muestra obtenida muestra planificada.
5. Planificación de aplicaciones.
6. Manuales para personal a cargo de las aplicaciones.
7. Minimización de carga de respuesta.
8. Motivación de los sujetos para responder.
9. Cuidado de no respuesta.
10. Cuidado con copia u otras formas de fraude.
11. Control de calidad de las aplicaciones.
12. Manuales para procesamiento de datos.
13. Personal para manejo de los datos.
14. Cuidado de la calidad de las bases de datos.
14. Lectura, procesamiento y verificación de los datos.
16. Notificación de irregularidades.
USOS Y CONSECUENCIAS
1. Soporte de usos y consecuencias previstas.
2. Documentación de consecuencias previstas.
3. Oportunidad de difusión y equidad de acceso a resultados.
4. Desarrollo de capacidad de interpretación de resultados.
5. Comunicación de propósitos, características, usos y consecuencias.
6. Claridad y precisión del lenguaje.
7. Marco normativo para evaluar el desempeño de los examinados.
8. Minimización de interpretaciones incorrectas o estigmatizantes.
9. Atención de usos o interpretaciones inapropiadas imprevistas.
10. Documentación de usos o consecuencias imprevistas.
11. Investigación y corrección de usos inapropiados.
Las cinco partes principales del informe presentan los resultados del análisis hecho por los es-
pecialistas según estos criterios. Después de las conclusiones se incluyen los anexos listados en
la tabla de contenido.

14
1 Alineación a los referentes
CONSIDERACIONES PREVIAS
Para el caso de las pruebas ENLACE-MS nuestro análisis consideró los siguientes aspectos:
• Como ya se señaló cuando se analizaron las pruebas ENLACE de educación básica, las
pruebas censales presentan una condición inicial que influye decisivamente en la repre-
sentatividad del dominio curricular que buscan evaluar: las exigencias en cuanto a los
medios e infraestructura necesarios para llevar su aplicación determinan que tengan
necesariamente una longitud limitada, por lo que cualquier prueba censal parte de esta
condición desventajosa.
• A pesar de lo anterior, el grado de representatividad de una prueba censal puede propi-
ciarse mediante procedimientos rigurosos. Así, nuestro análisis buscará determinar si los
procesos utilizados se han llevado a cabo con el rigor requerido para asegurar la calidad
de la representatividad curricular de la prueba.
• La prueba ENLACE-MS viene desarrollándose desde 2008 y hasta 2014. Durante ese
periodo se aprecia una evolución importante en sus procesos metodológicos, particular-
mente para ajustarse a la reforma curricular de la educación media superior de 2011. No
obstante, en este trabajo no se pretende efectuar una valoración histórica de su diseño,
sino de comprobar el nivel de calidad que la prueba ha alcanzado en su versión actual.
• En consecuencia, consideramos que las evidencias más relevantes para valorar la ca-
lidad de la prueba son el último manual técnico publicado (Manual_Tecnico_ENLA-
CEMS_2011_2012) y el recientemente difundido para docentes y directivos escolares
(Manual_Docente_ENLACEMS_2014), así como los documentos técnicos complementa-
rios que fue necesario solicitar a la Dirección General de Evaluación de Políticas (DGEP) de
la Secretaría de Educación Pública (SEP). Otras evidencias anteriores a las mencionadas se
emplearán únicamente como vía para entender y explicar mejor los factores asociados a
su diseño, los cuales han tenido impactos positivos o negativos en su calidad actual. En
todo caso, este comité ha tenido en cuenta todas ellas.
ANÁLISIS DEL CURRÍCULO U OTRO REFERENTE CUYO DOMINIO SE EVALÚA
1. Se cuenta con un documento que revisa la teoría del contenido (curricular u otro)
y es el marco teórico que orienta el desarrollo de la prueba.
tt Presenta una revisión de la teoría acerca del contenido o marco teórico que orienta el desa-
rrollo de la prueba.

15Alineación a los referentes
Un factor decisivo para juzgar en qué medida ENLACE-MS refleja el contenido curricular y su
marco teórico, es la amplia dispersión del currículo de la educación media superior (EMS) en
México. A diferencia de las pruebas ENLACE de educación básica y EXCALE, que tuvieron como
referente para su diseño un currículo de la educación básica único a nivel nacional, las prue-
bas ENLACE-MS no tuvieron un referente curricular único. El documento “Manual_Tecnico_
ENLACEMS_2011_2012” da cuenta de la gran diversidad de subsistemas que hay en el bachille-
rato y la existencia de más de 200 currículos en el ámbito nacional (pág. 18). En consecuencia,
inicialmente se optó por un diseño de las pruebas
abocado a habilidades generales que son parte fundamental en la EMS y en todos los
perfiles de egreso: Habilidad Lectora y Habilidad Matemática. Estas habilidades son trans-
versales, es decir, se desarrollan a lo largo de la historia escolar y fuera de ella, además se
manifiestan de modo diferencial en los individuos, lo que permite identificar diferentes
niveles de dominio. Entre 2008 y 2010, la evaluación significó un diagnóstico del desarrollo
de los sustentantes en esas dos áreas de habilidad [pág. 18].
No obstante, tras la aparición del Acuerdo 442 de la SEP (Diario Oficial de la Federación, 26 de
septiembre de 2008), por el que se establece el sistema nacional de bachillerato en un marco
de diversidad, las instituciones que imparten la educación media superior en el país adoptaron,
de manera gradual y progresiva entre 2009 y 2011, un Marco Curricular Común (MCC) con base
en competencias. De este modo, el Centro Nacional de Evaluación para la Educación Superior
(CENEVAL), organismo que ha desarrollado la prueba ENLACE-MS por encargo de la DGEP de la
SEP, pudo contar con elementos para estructurar un nuevo marco de referencia de la prueba, el
cual estuvo caracterizado por retomar
únicamente aquellos aspectos del MCC que pueden ser evaluados mediante una prueba
diagnóstica, objetiva, estandarizada, de bajo impacto y con reactivos de opción múltiple,
cuya aplicación es censal y se realiza en sesiones de 50 minutos. Además, uno de los
principales objetivos del instrumento es entregar un reporte de resultados individual a los
alumnos donde se identifica su nivel de dominio en cada una de las áreas evaluadas [CENE-
VAL, 2013a: 14].
Para transitar de la versión de ENLACE-MS que estuvo vigente hasta 2010 a la nueva versión
de la prueba, que se aplicó desde 2011, el CENEVAL y su Consejo Técnico “establecieron la im-
portancia de dar continuidad al proceso evaluativo y a las especificaciones técnicas propias del
perfil original, pero instituyeron como propósito prioritario obtener información acerca del de-
sarrollo de los alumnos en relación con los objetivos y competencias determinadas por la RIEMS
[Reforma Integral de la Educación Media Superior]” (CENEVAL, 2013a: 33).
No obstante, para desarrollar la prueba ENLACE-MS solo se incluyó como referente una porción
de la competencias que incluye la estructura del MCC de la RIEMS (Manual_Docente_ENLA-
CEMS_2014: 8), misma que se muestra sombreada en el cuadro 1.1.
Además, lo anterior significó definir como el nuevo objetivo de la prueba ENLACE-MS “brindar
un diagnóstico del nivel de dominio de los sustentantes en dos de los cuatro campos disci-
plinares básicos incluidos en la RIEMS: Comunicación (Comprensión lectora) y Matemáticas”
(CENEVAL, 2013a: 21).

16
Cuadro 1.1 Competencias que se promueven mediante el MCC
Competencias Descripción
Genéricas Comunes a todos los egresados de la EMS.
Disciplinares
Básicas
De caracter propedeútico, dependen del subsistema.
Extendidas
Profesionales
Básicas Formación elemental para el trabajo.
Extendidas Para el ejercicio profesional.
La documentación revisada no permite determinar en qué medida las decisiones generales
respecto a los componentes del MCC de la RIEMS que deberían ser evaluados por ENLACE-MS
fueron tomadas únicamente por el CENEVAL y su Consejo Técnico, aunque al parecer fue así,
según se establece en el documento aportado por la DGEP que lleva por título “Delimitación
del objeto de medida ENLACE-MS RIEMS. Tareas de adaptación del perfil original y alineación
al MCC” (s/f), donde se establece que
la adaptación de la prueba ENLACE-MS implicó que el Consejo Técnico se ocupara del
diseño de la evaluación y revisara el perfil referencial (PR) establecido en 2008 para definir
los aspectos que se mantendrían y aquellos que, en congruencia con la RIEMS, orientarían
las actividades de medición hacia el nivel de desarrollo de los sustentantes en relación con
el MCC (pág. 4).
Tampoco se comenta si también involucraron la participación de la DGEP o de representantes
de las instituciones de EMS que serían afectadas por la evaluación. Lo que menciona el Manual
técnico ENLACE Media Superior 2011-2012 es que fueron invitados a participar en los comités
académicos, el comité diseñador y el de validación, profesores y especialistas en el currículo de
diversas instituciones de bachillerato tecnológico, general y bivalente quienes, en el primer caso
estudiaron las áreas, contenidos temáticos y procesos cognitivos de la ENLACE-MS prueba
ENLACE-MS anterior, los referentes técnicos y operativos de la RIEMS y diferentes marcos
teóricos de pruebas estandarizadas nacionales e internacionales, entre ellas PISA (Programa
Internacional de Evaluación de Alumnos), TIMSS (Estudio de las Tendencias en Matemáticas
en Ciencias), SABER, ACREDITA-BACH, entre otras (pág. 35).
Asimismo no se hace explícito cómo procedieron a efectuar
una revisión de los planes y programas de diferentes modalidades y direcciones de EMS:
DGB (Dirección General de Bachilleratos), CONALEP (Colegio Nacional de Educación Profe-
sional Técnica), CCH (Colegio de Ciencias y Humanidades), Bachilleres y Bachilleratos Tec-
nológicos, con la finalidad de identificar los contenidos comunes a todas las opciones de
EMS y establecer el contexto que apoyaría la redefinición de los mismos y los procesos
cognitivos por evaluar [pág. 35].
Por su parte, el comité de validación procedió a convalidar algunas de esas decisiones; en par-
ticular la “pertinencia y relevancia de los contenidos y taxonomía establecida para cumplir con
los propósitos de ENLACE-MS” (pág. 36).

Lo cierto es que la prueba ENLACE-MS solo evalúa uno de los cuatro tipos de competencias que
establece el MCC de la RIEMS: las disciplinares básicas; y de ellas solo evalúa el dominio de dos
de los cuatro campos disciplinares básicos incluidos en la reforma: Comunicación (Comprensión
lectora) y Matemáticas. Además, del campo de Comunicación (Comprensión lectora), retoma
solo 7 de las 12 competencias que establece el perfil de egreso en el MCC, y en el campo de
Matemáticas se retomaron 6 de las 8 competencias que establece el MCC.
El Manual técnico ENLACE Media Superior 2011-2012 (pág. 23) ofrece una comparación entre
las pruebas ENLACE-MS que operaron durante el periodo 2008-2010 y las nuevas que operan
a partir de 2011, la cual se presenta en el cuadro 1.2.
Cuadro 1.2 Características de los perfiles de la prueba ENLACE MS
Características 2008-2010 2011-2012
Generales
Evalúa dos habilidades básicas:
• Habilidad lectora
• Habilidad matemática
Presenta un total de 140 reactivos:
50 y 90, respectivamente.
Se evalúa con base en contenidos
(tipos de texto) y en grupos
de procesos cognitivos.
Evalúa indicadores de competencias
de dos campos disciplicares:
• Comunicación
(comprensión lectora)
• Matemáticas
Presenta un total de 110 reactivos:
50 y 60, respectivamente.
Se evalúa con base en contenidos
(tipos de texto) y en grupos
de procesos cognitivos.
Habilidad lectora/
Comunicación
(comprensión lectora)
Se utilizan cuatro tipos de texto:
• Apelativo
• Argumentativo
• Expositivo
• Narrativo
Con tres procesos jerarquizados
en niveles de dificultad:
• Extracción
• Interpretación
• Reflexión y evaluación
Se utilizan cuatro tipos de texto:
• Apelativo
• Argumentativo
• Expositivo
• Narrativo
• Extracción
• Interpretación
• Reflexión y evaluación
Habilidad matemática/
Matemáticas
Se evalúan cuatro contenidos:
• Cantidad
• Espacio y forma
• Cambios y relaciones
• Matemáticas básicas
• Reproducción
• Conexión
• Reflexión
Se evalúan cuatro contenidos:
• Cantidad
• Espacio y forma
• Cambios y relaciones
• Reproducción
• Conexión
• Reflexión
El documento también señala (págs. 21 y 22) que a pesar de tales cambios, se preservó la
manera en que se concibieron los constructos implicados. Así, en el caso de la Comprensión
lectora la evaluación
continúa realizándose a partir de cuatro tipos de textos (expositivo, narrativo, argumen-
tativo y apelativo) y tres procesos cognitivos (extracción, interpretación, y reflexión y eva-

18
luación). El total de reactivos asociados a esta área también se conservó (50), aunque se
redistribuyeron los subtotales por tipo de texto. La redistribución de reactivos por grupo de
procesos implicó eliminar, construir y modificar algunas especificaciones para conformar la
nueva estructura. En total se eliminaron 13 especificaciones, se crearon otras 13, se hicie-
ron modificaciones mínimas a 11 y 26 se dejaron sin cambio.
Para el caso del campo formativo de Matemáticas, el documento precisa que
se conservaron tres de los cuatro contenidos (cantidad, cambios y relaciones, espacio y for-
ma). Se eliminó por completo el contenido de matemáticas básicas puesto que correspon-
de con competencias disciplinares extendidas y la nueva prueba busca evaluar únicamente
los contenidos compartidos entre las diferentes opciones de bachillerato. Por lo anterior,
se redujo el total de reactivos de 90 a 60; se eliminaron 20 especificaciones de matemá-
ticas básicas, 5 especificaciones del área de cantidad y otras 5 de cambios y relaciones
por considerar que evaluaban habilidades meramente académicas sin aplicación en la vida
cotidiana [pág. 22].
El manual comenta también (pág. 23) que la
adaptación del instrumento implicó diversos procesos integrados y sistematizados median-
te diez fases propias de la metodología CENEVAL: diseño, delimitación del objeto de me-
dida, construcción, verificación, ensamble, aplicación, calificación, emisión de resultados,
mantenimiento del examen y del material complementario (CENEVAL, 2011). El desarrollo
de casi todas las tareas fue responsabilidad del Centro, con excepción de aquellas asociadas
a la aplicación, calificación y emisión de reportes, que estuvieron a cargo de la DGEP-SEP.
Cabe hacer notar la diferencia en cuanto al tratamiento del contenido cuyo dominio se evalúa
en ambas competencias. En el caso del campo formativo de Matemáticas, los contenidos (can-
tidad, cambios y relaciones, espacio y forma) corresponden a la estructura del campo discipli-
nario. En cambio, para la Comprensión lectora, en ocasiones se consideran como contenidos,
o reciben un tratamiento como tales, los tipos de texto (expositivo, narrativo, argumentativo y
apelativo) que pueden incluir o no contenidos que corresponden a la estructura disciplinaria. Al
respecto, obsérvese en el cuadro 1.3 ejemplos que ilustran la ambigüedad de las referencias que
se hacen en la documentación revisada al delimitar, caracterizar u operacionalizar el constructo
Comprensión lectora.
En todo caso, tales referencias ambiguas no contribuyen a una clara definición del constructo a
partir del marco teórico curricular. Como se verá más adelante, esta situación tuvo un impacto
en el diseño de la estructura de la prueba, el desarrollo de las especificaciones de ítems y en la
elaboración de éstos.
No obstante, puede decirse que siempre se contó con documentación que expusiera la teoría
del contenido curricular y que fuera el marco teórico que orientara el desarrollo de la prueba.
Los principales referentes mencionados en el Manual técnico ENLACE Media Superior son los
propios de la prueba ENLACE-MS anterior, los de otras pruebas nacionales e internacionales
como PISA, TIMSS, SABER, ACREDITA-BACH, entre otros referentes de los que se menciona
que fueron estudiados, y desde luego el citado Acuerdo 442 de la SEP y la documentación que
se generó en el marco del proceso de adopción de la RIEMS por parte de las instituciones de
educación media superior, así como la propia experiencia en el rediseño de su currículo para

adaptarlo a la RIEMS, por parte de las instituciones del bachillerato que fueron convocadas por
CENEVAL para participar en la parte inicial del desarrollo de la prueba.
Cuadro 1.3
Documento
Referencias a los tipos de texto
como contenidos de la prueba
Referencias a contenidos disciplinarios
que se retoman para la prueba
Manual técnico
ENLACE Media
Superior 2011-2012
Contenidos (subáreas). El contenido por
evaluar está asociado con el tipo de texto
del que se desprenden los reactivos que
miden la Comprensión lectora. Los cuatro
tipos de texto que contiene la prueba
ENLACE-MS se eligieron por considerarse
representativos del nivel educativo,
y porque reflejan funciones importantes
de la lengua. (pág. 37)
Siete competencias disciplinares básicas:
• Identifica, ordena e interpreta las ideas, datos y conceptos
explícitos e implícitos en un texto, considerando el contexto
en que se generó y en el que se recibe.
• Evalúa un texto mediante la comparación de su contenido,
sus conocimientos previos y nuevos.
• Identifica el uso normativo de la lengua,
considerando la intención y la situación comunicativa.
• Analiza un argumento preciso, coherente y creativo.
• Relaciona ideas y conceptos en composiciones coherentes y
creativas, con introducciones, desarrollo y conclusiones claras.
• Evalúa la secuencia o relación lógica en el proceso comunicativo
• Identifica e interpreta la idea general y posible desarrollo
de un mensaje escrito, recurriendo a conocimientos previos
y al contexto cultural (36 y 37).
Manual técnico
ENLACE Media
Superior 2011-2012
(pág. 44)
“Comité académico diseñador: es el responsable de la definición
de los contenidos por evaluar, los grupos de procesos cognitivos
y niveles de complejidad que explora la prueba y determinan
su estructura” (pág. 24).
La evaluación
objetiva de la
habilidad lectora
en la educación
media superior.
Marcos de referencia
2
“La habilidad lectora se definió en términos del contenido o
estructura del conocimiento que los estudiantes necesitan adquirir
a lo largo de su trayectoria escolar y los procesos que se requieren
llevar a cabo para comprender un texto” (pág. 36).
(pág. 42)

20
tt Se incluye análisis de áreas a evaluar que precise subdominios, contenidos, competencias y
niveles de demanda cognitiva que se deberán cubrir.
Otro elemento esencial para observar cómo aseguraron los diseñadores de ENLACE-MS que la
prueba representa de manera apropiada los subdominios curriculares y los niveles de demanda
cognitiva que éstos significan para el alumnado se encuentra en la metodología que siguieron
para ello. Como ya señalamos, los requerimientos metodológicos necesarios se ubican en el ám-
bito de desarrollo de pruebas referidas a un criterio (Hambleton, 1994; Nitko, 1995; Li y Sireci,
2005; Cizek, 2007; Sireci, 2009). En este enfoque evaluativo los principales procesos que deben
tenerse en cuenta para asegurar la representatividad son:
• Efectuar un análisis explícito del currículo como universo de medida. Ello implica utilizar
algún procedimiento de análisis y estructuración del dominio curricular, y documentar
como evidencia los dominios y subdominios involucrados y las relaciones entre ellos y
sus contenidos.
• Proporcionar el marco de referencia de la prueba que derivó del análisis curricular, mismo
que se evidencia en una tabla que refleje de manera formal la estructura de la prueba,
así como en tablas de especificaciones donde se hagan explícitos los componentes del
contenido y del nivel de demanda cognitiva que constituye cada unidad curricular para
el alumnado.
• El análisis debe ser realizado por un comité de especialistas, y validado posteriormente
por un comité diferente del anterior. Al integrar los comités se recomienda la inclusión
de especialistas diversos, entre ellos los que representan la diversidad socioeducativa y
cultural, en este caso, de México.
• Además, debe hacerse explícito cómo son capacitados los comités para llevar a cabo
estas tareas, y los procedimientos seguidos para producir los procesos de juicio y el esta-
blecimiento de decisiones (consenso intersubjetivo, síntesis cuantitativa, etcétera).
Tras revisar las evidencias aportadas al respecto, podemos realizar los siguientes comentarios y
señalar sus evidencias:
• Los manuales técnicos de ENLACE-MS 2008-2010 (pág. 36) y 2011-2012 (págs. 43-44)
incluyen una sección que presenta la estructura general de la prueba. Como puede ob-
servarse en el cuadro 1.4, dicha estructura se muestra en una tabla donde aparecen el
número de ítems por área disciplinaria, el tipo de contenido y el proceso cognitivo que
se evaluaron en la prueba.
Las únicas diferencias entre esta tabla y la que aparece en el manual de 2008-2010, se deben al
proceso seguido para la adaptación al MCC de la RIEMS; estas diferencias incluyeron principal-
mente: cambiar el foco de la medición (evaluación de habilidades) y la designación de Habilidad
lectora y Habilidad matemática, por la noción de indicadores de competencias en los campos
disciplinares Comunicación (Comprensión lectora) y Matemáticas (CENEVAL, 2013a: 22); elimi-
nar el contenido Matemáticas Básicas; y reducir de 90 a 60 el número de ítems para evaluar
el campo disciplinar Matemáticas. El documento señala que se preservó cerca de 70% de los
contenidos y procesos de la primera versión en la segunda.

Cuadro 1.4 Estructura ENLACE MS 2011-2012
Campo disciplinar Contenido
Número de reactivos por procesos
Total
Extracción Interpretación Relexión y evaluación
Comunicación
(Comprensión lectora)
Argumentativo
Narrativo
Expositivo
Apelativo
4
3
5
2
5
7
7
2
6
5
3
1
15
15
15
5
Reactivos por proceso 14 21 15 50
Reproducción Conexión Reflexión
Matemáticas Cantidad
Espacio y forma
Cambios y relaciones
6
6
5
7
8
8
7
6
7
20
20
20
Reactivos por proceso 17 23 20 60
Total de reactivos de la prueba 110
Como las tablas son muy generales y no permiten observar el producto que evidencie el análisis
que se llevó a cabo de las áreas del MCC, cuyo dominio evalúa la prueba, ni precisan los sub-
dominios y contenidos que se cubren en ella, se solicitó a la DGEP información más específica
sobre tales aspectos. Dicha dependencia nos proporcionó otros documentos1
que permitieron
observar algunos detalles adicionales al respecto. Por ejemplo, un cuadro presenta una sección
de la tabla que aparece en el documento denominado “ENLACE MEDIA SUPERIOR RIEMS”
(pág. 9) en la cual se muestran, a manera de objetivos, aspectos del contenido de las subáreas
que corresponden a las dos áreas evaluadas. En algunos casos, la columna llamada “ACOTA-
MIENTO” de esa misma tabla ofrece información más detallada sobre el contenido, pero no es
sistemática y al parecer se trata más bien de elementos de la especificación para producir los
ítems, lo cual se comentará más adelante y en el siguiente apartado.
Otro ejemplo que ilustra una presentación con más detalle del contenido cuyo dominio se
evalúa en la prueba aparece en el cuadro 1.5, correspondiente a una sección de la tabla que
se presenta en el documento denominado “Especificaciones alineadas (mayo 2008)”, el cual se
refiere a la planeación de la prueba que estuvo vigente en el periodo 2008-2010.
En síntesis, no se observa una verdadera estructuración del dominio del contenido a evaluar,
más allá de asociar enunciados simples a manera de objetivos de aprendizaje con las subáreas
que corresponden a las dos áreas evaluadas.
• Respecto al trabajo de análisis curricular y estructuración del dominio del contenido a
evaluar, realizado por un comité de especialistas y validado después por un comité de
especialistas diferente del anterior, a fin de contar con elementos para asegurar la va-
lidación de la prueba, el Manual técnico ENLACE Media Superior 2011-2012 menciona
dentro del listado de cuerpos colegiados que colaboran en la construcción de la prueba
la participación del Comité Académico Diseñador como el “responsable de la definición
de los contenidos por evaluar, los grupos de procesos cognitivos y niveles de complejidad
que explora la prueba y determinan su estructura. A partir de ello, elabora las especifica-
ciones que son revisadas por el comité académico validador de especificaciones” (pág.
24). En estas definiciones, el documento menciona también la participación del Consejo
1
Algunos de esos documentos son de carácter confidencial por lo que no es posible presentarlos en este informe.

22
Técnico, que tiene entre sus funciones asesorar “a las autoridades educativas y a los co-
mités académicos en el diseño, análisis y seguimiento de la prueba impulsando acciones
que permitan respaldar su transparencia y confiabilidad; valida su estructura y sus con-
tenidos” (pág. 24). No obstante, las funciones generales y diversas que tiene asignadas
el Consejo Técnico y el perfil de sus integrantes hacen poco probable que este cuerpo
colegiado haya funcionado como el comité de especialistas que validó técnicamente el
trabajo de análisis curricular y estructuración del dominio del contenido a evaluar realiza-
do por el Comité Académico Diseñador.
Por otra parte, el manual establece que “La pertinencia y relevancia de los contenidos y taxono-
mía establecida para cumplir con los propósitos de ENLACE-MS fueron revisadas por especialis-
tas reunidos en comités académicos de validación (ver Anexo B, Tabla B2). […] La propuesta final
Cuadro 1.5
Subárea
Clave de
especificación
Tema Subtema
Argumentativo
ARCM206
A partir de un ensayo identificar
qué tipo de relación existe entre
dos ideas.
El texto seleccionado deberá incluir, por lo menos, dos ideas
en las cuales exista algún tipo de relación como: problema-
solución; causa-efecto; comparación-contrate, premisa-
conclusión, ejemplificación, descripción, negación, etcétera.
AREC210
A partir de un ensato,
identificar dos explicaciones
sobre un tópico específico.
El texto deberá contar al menos con dos explicaciones.
AREC311
A partir de un ensayo, identificar
el contrargumento.
En la opciones de respuesta se presentan
4 contrargumentos.
Narrativo
NAIN212
A partir de un texto narrativo,
identificar el motivo por
el que un personaje actuó
de determinada manera.
El contexto general de la narración es el que permite
identificar la motivación del personaje.
NACM103
A partir de cuatro fases dadas,
identificar la que resuma lo que
está pasando en una parte de la
narración.
En el reactivo se dice explícitamente a qué parte
de la narración se refiere.
NACM204
elegir la frase que exprese
por qué un personaje actuó
de determinada manera.
La situación de los personajes se refiere a estados físicos
(qué les está pasando, qué están haciendo) y a estados
emocionales (qué están sintiendo, qué están pensando).
Las razones deben estar explícitas en el texto.
NAIN211
A partir de un texto narrativo
identificar el significado
de una palabra señalada.
Se marcará en el texto una palabra o frase poco usual.
El estudiante deberá elegir, entre varias opciones,
el significado de la palabra (o frase).
NAIN313
A partir de las acciones y
descripciones de una narración,
inferir el lugar en el que están
ocurriendo los hechos.
En el texto NO se dice en qué lugar se están desarrollando
los hechos, pero hay algunas pistas que hacen imaginarse
al lector de qué se trata. Se debe comprender
toda la lectura para la realización de este reactivo.
NAIN108
indivar el significado de una frase
ambigua.
El texto contará con alguna frase ambigua,
o usará palabras de modo poco usual.
Expositivo
EXIN110
A partir de una palabra dada en un
artículo de divulgación, determinar
qué significado quiso darle el autor.
La palabra debe ser poco usual y se incluye en el glosario,
pero ahí se define de dos maneras. El estudiante tendría
que inferir a cuál definición se refiere el auto.
EXIN213
A partir de un artículo de
divulgación, indicar qué relación
tienen entre sí dos claúsulas dadas.
Las distintas relaciones pueden ser una que una parte
contradice, repite, explica, ilustra o da una solución a la otra
parte. Las cláusulas deben estar dispersas a lo largo del texto.
Apelativo APCM303
A partir de una carta,
elegir el asunto ceentral
que se plantea en ella.
La opción correcta presentará el asunto central, mientras
que las otras opciones se referirán a asuntos que se tratan
en la carta pero que no son lo más importante.

fue aprobada por el Consejo Técnico el día 3 de septiembre de 2010.” (pág. 36). Sin embargo,
el cuadro 1.6 muestra que el comité al que se hace referencia es el que validó las especificacio-
nes de ítems, tal como se mencionó anteriormente al comentar la responsabilidad del Comité
Académico Diseñador.
Cuadro 1.6 Comité Académico Validador de Especificaciones
Comunicación (Comprensión lectora)
Especialista Adscripción
Dra. Nancy Mazón Parra UNAM
Mtra. Silvia Teresa Lizárraga Rocha UNAM
Matemáticas
Mtro. Salvador Zamora Muñoz
Act. Erick Mier Moreno
IIMAS
AMAT
Al parecer la explicación de estas ambiguas referencias es que el Comité Académico Diseñador
hizo ambas definiciones; es decir, el análisis curricular y la estructuración del dominio del conte-
nido a evaluar, así como el diseño de las especificaciones para producir los ítems. Por su parte,
el Comité Académico Validador de Especificaciones validó no solo las especificaciones de ítems,
sino también el análisis curricular y la correspondiente estructuración del dominio del contenido
a evaluar. Dos referencias apoyan lo anterior: la primera aparece en el Manual Técnico de 2011-
2012: “La estructura fue validada por el Comité Académico validador antes de su aprobación
por parte del Consejo Técnico. El criterio principal fue asegurar que con ella se obtuviera una
muestra representativa de lo que todo bachiller debe dominar en congruencia con el MCC y el
perfil de egreso de la RIEMS” (pág. 44). La segunda referencia se encuentra en una presenta-
ción denominada “Capacitación Comité Diseñador” que nos fue proporcionada por la DGEP, la
cual se utilizó en la capacitación del Comité Académico validador de especificaciones.
Independientemente del escaso número de especialistas de los comités académicos validadores
de especificaciones (tres en el comité de Comunicación y dos en el de Matemáticas) y de su falta
de representatividad (tres de la UNAM, uno del INEE y uno de Applied Mathematics and Ac-
tuary Training [AMAT]), esta forma de proceder no es la que se sugiere en la literatura especia-
lizada, donde se enfatiza la necesidad de que grupos independientes de especialistas en áreas
diversas y complementarias, que representen la diversidad socioeducativa y cultural, analicen y
estructuren unos el dominio del contenido a evaluar; otros juzguen otros tales decisiones; otros
más elaboren las especificaciones técnicas para producir los ítems, y unos más validen tales
productos; todo ello como parte de un proceso metodológico gradual, progresivo y coherente
que haga posible acumular evidencias de validez relacionadas con el contenido de la prueba.
• En cuanto a la manera en que fueron capacitados los comités académicos diseñadores
para analizar y estructurar el dominio del contenido a evaluar, y los procedimientos que
se siguieron para efectuar las operaciones de juicio y adoptar las decisiones, no se en-
contró referencia alguna al respecto en los manuales. La única información relacionada
aparece en uno de los documentos adicionales que fueron solicitados a la DGEP. Se trata
de una presentación que se utilizó en su capacitación, que ilustra de manera general
aspectos que se consideraron para analizar el MCC o la manera en que se procedió para
establecer el perfil referencial y determinar la estructura de la prueba.

24
En síntesis la situación descrita no corresponde con las prácticas de análisis curricular y de detección
y estructuración del contenido importante a evaluar en una prueba de estas características. Tam-
poco se han basado en una estrategia de validación del análisis del universo de medida que incluya
aportes de validación de grupos interdisciplinarios de especialistas (en currículo, la disciplina cuyo
dominio se evalúa, psicometría, operación del currículo en las aulas, en lenguaje, en cultura y en
teoría cognoscitiva), que actúen de manera independiente y sucesiva. Por ello, consideramos que el
procedimiento seguido no permite asegurar la representatividad del contenido a evaluar.
ALINEACIÓN DE LA PRUEBA CON EL REFERENTE
2. Se presenta evidencia de la forma en que se definen las especificaciones de la prueba
en términos de objetivos, competencias u otro referente.
Otro aspecto necesario para obtener evidencias de validez relacionadas con el contenido de la
prueba es el análisis de la estructura del dominio educativo que hace posible elaborar las es-
pecificaciones de contenido que orientan el diseño de los ítems. Esta estrategia es habitual en
las pruebas referidas a un criterio, y debe incluir tanto la información estructural de la prueba,
como las especificaciones de unidades del dominio. También permite contar con una visión
precisa del universo de medida para orientar el muestreo de contenidos (Jornet y Suárez, 1989).
En el caso de ENLACE-MS, el manual técnico de 2008-2010 establece que:
Las especificaciones de reactivos tienen como propósito proporcionar un marco normativo,
claro y significativo, que aporte los elementos necesarios para que los elaboradores cons-
truyan reactivos adecuados para evaluar los contenidos y procesos cognitivos, así como los
detalles técnicos para que los ítems resulten efectivos en la población objetivo y permitan
generar interpretaciones válidas (pág. 37).
No obstante, entre los documentos recibidos inicialmente y en la entregada posteriormente no
encontramos alguno en el que se presenten especificaciones técnicas para producir los ítems
de la prueba.
Al parecer las tablas a las que se ha hecho referencia tienen una doble función: como tabla de
especificaciones de la prueba y como especificaciones para producir los ítems. La información
en las columnas denominadas “Acotamiento” y “Subtema”, comúnmente se presenta en una
especificación de ítems. Sin embargo, se observan varios problemas: en ciertos casos aparece
alguna indicación sobre ciertas características que deben poseer los estímulos o las respuestas
que se presentan a los examinados (por ejemplo, sobre los atributos de la información contex-
tual como textos o figuras que es válido o no emplear; o bien sobre las instrucciones necesarias
para responder; o bien sobre las características que debe tener la respuesta correcta para serlo,
o los rasgos con que deben contar los distractores para ser efectivos). En otros casos no apa-
rece alguno de esos detalles, sino solo una delimitación del contenido a evaluar. De hecho, en
ninguno de los casos se encuentra alguno de esos tipos de indicaciones de manera completa
o sistemática. Tampoco se incluye algún ejemplo de ítem que ilustre el cumplimiento de tales

indicaciones. El único referente que aparece en todos los casos, es la mención del contenido
(redactado como objetivo de aprendizaje) cuyo dominio se evalúa.
En otras secciones de los manuales aparecen elementos con información que generalmente
también se incluye al elaborar una especificación para producir un ítem. Por ejemplo, los cua-
dros 1.7 y 1.8 presentan dos tablas contenidas en el Manual técnico ENLACE Media Superior
2011-2012 (págs. 22 y 27), mismas que contienen referentes para elaborar los reactivos de
Comprensión lectora y Matemáticas. Ambas tablas presentan los contenidos (competencias es-
pecíficas a evaluar) organizados por “niveles de complejidad específicos que permitieran evaluar
la variabilidad en el nivel de dominio de los sustentantes” (pág. 16), y según el nivel del proceso
cognitivo que se moviliza en cada caso, de conformidad con una taxonomía que se elaboró para
cada campo disciplinar, la cual clasifica los “procesos cognitivos a través de los cuales los susten-
tantes exhiben su nivel de dominio de distintas competencias disciplinares básicas” (pág. 15).
Cuadro 1.7 Definición de niveles de complejidad por grupo de proceso cognitivo
Comunicación (Comprensión lectora): ENLACE MS
Tabla 3
Definición de niveles de complejidad por grupo de proceso cognitivo
Comunicación (Comprensión Lectora): ENLACE MS
Niveles
Proceso cognitivo
Extracción Interpretación Reflexión y evaluación
Desarrollo de la
comprensión
Desarrollo de la
interpretación
de la forma del contenido
1 Identificar y seleccionar
un elemento (hecho,
fenómeno, acción,
tópico, concepto, entre
otros) que se encuentre
en el texto de manera
explícita. Será muy
evidente para el lector y
se puede encontrar en
cualquier parte del texto.
Identificar el tema
central de un
párrafo, el cual NO
está explícito e
implica una
inferencia local.
Distinguir el
carácter de dos o
más proposiciones
en un mismo
párrafo.
Identificar el
significado de una
palabra o frase
corta basándose
en el contexto.
Identificar la
estructura formal
del texto.
Determinar si los
recursos gráficos
(cursivas, viñetas,
subtítulos, etcétera)
utilizados por el
autor contribuyen a
la organización del
texto a nivel local.
Identificar de
manera global el
propósito o la
postura del autor,
los cuales NO están
explícitos.
dos elementos
relacionados (hechos,
fenómenos, acciones,
tópicos, conceptos,
entre otros) que se
encuentran a lo largo
del texto de manera
explícita y que carecen
de marcadores.
Integrar diferentes
partes de un texto
para identificar la
idea central.
Reconocer una
relación (problema-
solución; causa-
efecto;
comparación-
contraste, premisa-
conclusión,
concepto-ejemplo,
etcétera).
Inferir relaciones
entre los párrafos
(problema-
solución; causa-
efecto;
comparación-
contraste, premisa-
conclusión,
etcétera) y
distinguir e
identificar el
sentido de las
analogías,
metáforas y otro
tipo de figuras
retóricas.
Identificar la
correspondencia de
la estructura del
texto con el
contenido.
Establecer el
propósito de los
recursos gráficos
(cursivas, viñetas,
subtítulos, etcétera)
a nivel de dos o
más párrafos.
Identificar los
recursos discursivos
(datos, ejemplos,
citas, argumentos,
hechos, gráficas,
metáforas,
comparaciones,
hipérboles o
adjetivación, entre
otros) que utiliza el
autor para lograr su
propósito y/o apoyar
su punto de vista.
Contrastar
argumentos.
tres o más elementos
relacionados (hechos,
fenómenos, acciones,
tópicos, conceptos,
entre otros) y
distinguirlos, a partir de
un criterio determinado,
de otros elementos
semejantes que se
encuentran a lo largo
del texto de manera
explícita.
Seleccionar un
resumen o hacer
otro tipo de
inferencias que
impliquen
coherencia global
para demostrar una
comprensión
completa y
detallada de todo el
texto.
Vincular la
estructura,
funciones y/o
elementos del
texto para realizar
inferencias
globales.
Identificar la
correspondencia de
la estructura, el
léxico y los recursos
gráficos utilizados,
con las intenciones
comunicativas del
texto, el destinatario
del mismo y su
contexto.
Establecer una
comparación entre
el texto o un
fragmento, y su
relación con
información externa.
Identificar los
contraargumentos
que se incluyan en
el texto.
 Estructura
La estructura de ENLACE MS Comunicación (Comprensión Lectora) se determinó en

26
No obstante, los elementos señalados no corresponden con los procedimientos, prácticas, for-
matos y otros componentes técnicos que se detallan en la literatura especializada para la especi-
ficación de ítems, y que son necesarios para propiciar y asegurar la producción de ítems válidos,
equivalentes y efectivos.
tt Se presenta la estructura del dominio completo —de donde se muestrea el contenido de la
prueba— así como la estructura del dominio evaluado.
Para orientar el desarrollo de una prueba resulta imprescindible hacer explícita la estructura del
dominio educativo a evaluar (el currículo), e identificar en ella la estructura de la prueba. Si se
cuenta con ambos elementos, es posible analizar mediante las operaciones de juicio de un co-
mité ad hoc si la estructura de la prueba responde adecuadamente a la del universo de medida.
De esta manera, el análisis que aporta el comité constituye una evidencia de validez relacionada
con el contenido de la prueba.
27
Tabla 5
Definición de niveles de complejidad por grupo de proceso cognitivo
Matemáticas: ENLACE MS
Niveles
Proceso cognitivo
Reproducción Conexión Reflexión
1 Resolución de tareas
directas que implican
identificar conceptos
matemáticos en el
mismo contexto en
que se aprenden
cotidianamente, y se
resuelven con un
solo paso o cálculo
matemático.
Resolución de problemas que se
desprenden de situaciones
cotidianas en donde la tarea se
precisa de forma directa y se
resuelve con un cálculo o tarea
matemática, selección y/o relación
de modelos.
Resolución de problemas que
requieren de una interpretación antes
de reconocer la técnica matemática
que hay que utilizar; además implican
transitar y discriminar entre diferentes
formas de representación de las
situaciones, y aplicar un proceso
matemático.
directas que
requieren realizar dos
o tres cálculos o
tareas matemáticas
básicas y/o
identificación de
modelos.
Resolución de problemas que se
desprenden de situaciones
cotidianas en donde la tarea se
precisa de forma directa. Los
problemas se resuelven con dos o
tres cálculos o tareas
matemáticas diferentes,
decodificación, recodificación,
selección y/o relación de modelos.
requieren de una interpretación antes
de reconocer la técnica matemática
que hay que utilizar; además implican
codificar y transitar entre diferentes
formas de representación de
situaciones cotidianas complejas, y
exigen la aplicación de dos o tres
operaciones diferentes y/o dos
procesos matemáticos.
directas que
requieren realizar
cuatro o más cálculos
o tareas matemáticas
básicas diferentes y/o
aplicación de
modelos
establecidos.
requieren identificar y aplicar las
técnicas matemáticas necesarias.
Los problemas se resuelven con
cuatro o más cálculos o tareas
matemáticas diferentes, procesos
básicos y complejos,
decodificación y/o recodificación
de modelos y/o identificación de
sus elementos faltantes.
Resolución de problemas en contextos
que impliquen diferentes variables, que
requieran reconocer diferentes
estructuras antes de aplicar la técnica
matemática pertinente y/o transitar
entre diferentes formas de
representación de situaciones; además,
requieren de cuatro o más operaciones
diferentes, tres o más procesos
matemáticos similares.
 Estructura
La asignación de reactivos que conforman la prueba de Matemáticas tomó en cuenta
el propósito sociofuncional de las competencias básicas y la definición del constructo,
por esta razón, si bien se incluyen ejercicios de todos los niveles de complejidad, la
estructura se aboca en mayor proporción a la medición de indicadores que requieren
de la puesta en práctica de procesos cognitivos relacionados con los grupos de
Conexión y Reflexión (v. Tabla 6). De acuerdo con la definición operacional de ambos
grupos, estos implican la resolución de problemas en contextos de la vida cotidiana.
Cuadro 1.8 Definición de niveles de complejidad por grupo de proceso cognitivo
Matemáticas: ENLACE MS

Como ya lo comentamos previamente, esta etapa del desarrollo de pruebas de gran escala
referidas a un criterio está bien documentada en la literatura especializada, donde se expone la
necesidad de que grupos independientes de especialistas, que incluyen expertos en currículo,
evaluación, operación curricular en el aula, teoría cognoscitiva, aspectos culturales y la discipli-
na cuyo dominio se evalúa analicen primero el currículo y detecten y estructuren el contenido
importante a evaluar; y después, otro grupo independiente con un perfil semejante juzgue tales
decisiones con base en protocolos técnicos definidos previamente por los desarrolladores de la
prueba, quienes también deberán facilitar los trabajos de ambos comités y en general operar
como el vínculo formal entre éstos y los demás comités especializados que participan en la
construcción de la prueba.
En cuanto al proceso que llevaron a cabo los diseñadores de ENLACE-MS para hacer explícita la
estructura del dominio educativo a evaluar (el MCC) e identificar en ella la estructura de la prue-
ba, el manual técnico de 2011-2012 y los demás documentos que proporcionó la DGEP, ofrecen
poca información. De hecho la única evidencia clara que pudimos observar aparece en una
tabla en la que se especifican las competencias genéricas, disciplinares (básicas y extendidas) y
profesionales (básicas y extendidas) que se promueven mediante el Marco Curricular Común de
la Reforma Integral de la Educación Básica (RIEB). El texto que sigue a dicha tabla (Manual_Do-
cente_ENLACEMS_2014: 8-9) argumenta sobre las dificultades o inconvenientes de evaluar las
competencias genéricas, profesionales y disciplinares extendidas, por lo que se decidió centrar
la evaluación en las competencias disciplinares básicas, y entre ellas solo las correspondientes a
los campos disciplinares de Comunicación (Comprensión lectora) y Matemáticas. Al parecer, la
decisión también estuvo matizada por razones de conveniencia, dado que se trata de una prue-
ba “diagnóstica, objetiva, estandarizada, de bajo impacto y con reactivos de opción múltiple,
cuya aplicación es censal y se realiza en sesiones de 50 minutos” (CENEVAL, 2013a: 14).
Además, en otras secciones del manual (págs. 18-19; 23-24) se delimitan los componentes de
ambos campos disciplinares que se evalúan en la prueba ENLACE-MS: en Comprensión lectora,
7 de las 12 competencias que promueve la RIEB; en el campo disciplinar Matemáticas, 6 de las
8 competencias que establece la reforma.
Más allá de estas definiciones genéricas, no pudimos observar una representación de la estruc-
tura del dominio curricular completo de la RIEMS, dentro de la cual se delimite la estructura del
dominio curricular evaluado por la prueba ENLACE-MS. Si los miembros del Comité Académico
diseñador efectuaron un análisis más detallado del MCC y de los procesos curriculares para
adaptarlo que realizaron las instituciones de educación media superior que fueron invitadas a
participar en el análisis, no lo hicieron explícito en los manuales o en la documentación que nos
fue proporcionada. Ello constituye una carencia importante que afecta la valoración del grado
de validez de contenido de la prueba.
3. Se explica el procedimiento para determinar la importancia de los contenidos a eva-
luar o se incluye análisis de unidades del dominio y densidad diferencial.
La integración de una prueba referida a un criterio orientado por el currículo, se basa en criterios
de selección de los contenidos que permiten formular su importancia relativa como expresión
de la relevancia de los aprendizajes logrados. En la literatura este aspecto se conoce como den-
sidad diferencial del dominio curricular (Jornet y Suárez, 1989) y es difícil llevarlo a la práctica.

28
Usualmente se basa en valoraciones hechas por comités de especialistas, que indican el peso
diferencial que cada área del dominio curricular deberá tener en la prueba. Ello sirve también
para seleccionar la cantidad de reactivos que se utilizarán.
Por ello se trata de un procedimiento crucial para definir el dominio a evaluar en una prueba.
Diversos autores (Sireci, 2009; Cizek, 2007; Pope, citado por Cizek, 2007; Li y Sireci, 2005; Hay-
nes, Richard y Kubany, 1995; Nitko, 1994; Guion, 1977) han hecho ver la necesidad de identi-
ficar blancos curriculares esenciales, puesto que es imposible evaluar en un examen el dominio
de todo el currículo, ni siquiera todo lo que es relevante. De ahí la importancia de seleccionar
una muestra de contenido que represente el dominio curricular.
En el caso de la prueba ENLACE-MS, en el Manual técnico de ENLACE Media Superior 2011-
2012 se afirma que la pertinencia y relevancia de los contenidos, que fue determinada por
el Comité Académico diseñador, fueron revisadas por los comités académicos de validación
(pág. 36). Sin embargo, no hemos observado en la documentación disponible el uso de algún
procedimiento específico o criterio para determinar cuáles contenidos constituyen blancos cu-
rriculares de primer orden que deben ser considerados para la evaluación; o bien para ponderar
la densidad diferencial de los contenidos que constituyen el dominio curricular (MCC) que se
evalúa, a fin de decidir lo que es importante evaluar en la prueba.
Por otra parte, el análisis de las tablas de contenido muestra que se enfatizaron aspectos di-
ferentes del currículo y que se adoptaron criterios para determinar lo que era relevante. De
hecho hay varias declaraciones en ese sentido, que ilustran que los constructores de la prueba
fueron conscientes de esos aspectos. Por ejemplo, en el manual técnico de 2011-2012 se declara
que “la evaluación se enfoca a un conjunto limitado de conocimientos y habilidades (y no a la
totalidad de los que se indican en el MCC) que un grupo de expertos considera indicadores
suficientes y representativos de las competencias básicas de dos campos disciplinares que de-
ben dominar los sustentantes al egresar de bachillerato” (pág. 30). Lo mismo sucede con las
dificultades o inconvenientes de evaluar determinados contenidos o las razones de conveniencia
que se señalan en varias partes del manual (véase por ejemplo el último párrafo de la pág. 14
del manual). Sin embargo, en tales casos no fueron hechos explícitos por el Comité Académico
diseñador los procedimientos o criterios que utilizaron para determinar tales aspectos o para
decidir en cada situación.
4. Se asegura la representatividad de los ítems y las subescalas respecto a los subdomi-
nios y el dominio definidos.
tt Para especificar dominio a evaluar se presenta análisis lógico-empírico de representación de
ítems y subescalas respecto a subdominios y dominio.
Existen dos aproximaciones generales al análisis de reactivos: lógica y empírica. La primera
requiere la participación de comités de jueces (especialistas en contenidos, docentes frente a
grupo, especialistas en medición y evaluación, etcétera), quienes juzgan propiedades como la
representatividad del ítem respecto del contenido a evaluar, su independencia de errores siste-
máticos y sesgo, entre otros aspectos. Así, esta perspectiva contribuye de manera directa en la
obtención de evidencias de validez de contenido de la prueba. Por su parte, las comprobacio-
nes empíricas aportan información sobre la correspondencia de los ítems con la estructuración

dimensional teórica que orientó el desarrollo de la prueba. En este apartado enfatizamos el
análisis de la revisión lógica que realizaron los constructores de ENLACE-MS.
Ya hemos hecho referencia al Comité Académico Diseñador como responsable de analizar el
MCC de la RIEMS y determinar los subdominios del dominio que evalúa la prueba, así como al
rol que desempeñó el Comité Académico Validador de Especificaciones, al juzgar la pertinencia
y relevancia de los contenidos de la prueba y de su estructura. También hemos mencionado la
escasa documentación disponible sobre el uso de procedimientos o criterios técnicos por parte
de ambos comités para realizar esas tareas o adoptar sus decisiones.
Sobre el aseguramiento de la representatividad de los ítems respecto al dominio y subdominios
curriculares que se evalúan, en el Manual técnico ENLACE-MS 2011-2012 se hacen varias de-
claraciones al respecto. Por ejemplo, se afirma que se “evalúa solo una muestra representativa
de indicadores de competencias básicas que fueron definidos operacionalmente para que el
instrumento permitiera seguir obteniendo información diagnóstica para los estudiantes de la
EMS” (pág. 21); o bien se asevera que
en los diversos apartados [del Manual para docentes y directivos] se reitera que la prueba
realiza la medición de una muestra representativa de los contenidos a través de los cuales
se pueden evaluar indicadores de competencias disciplinares básicas (únicamente aquellos
que pueden ser identificados con reactivos de opción múltiple), pero que de ninguna ma-
nera incluyen todos los temas que forman parte del MCC (pág. 78).
También se asegura que “la prueba ENLACE-MS únicamente evalúa una muestra representativa
de los indicadores de desarrollo de las competencias básicas correspondientes a dos campos
disciplinares Comunicación (Comprensión lectora) y Matemáticas” (pág. 85); o bien que los
“cuatro tipos de texto que contiene la prueba ENLACE-MS se eligieron por considerarse repre-
sentativos del nivel educativo, y porque reflejan funciones importantes de la lengua” (pág. 37).
Respecto a los procedimientos o criterios empleados para asegurar dicha representatividad, el
manual aclara que
Para describir los alcances de ENLACE-MS, es importante enfatizar que es una prueba refe-
rida a criterio y con cobertura de dominio restringido, es decir, la evaluación se enfoca a un
conjunto limitado de conocimientos y habilidades (y no a la totalidad de los que se indican
en el MCC) que un grupo de expertos considera indicadores suficientes y representativos
de las competencias básicas de dos campos disciplinares que deben dominar los sustentan-
tes al egresar de bachillerato [pág. 30].
Se aclara además que
La estructura fue validada por el comité académico validador antes de su aprobación por
parte del Consejo Técnico. El criterio principal fue asegurar que con ella se obtuviera una
muestra representativa de lo que todo bachiller debe dominar en congruencia con el MCC
y el perfil de egreso de la RIEMS. Para ello, los reactivos de la prueba cubren toda la gama
de procesos cognitivos que se indican en la estructura, por lo que evalúan contenidos
que exigen un desarrollo básico, intermedio y avanzado de las competencias disciplinares
básicas [pág. 44].

30
No obstante, el mayor detalle que se aporta sobre la manera en que inicialmente se cuidó este
aspecto, es referido a la cuarta parte del manual; donde se “explica con detalle la estrategia con
que se modificó la estructura de ENLACE-MS para apoyar la evaluación de una muestra repre-
sentativa de las competencias disciplinares básicas que promueve la RIEMS” (pág. 15). En esa
sección (págs. 34 y 35) se establece que con el fin de “delimitar operacionalmente el objeto de
evaluación, se deben seleccionar y definir las áreas, los contenidos y la taxonomía del examen”;
y que para “delimitar el perfil de la prueba ENLACE-MS 2011-2012, se retomaron las definicio-
nes de contenidos, áreas y procesos cognitivos correspondientes a la primera evaluación y se
adaptaron según lo que marca la RIEMS”. Más adelante se indica que para ello fue convocado,
para cada campo disciplinar, un comité académico diseñador en el que participaron represen-
tantes de los “tres grandes subsistemas de EMS: bachillerato tecnológico, bachillerato general
y bachillerato bivalente”; quienes deberían tener “experiencia en la docencia, la investigación y
la planificación curricular (específicamente los encargados de la adaptación de programas a la
Reforma)” y que en su selección se procuró “que los grupos representaran a diferentes plante-
les y entidades de la República (ver anexo B, tabla B1)”. Enseguida se indica que los “expertos
estudiaron las áreas, contenidos temáticos y procesos cognitivos de la prueba ENLACE-MS an-
terior, los referentes técnicos y operativos de la RIEMS y diferentes marcos teóricos de pruebas
estandarizadas nacionales e internacionales, entre ellas PISA, TIMSS, SABER, ACREDITA-BACH,
entre otras”; y que también se hizo una “revisión de los planes y programas de diferentes mo-
dalidades y direcciones de EMS: DGB, CONALEP, CCH, Bachilleres y Bachilleratos Tecnológicos,
con la finalidad de identificar los contenidos comunes a todas las opciones de EMS y establecer
el contexto que apoyaría la redefinición de los mismos y los procesos cognitivos por evaluar”.
Finalmente, se afirma que
Con este marco de referencia, los especialistas sesionaron de una a dos semanas para
acordar y definir los contenidos específicos de cada campo, su organización y el peso de
cada uno en la evaluación de acuerdo con una taxonomía diseñada especialmente para
ENLACE-MS. Dado que la prueba pretende ser un diagnóstico general del nivel de domi-
nio de los sustentantes, se consideró únicamente una muestra representativa de todo el
universo de conocimientos y habilidades que pudieran establecerse como indicadores de
desempeño en cada campo disciplinar.
Como puede observarse en los párrafos anteriores, aunque no se aportan evidencias concre-
tas sobre la manera en que procedieron ambos grupos o los criterios a partir de los cuales se
tomaron las decisiones para asegurar la representatividad, la manera general de proceder sí
corresponde a la que señala la literatura especializada, según lo comentamos al inicio de este
apartado; es decir, las definiciones que hace un Comité Académico Diseñador, integrado por
especialistas diversos, son luego revisadas por un Comité Académico Validador.
No obstante, hay que señalar varias limitaciones específicas: no se menciona que en el análisis
del MCC y en el diseño de la prueba participaran expertos en contenido de los campos disci-
plinarios de Comunicación (Comprensión lectora) y Matemáticas; ni se indica el modo en que
fueron seleccionados los miembros de los comités diseñadores que aportaron las instituciones
de EMS convocadas, o su perfil profesional de modo que pueda constatarse si en conjunto satis-
ficieron las necesidades en cuanto a experiencia docente, investigación y planificación curricular
en la adaptación de los programas a la RIEMS. Tampoco se aporta información técnica acerca
de la metodología empleada para el análisis curricular del MCC, o para el jueceo (características
a valorar en los ítems, criterios para tomar decisiones, protocolos para formalizar los juicios,
determinación de la confiabilidad, entre otras). En particular, no se encontraron referencias, en

los manuales técnicos de ENLACE-MS o en la documentación adicional presentada, sobre los
criterios y procedimientos empleados por el Comité Académico Validador para analizar la repre-
sentación de ítems y subescalas respecto a los subdominios evaluados y al dominio curricular
completo que evalúa la prueba.
5. Se cuida la alineación en lo relativo a la complejidad cognitiva del contenido.
tt Se utilizan taxonomías u otros sistemas de clasificación de la demanda cognitiva de los
ítems, en relación con lo establecido en el referente.
tt Se refiere el uso de protocolos verbales con examinados para verificar que la complejidad
cognitiva real corresponda a la esperada.
En una prueba referida a criterio, la manera en que las expectativas del currículo se relacionan
con la forma en que se evalúa su dominio constituye una evidencia de validez de contenido.
Dentro del proceso de alineamiento de la prueba al currículo, una consideración relevante para
determinar el muestreo del contenido que cubrirá el instrumento, es si las demandas cognitivas
que imponen los ítems a los sustentantes corresponden con el nivel de dominio del contenido
que es pretendido por el currículo, y si la prueba evita incluir características irrelevantes al obje-
tivo curricular al que se orienta cada ítem de la prueba.
Para este criterio evaluativo tenemos también dos clases de fuentes de evidencia: las basadas
en juicios de un comité de especialistas (en la disciplina, currículo, teoría cognitiva, profesores
en servicio), que generalmente son los diseñadores de la prueba, quienes analizan el nivel de
dominio del contenido que pretende el currículo y lo formalizan con un sistema de clasificación
o modelo taxonómico que permita regular el grado de demanda cognitiva que supone para
el alumnado cada contenido, en la forma en que es evaluado por los ítems. Luego un comité
independiente con perfil similar valida dicho sistema de clasificación. La segunda fuente de
evidencias es el análisis del proceso de respuesta que ponen en acción los sujetos al responder
los ítems, usualmente con grupos focales, laboratorios cognitivos o entrevistas con examinados
apoyadas con protocolos verbales, para verificar que la complejidad cognitiva real corresponda
con la esperada.
Como ya se comentó, en el Manual técnico ENLACE Media Superior 2011-2012 se establece
que, como parte del diseño de la prueba, específicamente al construir la tabla de especificacio-
nes del examen, se elaboró una taxonomía para cada campo disciplinar. Dicho sistema clasifica
los “procesos cognitivos a través de los cuales los sustentantes exhiben su nivel de dominio
de distintas competencias disciplinares básicas” (pág. 15). Para el caso del campo disciplinar
Comunicación (Comprensión lectora), la taxonomía considera las categorías y subcategorías:
Extracción, Interpretación (Desarrollo de la Comprensión, y Desarrollo de la Interpretación), y
Reflexión y Evaluación (de la forma, y del contenido) (pág. 39). En cuanto al campo disciplinar
Matemáticas, la clasificación considera las categorías: Reproducción, Conexión y Reflexión (pág.
43). También se comentó que la pertinencia y relevancia tanto de los contenidos como de la
taxonomía, fueron revisadas por los especialistas de los comités académicos de validación, y que
posteriormente la propuesta fue aprobada por el Consejo Técnico.
Aunque según el manual la taxonomía fue “diseñada especialmente para ENLACE-MS” (pág.
35), al parecer se trata de una adaptación del sistema de clasificación de grupos de compe-

32
tencias de PISA (cfr. PISA 2003 Assesment Framework, en: http://www.oecd.org/edu/school/
programmeforinternationalstudentassessmentpisa/33694881.pdf). También hay evidencia, en
el documento “ENLACE_MS Procesos específicos y niveles de complejidad”, de que cada ítem
tuvo asignado un nivel taxonómico y un nivel de complejidad.
En consecuencia, puede decirse con seguridad que el desarrollo de la prueba ENLACE-MS contó
con un sistema de clasificación de la demanda cognitiva que sirviera de referente para el desa-
rrollo y la revisión de los ítems, en relación con lo establecido en el MCC de la RIEMS.
En cuanto al uso de grupos focales, laboratorios cognitivos o entrevistas con examinados apo-
yadas con protocolos verbales, a fin de observar la correspondencia entre la complejidad cog-
nitiva real (para el examinado) y la esperada (MCC), no pudimos encontrar evidencias de que se
llevaron a cabo, ni alguna referencia al respecto en los manuales técnicos de ENLACE-MS o en
la documentación adicional que nos fue proporcionada.
Además de lo dicho en los dos párrafos anteriores y otros comentarios hechos en este do-
cumento sobre la alineación de la prueba al currículo, es sabido que los aprendizajes de alta
demanda cognitiva son, desde luego, los más difíciles de alcanzar por parte de los estudiantes
y los que plantean más problemas a los docentes, pero también los que resultan más difíciles
de evaluar, en especial mediante pruebas en gran escala. Por ello, y por la circunstancia aña-
dida de que en el caso de ENLACE-MS no se cuenta con un currículo nacional de referencia,
sino con un marco curricular que define competencias de diversos tipos, muchas de las cuales
no se prestan para su evaluación con este tipo de pruebas, se creyó conveniente realizar dos
estudios especiales que aportaran evidencias de validez de constructo y contenido respecto a
la alineación y los niveles de demanda cognitiva de la prueba, en relación con lo que establece
su perfil referencial.
Estos estudios se basaron en estrategias de análisis de contenido basadas en juicios de comités
de jueces expertos (profesorado experimentado, así como especialistas disciplinarios, en me-
dición, investigación educativa y currículo), así como en entrevistas cognitivas con alumnos de
educación media superior. Los resultados de este trabajo se sintetizan en los párrafos siguientes.
Cuando se compara la distribución por proceso cognitivo de los ítems relativos a la habilidad
lectora que establecieron los comités del CENEVAL, como parte de la planeación de la prueba,
con la distribución de esos mismos ítems que se basa en los juicios del comité de especialistas
en lectura del estudio especial, se observa que son bastante similares. La similitud y propor-
cionalidad de los ítems en las categorías identificadas pueden interpretarse como evidencias
de validez de contenido y de constructo de la prueba, puesto que el comité convocado para
el estudio hizo una evaluación independiente que presenta coincidencias importantes con los
diseñadores de la prueba.
En el caso de la habilidad matemática se observa una distribución de ítems similar en cuanto
a número de ítems y asignación proporcional a las categorías del dominio cognitivo, pero so-
lamente en las categorías de Reproducción y Conexión, lo que también podría interpretarse
como evidencia de validez de contenido y de constructo de la prueba, pero en forma limitada,
ya que esto no ocurre en la mayoría de los ítems de la categoría de Reflexión, lo que pone de
manifiesto una problemática asociada con esa categoría.

Por otra parte, la dificultad y el poder discriminativo de los ítems no parecen relacionados con
las categorías de procesos cognitivos en Comprensión lectora o Matemáticas de ENLACE-MS
2014. Tampoco están relacionados con los procesos y juicios de los comités de Lectura y Mate-
máticas que evaluaron los ítems.
Por lo que se refiere a los resultados de las entrevistas cognitivas, se identificaron los niveles de
complejidad desagregados por cada proceso cognitivo de cada una de las pruebas analizadas,
lo que sirvió de referencia para comparar la congruencia del modelo taxonómico cognitivo y
la estructura de la prueba con los resultados del estudio cognitivo. En el caso de la prueba de
Habilidad Lectora, se identificaron 15 niveles de complejidad y en la prueba de Matemáticas,
nueve. En cuanto a Habilidad Lectora se encontró que, de los 18 reactivos analizados, tres están
sobreestimados en cuanto al nivel de complejidad que se plantea en las especificaciones; uno
está sobresimplificado, ya que apela a un nivel más complejo de habilidad, y dos no evalúan el
proceso cognitivo que deberían evaluar. En cuanto a la prueba de Matemáticas, solo dos de los
18 reactivos analizados fueron congruentes con la estructura teórica declarada en el marco de
referencia de la prueba.
El fundamento de estas conclusiones sintéticas puede verse en el informe de los dos estudios es-
peciales que se incluye como Anexo 2 de este documento. El primero de esos estudios fue coor-
dinado por Luis Ángel Contreras N., y el segundo por Juan Carlos Pérez M. y Sofía Contreras R.
ESPECIFICACIÓN, GENERACIÓN Y ESCRITURA DE ÍTEMS
6. Existe un documento manual o guía de redacción o diseño de reactivos en el que se
especifican y justifican los procedimientos para formularlos
Una etapa crucial del proceso de desarrollo de una prueba es la redacción de ítems. En ella
convergen los demás elementos de la planeación del instrumento que hemos comentado hasta
este punto. De este modo, resulta necesario que los reactivos representen las unidades del
dominio educativo (universo de medida) que se consideran relevantes en la evaluación, como
muestra del desempeño. Para lograrlo es importante que se estructure un procedimiento formal
de escritura de ítems, mediante el cual se cuide de manera rigurosa que los reactivos represen-
ten el contenido por evaluar y que se adapten al nivel de desempeño que se da en la enseñanza,
como expresión de las oportunidades de aprendizaje que se proporcionan a los estudiantes.
En consecuencia, es fundamental que los redactores de ítems tengan tanto una formación
adecuada, como referentes claros que les permitan homogeneizar la producción de ítems y
ajustarla a los niveles de calidad requeridos.
El procedimiento adecuado para lograrlo es contar con un manual de redacción de ítems, espe-
cialmente diseñado para ajustarse al propósito y contenido de la prueba, y que contenga todos
los elementos necesarios para que los diseñadores de reactivos puedan llegar a interiorizar el
tipo de producción de ítems que se espera de ellos. Para ello, deben incluirse en el documento
suficientes indicaciones y ejemplos que ilustren su cumplimiento. Al respecto, la manera en

34
que procedieron los constructores de ENLACE-MS, respecto a estos aspectos particulares que
hemos considerado, se describe y comenta a continuación.
tt El manual describe y da ejemplos de todos los tipos de reactivos que tendrá la prueba, indi-
cando cómo clasificarlos y justificarlos, y haciendo referencia a la relevancia de las respuestas
de los sujetos para el dominio pretendido.
En los manuales técnicos de ENLACE-MS de 2008-2010 y 2011-2012 no se hace referencia a
un manual o guía que se haya diseñado para elaborar los ítems de la prueba. Al respecto, en
el manual de 2011-2012 solo se menciona que con la finalidad “de mantener la calidad de la
prueba y contar con reactivos técnicamente adecuados, el CENEVAL imparte talleres de capa-
citación basados en la metodología institucional y en los lineamientos para la elaboración de
reactivos” (pág. 46).
Para conocer mayores detalles sobre dichos lineamientos, se solicitó a la DGEP el documento
que los contiene. La dependencia nos facilitó dos archivos que presentan los lineamientos para
la construcción de reactivos de opción múltiple correspondientes a 2011 y 2013.
Ambos documentos son muy similares y el más actual de ellos es un documento con 80 pági-
nas, en las cuales presenta información general sobre el CENEVAL, como la integración de sus
cuerpos colegiados, los tipos de exámenes que desarrolla, la metodología que sigue para el
desarrollo de pruebas y bancos de reactivos, la selección de especialistas y sus responsabilidades
como elaboradores de ítems. También incluye información sobre insumos requeridos para ela-
borar reactivos, tales como el perfil referencial de un examen y la estructura que debe tener, así
como sobre las especificaciones para producir ítems e instalarlos en su plataforma informática,
a fin de administrar cada banco de reactivos.
Aunque el título del documento se refiere a los ítems de opción múltiple, los demás capítulos
presentan información sobre varios tipos de ítems que son clasificados bajo dicha designación;
como los tradicionales de opción múltiple, completamiento, cuestionamiento directo, elección
de elementos, jerarquización, relación de columnas, independientes y multirreactivos. Además,
hay una sección que presenta un decálogo de buenas prácticas del elaborador de reactivos, una
más con preguntas frecuentes y otra con referencias sugeridas.
Aunque en los lineamientos no se mencionan cuáles tipos de ítems se presentan en la prueba
ENLACE-MS, la versión 2014 del examen muestra que se aplicaron dos tipos de ítems: multi-
rreactivos de base común para evaluar el dominio de los contenidos del campo disciplinar de
Comunicación (Comprensión lectora), e ítems de opción múltiple para el campo de Matemáticas.
En consecuencia, revisamos lo que se dice sobre ambos tipos de ítems en la versión de 2013 del
documento de lineamientos. En el apartado correspondiente a ítems de opción múltiple (págs.
27-30), se definen estos ítems y se identifican sus componentes: base, opciones y argumen-
taciones (pág. 28). También se presentan lineamientos generales que deben seguir todos los
reactivos, y los lineamientos para cada componente de este tipo de ítem (pág. 30), los cuales
se muestran enseguida en el cuadro 1.9 Además, se ofrecen ejemplos que ilustran la aplicación
de esos lineamientos.

Cuadro 1.9
Por su parte, el cuadro 1.10 presenta el apartado con los lineamientos para los multirreactivos
(págs. 67-69). En dicho apartado también se incluye un ejemplo de aplicación, el cual no se
muestra en el cuadro.
Cuadro 1. 10

36
Suponemos que el documento de lineamientos se proporciona a los participantes en los talleres
para capacitar a los elaboradores de ítems. El Manual Técnico de ENLACE Media Superior 2011-
2012 solo menciona que
En estos talleres los especialistas aprenden a elaborar reactivos de opción múltiple. Cada
reactivo debe contar con una base y cuatro opciones de respuesta, una es la respuesta
correcta y las otras tres son distractores. Adicionalmente se informa a los asistentes de la
historia y objetivos del Centro y, sobre todo, de las particularidades de la prueba ENLACE-
MS; esto es importante para que los ítems correspondan con el propósito, estructura y
modelo taxonómico de la evaluación (pág. 46).
Respecto a la duración de la capacitación a los elaboradores de ítems, en una de las notas
informativas que nos fueron proporcionadas sobre los talleres de elaboración de reactivos que
se impartieron en 2013, se menciona que la duración de cada taller fue de tres horas y que se
impartió en una sesión.
La revisión de la documentación mencionada nos permite afirmar que el documento de linea-
mientos para la construcción de reactivos de opción múltiple describe y da ejemplos de todos
los tipos de reactivos que tienen las pruebas que desarrolla el CENEVAL, y que también indica
cómo clasificarlos y justificarlos. Sin embargo, estos aspectos no hacen referencia a la prueba
ENLACE-MS, por lo que no se aportan evidencias sobre la relevancia de las respuestas de los
examinados para el dominio pretendido por dicha prueba. Además, considerando lo que se
especifica al respecto en la literatura especializada (véase por ejemplo Haladyna, 2004), los
lineamientos que aparecen en el documento (cuadros 1.9 y 1.10) resultan muy generales, in-
completos y poco explícitos para orientar el desarrollo de ítems efectivos. Da la impresión que
fueron extraídos de un manual genérico de redacción de ítems.
tt El manual usa tablas o modelos de especificaciones precisas como guía para homogeneizar
diseño de los tipos de ítems y hay documento o formato donde los diseñadores de reactivos
hagan la captura y la modificación.
En la documentación disponible no pudimos encontrar una guía o formato que oriente el diseño
de los dos tipos de ítems que contiene la prueba operativa de 2014 (opción múltiple y multi-
ítem de base común). Tanto el manual técnico 2011-2012, como el documento de lineamientos
antes mencionado, hacen una breve referencia al uso de la plataforma informática denominada
Sistema de Administración de Bancos de Exámenes y Reactivos (SABER), para la elaboración y
organización de reactivos, y para la elaboración de los cuadernillos de examen que se aplican a
los examinados. En el portal del CENEVAL (http://www.cENEVAL.edu.mx/cENEVAL-web/content.
do?page=5682), se aclara que el sistema “permite capturar los reactivos y realizar los ajustes
necesarios derivados de los procesos de validación, revisión de estilo y revisión técnica. El siste-
ma registra todas las actividades que se realizan con los reactivos, y los datos de quién y cuándo
las efectuaron llevando un control estricto de los cambios”. No obstante, no sabemos cuáles
elementos se incluyen en la pantalla que permite la captura de los ítems por parte de quienes
los elaboran.
tt El manual fue desarrollado para la prueba y considera sus particularidades; no es aceptable
uno genérico o tomado de otro sistema de evaluación.

Como ya se mencionó, los lineamientos para la construcción de reactivos correspondientes a
2011 y 2013 son de naturaleza genérica y el CENEVAL los emplea como guías para la elabora-
ción de los ítems en todas sus pruebas. Reflejan normativas usuales que pueden encontrarse
en manuales de medición en general o de diseño de reactivos en particular, y se supone que se
entregan a los diseñadores y revisores de ítems. Sin embargo, no contienen referencias específi-
cas para el diseño de los reactivos de ENLACE-MS, y no se percibe una especificación suficiente
que relacione el planteamiento de esas normas y recomendaciones, de manera particular con
los elementos de la planeación de la prueba que hemos comentado en las secciones anteriores.
7. Los reactivos son diseñados por un comité seleccionado teniendo en cuenta la espe-
cialización académica, laboral y su representatividad respecto a la diversidad del país,
y estuvo coordinado por una persona calificada
Las características de la composición de comités que aquí utilizamos para valorar el cumplimien-
to de este criterio son las mismas que mencionamos para los casos de las pruebas ENLACE Bási-
ca y EXCALE. Comentamos que el perfil de los elaboradores de ítems ha sido bien documentado
por expertos en medición, como Bormuth, Guttman, Hively, Tiemann, Markle, Williams, Roid y
Haladyna, quienes sostienen que, en conjunto, este grupo de especialistas debe ser competente
en la disciplina a la que se refiere el contenido curricular cuyo dominio se evalúa en la opera-
ción del currículo en las escuelas y las aulas, en lingüística y teoría cognitiva, para cuidar que el
leguaje en el ítem no incremente la complejidad pretendida en los ítems; debe, representar a
grupos que potencialmente pueden ser ofendidos o penalizados injustamente por los ítems. En
el grupo han de participar también especialistas en medición y evaluación educativas quienes
coordinan y facilitan los trabajos.
tt El comité fue formado específicamente para realizar su labor, considerando todos los ele-
mentos característicos del tipo de prueba a diseñar
En cuanto al perfil de los elaboradores de los ítems de la prueba ENLACE-MS en la tabla B3,
denominada “Comité Académico de elaboración y validación de reactivos”, incluida en el anexo
B del Manual Técnico ENLACE Media Superior 2011-2012, se proporciona el nombre y la institu-
ción de adscripción de casi 150 personas que han participado en la elaboración o validación de
ítems, pero no se hace referencia a su especialización académica, laboral o a su representativi-
dad respecto a la diversidad del país. Tampoco se indica quiénes de ellos elaboraron los ítems,
quiénes los validaron; o bien, en su caso, quiénes elaboraron unos ítems y validaron otros. Por
ello, no puede decirse si este grupo de especialistas cubre con el perfil general de necesidades
que comentamos en el párrafo anterior. La única referencia que pudimos encontrar sobre el
perfil de los integrantes de ese comité, aparece en otra sección del manual (pág. 46), donde se
afirma que a “los talleres de ENLACE-MS asistieron docentes y especialistas en la enseñanza de
las asignaturas afines a los campos disciplinares básicos, de acuerdo con las líneas establecidas
por la RIEMS. El requisito principal fue que los profesores contaran con experiencia en el aula y,
de ser posible, en la implementación de la Reforma”, y que en “estos talleres los especialistas
aprenden a elaborar reactivos de opción múltiple”.
tt La capacitación de redactores incluyó procesos metodológicos y referencias a taxonomías o
sistemas de clasificación cognitiva usados.

Analisi s prueba enlace ems 2015

Analisi s prueba enlace ems 2015

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (15)

Destacado

Destacado (20)

Similar a Analisi s prueba enlace ems 2015

Similar a Analisi s prueba enlace ems 2015 (20)

Más de Jorge Hugo Rojas Beltran

Más de Jorge Hugo Rojas Beltran (18)

Último

Último (20)

Analisi s prueba enlace ems 2015