Análisis de resultados

1. 1
Análisis de Resultados a partir de Instrumentos Estandarizados
Dr. Manuel Jorge González Montesinos1
Departamento de Ciencias Sociales
Universidad de Sonora
Unidad Regional Norte
INVURNUS, Revista Académica 1(1), 51-62
Resumen
La practica de la evaluación educativa requiere siempre de un proceso previo e
indispensable de medición del los resultados del aprendizaje. Cuando se utilizan
instrumentos estandarizados para realizar la medición, se requiere a su vez examinar la
confiabilidad y validez de los mismos. Esta ponencia describe una metodología en 2 etapas
para analizar los resultados de instrumentos estandarizados para determinar si los resultados
de la medición indican que los instrumentos se ajustan a criterios técnicos sólidos. La
exposición se basa en una descripción de la metodología aplicada en un proyecto de
investigación doctoral realizado en el Estado de Sonora entre 2003 y 2004. Esta ponencia
describe los fundamentos del estudio, los recursos metodológicos empleados y los
resultados obtenidos.
Abstract
Practice of evaluation in education always requires of a previous and indispensable process
of measurement of the results of learning. When standardized instruments are used to make
the measurement, it is required as well to examine the reliability and validity of such
instruments. This communication describes a two stages methodology to analyze the
results of standardized instruments to determine if the results of the measurement indicate
that the instruments adjust to solid technical criteria. The content is based on a description
of the methodology applied in a project of doctoral investigation made in the State of
Sonant between 2003 and 2004. This communication describes the foundations of the
study, the methodological resources used and the obtained results.
1
Profesor de carrera, Departamento de Ciencias Sociales, Universidad de Sonora, Unidad
Regional Norte, Campus Caborca. Apdo. Postal #234 Caborca Sonora, CP. 83600. Correo
electrónico: mgm@caborca.uson.mx

2. 2
Introducción
Cuando una institución de educación adopta un instrumento estandarizado de
medición para generar la información que le permita evaluar los resultados del proceso de
enseñanza aprendizaje, de hecho esta adoptando una serie de estándares de desempeño.
Frecuentemente, estos estándares permanecen implícitos durante los procesos como
también permanecen implícitas las propiedades técnicas de instrumento.
Una práctica de evaluación responsable y técnicamente sólida exige que los
estándares de desempeño subyacentes se hagan explícitos de manera conjunta a las
propiedades de los instrumentos que se emplean para medir los resultados del aprendizaje.
Para esta serie de definiciones, la alternativa realmente apropiada es la aplicación de
procedimientos estadísticos inferenciales que complementen y superen la práctica común
de solo reportar estadísticas descriptivas sobre el desempeño de los estudiantes evaluados
Este trabajo sostiene que aplicando los medios inferenciales apropiados., no solo se
explicitan estándares académicos sino que también y mas importante se explicitan las
características del desempeño del instrumento mismo.
Descripción del Estudio
El proyecto del que se reportan resultados en este artículo se realizo durante 2004,
recolectando la información sobre el desempeño los estudiantes egresados del Sistema de
Educación Media Superior del Estado de Sonora. En este estudio, la cohorte 2003 es de
N=5046, y la cohorte 2004 es de N=5888. Ambas se integraron con aspirantes que
presentaron el Examen de Habilidades y Conocimientos Básicos (EXHCOBA) como
aspirantes a ingresar a la Universidad de Sonora.
La estadística descriptiva de los resultados utilizar el Sistema EXHCOBA se presentan a
continuación:

3. 3
Tabla 1
Desempeño Promedio en EXHCOBA
2003 2004
Sección Puntos Posibles Media DE Media DE
Habilidades Verbales 30 17.63 4.50 18.30 4.52
Habilidades Matemáticas 30 16.10 6.55 7.34 6.50
Conoc. Básicos Español 20 8.07 2.55 8.30 2.52
Conoc. Básicos. Matematicas15 6.04 3.31 6.50 3.40
Conoc. Básicos C. Naturales 15 11.50 3.21 12.00 3.24
Conoc. Básicos C. Sociales. 20 9.92 3.60 0.16 3.45
Conocimientos Area 1 20 7.87 4.15 8.67 4.05
Conocimientos Area 2 20 9.40 3.25 9.43 3.30
Conocimientos Area 3 20 9.60 3.75 9.43 3.90
Total Aciertos 190 96.11 25.90 100 25.50
Puntaje Final 190 77.14 31.13 82.04 30.88
Promedio Egreso MS 100 80.52 7.94 82.00 8.12
___
Fuente: González M. (2004) La Definición y Medición de Estándares Académicos para la
Educación Superior. Tesis Doctoral, Departamento de Psicología Educativa Universidad de
Arizona.
Como puede observarse le desempeño promedio de los aspirantes no rebasa el 60%
de aciertos en las sub-secciones del EXHCOBA, lo que implica que si se aplicara la norma
convencional de 60 % de aprobación en promedio los sustentantes no aprueban el examen
de admisión. El desempeño por sub-secciones EXHCOBA de la Cohorte 2002 (Gonzalez,
L. 2003) se presenta en la siguiente tabla:
Tabla 2
2003 Proporción de Aciertos en Secciones EXHCOBA
Sección Porcentaje de Aciertos_____No. De Reactivos
Habilidades Básicas
Verbal 60% 30
Cuantitativa 53% 30
Conocimientos Básicos
Español 53% 15
Matemáticas 40% 15
Ciencias Naturales 55% 20
Ciencias Sociales 50% 20
Conocimientos por Areas de Carrera
Matemáticas –Estadística 35% 20
Ciencias Sociales 45% 20

4. 4
Económico Administrativas 45% 20
Matemáticas – Calculo 40% 20
Biología 50% 20
Química 35% 20
Física 50% 20
Español 55% 20
Humanidades 60% 20
Ingles 82% 60
________________________________________________________________________
Nota: Sustentantes del Examen: 2003 n = 5046 aspirantes.
Fuente: González, G. (2004.)Perfil de Ingreso e los Estudiantes de Bachillerato. Universidad de
Sonora, Dirección de Planeación
Teniendo en cuenta el desempeño observado, en le estudio que se reporta se decidió
poner a prueba una metodología en 3 etapas que permitiera evaluar 2 aspectos
fundamentales:
a) Las propiedades psicometrícas del EXHCOBA para determinar su confiabilidad
y validez interna.
b) El desempeño académico de los sustentantes del EXHCOBA con énfasis
particular en la detección de los niveles de habilidad y conocimientos
observados a través del EXHCOBA.
Para el primer aspecto las propiedades psucometricas del instrumento se estudiaron
mediante Análisis Factorial; Exploratorio (AFE) y Análisis Factorial Confirmatorio (AFC).
Para el segundo aspecto, desempeño académico se utilizó la Teoría Respuesta al Reactivo
(TRR) aplicando el Modelo Monoparmetrico de Rasch para obtener calibraciones de
dificultad de reactivo y habilidad de los respondentes. Cabe señalar que los análisis
estadísticos se realizaron con los datos generados pro la aplicación del EXHCOBA a la
cohorte 2004 (N= 5888).

5. 5
Para lograr una validación cruzada, se su subdivido la población N= 5888 en 2
muestras seleccionadas al azar. Para la selección aleatoria de utilizo la función “Random
Sampliing” del paquete SPSS. La primera muestra aleatoria se analizo utilizando el
procedimiento de Análisis Factorial exploratorio. La segunda muestra aleatoria se analizan
con el procedimiento de Análisis Factorial Confirmatorio. A continuación se describe la
aplicaron de esat metodología en 2 fases ejemplificando resultados obtenidos de las 2
primeras sub-escalas del EXHCOBA: Habilidades Verbales y Habilidades Cuantitativas.
Los primeros 60 reactivos del instrumento corresponden a estas sub-escalas.
Análisis Factorial Exploratorio
Para llevar a cabo esta fase se selecciono un programa que permita extraer los
factores en la estructura de los datos cuando las variables son binarias. (1= acierto, 0=
error) por reactivo. En estos casos se analiza una matriz de correlaciones tetracoricas. El
programa TESTFACT elaborado por D. Bock y colaboradores (1988), implementa el
análisis factorial en matrices de correlaciones tetracoricas.
Para la primera sección de EXHOCBA se espera que la estructura de los datos se
reduzca a 3 factores: Habilidad General, Habilidad Verbal y Habilidad Cuantitativa. La
programación TESFACT para comprobar la posible presencia de estos 3 factores se
presenta a continuación:

6. 6
>TITLE
EFA1.TSF - EFA DATA FULL-INFORMATION ITEM FACTOR ANALYSIS
>PROBLEM NITEMS=60, RESPONSE=3;
>COMMENTS
EXHCOBA SUB-TEST 1A LANG - MATH BASIC ABIL
Full-information item factor analysis
VARIMAX rotation
Data layout: COLUMN1 TO 60 Item Responses
>NAMES ITEM1,ITEM2,ITEM3,ITEM4,ITEM5,ITEM6,ITEM7,ITEM8,
ITEM9, ITEM10,ITEM11,ITEM12,ITEM13,ITEM14,ITEM15,
ITEM16,ITEM17,ITEM18,ITEM19,ITEM20,ITEM21,ITEM22,
ITEM23,ITEM24,ITEM25,ITEM26,ITEM27,ITEM28,ITEM29,
ITEM30,ITEM31,ITEM32,ITEM33,ITEM34,ITEM35,ITEM36,
ITEM37,ITEM38,ITEM39,ITEM40,ITEM41,ITEM42,ITEM43,
ITEM44,ITEM45,ITEM46,ITEM47,ITEM48,ITEM49,ITEM50,
ITEM51,ITEM52,ITEM53,ITEM54,ITEM55,ITEM56,ITEM57,
ITEM58,ITEM59,ITEM60;
>RESPONSE ' ','0','1';
>KEY 111111111111111111111111111111111111111111111111111111111111;
>TETRACHORIC NDEC=3, LIST;
>FACTOR NFAC=3,NROOT=4,ROTATE=VARIMAX, RESIDUAL, SMOOTH;
>FULL CYCLES=200; QUAD=8;
>TECHNICAL NOADAPT; QUAD=8;
>SAVE SMOOTH, ROTATED, PARM;
>INPUT FILE='EFA1.DAT' NIDCHAR=20;
(20A1,T1,60A1)
>STOP
Al correr el programa con la estructura factorial hipotética NFAC=3, se obtuvieron
los siguientes resultados:

7. 7
Tabla 3
Patrones de Carga de Reactivos EXHCOBA 1 a 60: Habilidades Básicas
Item Factor 1 Factor2 Factor 3
ITEM1 .14 .32 .13
ITEM4 .33 .17 .11
ITEM5 .11 .33 .10
ITEM6 .30 .33 .13
ITEM8 .14 .30 .13
ITEM12 .14 .41 .10
ITEM14 43 .17 .13
ITEM21 .13 .30 .24
ITEM22 .32 .11 .13
ITEM24 .38 .24 .19
ITEM31 .17 .16 .36
ITEM32 32 .17 .27
ITEM33 08 .21 .33
ITEM34 .39 .14 .24
ITEM35 .14 .19 .32
ITEM36 .33 .22 .28
ITEM37 .14 .17 .32
ITEM38 .30 .19 .32
ITEM39 .11 .16 .44
ITEM40 .29 .16 .35
ITEM41 21 .30 .33
ITEM42 .35 .09 .34
ITEM43 .20 .10 .43
ITEM44 .37 .07 .32
ITEM45 .24 .11 .41
ITEM46 .17 .08 .40
ITEM47 .35 .04 .34
ITEM48 .18 .08 .41
ITEM49 .36 .21 .23
ITEM50. 15 .13 .35
ITEM51 .36 .15 .28
ITEM53 .28 .13 .35
ITEM54 .15 .27 .35
ITEM55 .-17 .17 .41
ITEM56 .14 .14 .36
ITEM57 .36 .15 .26
ITEM58 .08 .16 .36
ITEM59 .25 .24 .31
ITEM60 .06 .16 .42
Al examinar los 3 patrones de carga de los reactivos y considerando valores de
carga mayores de .30 en los 3 factores hipotéticos, puede verse que el factor 1 corresponde
a reactivos que requieren una habilidad general para resolución de problemas mientas que

8. 8
los factores 2 y 3 muestran carga de reactivos que corresponden a las Habilidades
Cuantitativas y Verbales respectivamente.
Análisis Factorial Confirmatorio
Para realizar la validación cruzada de estos resultadlos preliminares se aplico a la
segunda muestra aleatoria una variación del programa TESFACT que se muestra
enseguida:
>TITLE
CONFIRMATORY FACTOR ANALYSIS ON EXHCOBA DATA
>PROBLEM NITEMS=60, RESPONSE=3;
>COMMENTS
EXHCOBA SUB-TEST 1A
CONFIRM ONE GENERAL FACTOR AND 2 ITEM
GROUP FACTORS AS AREAS: (1) LANG (2) MATH
DATA layout: COLUMNS 1 TO 60 ITEM RESPONSES
>NAMES ITEM1,ITEM2,ITEM3,ITEM4,ITEM5,ITEM6,ITEM7,ITEM8,
ITEM9, ITEM10,ITEM11,ITEM12,ITEM13,ITEM14,ITEM15,
ITEM16,ITEM17,ITEM18,ITEM19,ITEM20,ITEM21,ITEM22,
ITEM23,ITEM24,ITEM25,ITEM26,ITEM27,ITEM28,ITEM29,
ITEM30,ITEM31,ITEM32,ITEM33,ITEM33,ITEM34,ITEM35,
ITEM36,ITEM37,ITEM38,ITEM39,ITEM40,ITEM41,ITEM42,
ITEM43,ITEM44,ITEM45,ITEM46,ITEM47,ITEM48,ITEM49,
ITEM50,ITEM51,ITEM52,ITEM53,ITEM54,ITEM55,ITEM56,
ITEM57,ITEM58,ITEM59,ITEM60;
>RESPONSE ' ','0','1';
>KEY 111111111111111111111111111111111111111111111111
111111111111;
>TETRACHORIC NDEC=3,LIST;
>BIFACTOR NIGROUPS=3, LIST=3, CYCLES=100
IGROUPS=(2,0,0,1,2,2,0,2,0,0,0,2,0,1,0,0,0,0,0,0,
2,1,0,1,0,0,0,0,0,0,3,1,3,1,3,1,3,3,3,3,3,3,3,
3,3,3,1,3,0,3,1,0,3,3,3,1,3,3,3,3),
CPARMS=(0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,
0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,
0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,
0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,
0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,
0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1);
LIST=3,
NDEC=3, RESIDUAL, SMOOTH;

9. 9
>SAVE RESIDUAL, SMOOTH;
>INPUT FILE='CFA1.DAT' NIDCHAR=20;
(20A1,T1,60A1)
>STOP
Al correr el programa los resultados analizan mediante una comparación de la
estadística χ2
la cual debe mostrar una reducción cuando se especifica el número correcto
de factores a confirmarse.
Bajo la hipótesis de un factor general y un factor especifico se obtiene χ2
= 162,
955.93, DF = 2933. La hipótesis alternativa de un factor general y dos factores específicos
dan como resultados χ2
= 162,421.00, DF = 2895.La reducción en el valor de χ2 e
es de :
162,955.93 − 162,421.00 = 534.93 con 2933-2895 = 38 DF. Este resultado permite
confirmar la estructura factorial obtenida en la fase exploratoria ya que el valor critico de
χ2
(38) = 61.162 at α = .01 . El valor obtenido es de 534.93 lo que confirma de manear
definitiva la estructura factorial que se determinó en la fase exploratoria.
Aplicación de la Teoría Respuesta Reactivo TRR
Una vez confirmada la estructura factiorial de las dos primaras su-escalas de
instrumento, se procedió a la tercer fase en las que se obtuvieron calibraciones de las
características de los reactivos y las habilidades de los respondentes. Para este proceso se
utilizó el programa WINSTEPS desarrollado por J.Linacre y colaboradores (2003) ya que
este implementa el Modelo Monoparametrico Rasch. La siguiente tabla presenta las
calibraciones de los primeros 30 reactivos:

10. 10
Tabla 4
Calibraciones de reactivos f EXHCOBA 1 – 30: Habilidades Verbales
ITEM LOGIT ERROR
INFIT
MSQ
INFIT
ZSTD
OUTFIT
MSQ
OUTFIT
ZSTD CORR DISCR
1 0.75 0.04 0.99 -0.58 1.01 0.80 0.35 1.03
2 1.56 0.04 1.06 3.16 1.07 2.65 0.25 0.88
3 0.40 0.04 1.01 0.88 1.01 0.57 0.33 0.96
4 0.97 0.04 1.01 0.73 1.01 0.33 0.33 0.97
5 -1.19 0.05 0.95 -1.70 0.84 -3.67 0.35 1.07
6 -0.84 0.05 0.92 -3.59 0.84 -4.62 0.40 1.14
7 0.01 0.04 1.09 6.24 1.12 5.69 0.22 0.69
8 -0.77 0.04 1.00 0.00 0.99 -0.36 0.30 1.00
9 0.32 0.04 1.01 0.90 1.01 0.32 0.33 0.96
10 0.42 0.04 1.04 2.96 1.05 2.75 0.30 0.83
11 0.22 0.04 1.05 3.99 1.07 3.72 0.28 0.79
12 0.47 0.04 0.93 -5.99 0.92 -5.16 0.43 1.31
13 -0.48 0.04 1.02 0.99 1.04 1.34 0.29 0.95
14 0.20 0.04 0.91 -6.90 0.89 -6.55 0.44 1.35
15 0.92 0.04 1.09 6.62 1.12 6.52 0.23 0.64
16 -1.33 0.05 0.94 -1.83 0.87 -2.77 0.34 1.07
17 0.65 0.04 1.04 3.35 1.05 2.83 0.30 0.82
18 -0.18 0.04 1.00 0.25 1.00 0.22 0.32 0.99
19 -1.49 0.05 0.99 -0.24 0.96 -0.80 0.26 1.01
20 -0.84 0.05 0.96 -1.61 0.93 -2.08 0.34 1.06
21 -0.75 0.04 0.97 -1.44 0.92 -2.57 0.34 1.06
22 -0.06 0.04 1.01 0.52 1.00 0.11 0.32 0.98
23 0.56 0.04 1.03 2.12 1.02 1.35 0.32 0.89
24 -0.28 0.04 0.87 -8.37 0.81 -8.47 0.49 1.35
25 -0.41 0.04 1.02 1.08 1.01 0.22 0.30 0.96
26 -0.08 0.04 0.99 -0.55 0.98 -0.84 0.34 1.03
27 0.73 0.04 1.02 1.56 1.02 1.31 0.32 0.92
28 0.46 0.04 0.99 -0.98 0.98 -1.22 0.36 1.06
29 -0.61 0.04 1.01 0.32 1.00 0.13 0.30 0.99
30 0.65 0.04 1.08 6.55 1.11 6.52 0.24 0.63
Cuando las expectativas del Modelo Rasch se cumplen la dificultad de los reactivos y las
habilidades de los respondentes al confrontarse resultan en valores de ajuste que deben
estar entre – y +2 unidades logit en la columna INFIT. En este caso los reactivos, 5, 6, 7
,10-12, 14-17, 23,24 y30, rebasan este valor. Como WINSTEPS desagrega la información
de a nivel de desempeño de los reactivos y de los sustentantes, es posible identificar –como

11. 11
en este caso- los reactivos y/o respondentes que no se ajustan al modelo probabilistico
Rasch. La investigación sobre las causas de estos resultados que no se ajustan al modelo
puntara a hacia las áreas temáticas a que pertenecen los reactivos en cuestión. Una vez
logrado lo anterior, el análisis puede llevarse al nivel del currículo y practicas de
instrucción relativas al caso.
Cabe señalar que al metodología en tres fases descrita e se aplico a totalidad de las
escalas del EXHCOBA obteniendo resultados equivalentes que se describe a detalle en
González M. (2004).
Conclusiones Preliminares
El enfoque metodológico que se propone en este trabajo es una forma válida para
asegurar la calidad de nuestros procesos de evaluación educativa cuando se utilizan
instrumentos estandarizados para la medición previa. De hecho, el proceder de esta forma
garantiza una evaluación técnica de los instrumentos de medición, sus escalas y de las
propiedades psicometricas reales que el instrumento posee. La aplicación de métodos
cuantitativos como los descritos posibilitan inferir que las propiedades técnicas de un
instrumento para captar el desempeño de los estudiantes existen más allá de la teoría en
que se basa el instrumento.

12. 12
Bibliografía
Backhoff, E., & Tirado, F. (1992). Desarrollo del Examen de Habilidades y
Conocimientos Básicos Revista de la Educación Superior, XXi(83), 95-118.
Asociación Nacional de Universidades e Instituciones de Educación Superior
(ANUIES), México, D.F.)
Bock, D., Gibbons, R., & Muraki, E. (1988) . Full Information Item Factor Analysis.
Applied Psychological Measurement. vol.13, no.3. pp. 261-280.
González L. (2003) El Perfil de Ingreso de los Estudiantes en la Universidad de Sonora.
Direccion del Planeacion. UNISON Hermosillo, Sonora.
González M. (2004). La Definición y Medición de Estándares Académicos para la
Educación Superior: un estudio Formativo en la Universidad de Sonora. Disertación
Doctoral, Departamento de Psicología Educativa, Universidad de Arizona, Tucson.
Linacre, J. M. (2003) . A User's Guide to Winsteps Ministeps: Rasch-Model Computer
Programs. Chicago, IL: Electronic Publication.