La pertinencia de la PSU y las
necesidades de cambio en el
sistema de selección universitaria
Mónica Silva R.
10/4/2013
I. Rol de las pruebas de admisión
II. El caso chileno: de la PAA a la PSU
III. Evaluaciones Internacionales de la PSU
I. ETS (2004)
II. Pearson (2013)
IV. El futuro…
El Rol de las Pruebas de Admisión
 predecir rendimiento…
 sin otorgar ventaja injustificada a un grupo en
desmedro de otro
Nuevas pruebas y equidad
Fuente: El Mercurio 26/4/2002
Nuevas pruebas y equidad:
“Existe inequidad en la medición actual [PAA] porque se
basa mucho en lo que son los aspectos hereditarios
como la familia, capital cultural y la carga genética..
Mientras más contenidos se incorpore a la
evaluación se da la posibilidad de que el factor
escuela tenga más importancia y eso es un hecho
igualizante (sic)…no tenemos ninguna duda de que
llegaremos a una prueba que claramente no va a
acentuar la desigualdad”
(Entrevista a director del proyecto SIES, Diario Austral 21/7/2002).
Nuevas pruebas y equidad:
 “Pruebas que tienen una orientación al
currículum, como el SIMCE, presentan
menor desigualdad que pruebas de aptitud
generales”
(Creador de la PSU, citado en La Tercera, 13/04/02)
En países en desarrollo, con gran desigualdad
educacional, ¿que tipo de prueba de
admisión es el más apropiado?
 ¿Pruebas tipo PAA (“aptitud”)?
 contenidos acotados
 ¿Pruebas tipo PSU (“contenidos”)?
 extensos contenidos curriculares
En Estados Unidos
 Discusión acerca de cambios en pruebas de
admisión énfasis en contenidos
“ …alejarse de las pruebas de aptitud y
moverse hacia pruebas de contenido es un
paso adecuado para los estudiantes,
escuelas y universidades estadounidenses”
(R. Atkinson, 2001)
¿”Aptitud” o “contenidos”?
En países en desarrollo, la variación en la calidad de
educación impartida en los colegios es significativa… En
países donde esto ocurre… las pruebas de contenidos
miden oportunidad de aprender en lugar de capacidad de
aprender… Países que se preocupan de escoger alumnos
talentosos tienen que considerar que pruebas tipo SAT
[“aptitud” o razonamiento basadas en contenidos acotados]
pueden ser menos vulnerables a las diferencias en calidad
de la educación…
(Heyneman, 1987; traducción mía).
¿”Aptitud” o “contenidos”?
“La mala calidad de la educación conlleva un efecto
negativo para la igualdad de oportunidades de
acceso a la educación superior, especialmente en
el contexto de pruebas muy competitivas [de
contenidos extensos y alto grado de dificultad].
(Lewis & Dundar, 2002; traducción mía).
¿Porqué cambiamos de una prueba de
escasos contenidos a una de altos
contenidos?
“El Pecado Original”
 PSU fue (mal) concebida para matar dos pájaros de
un tiro:
 seleccionar alumnos a las universidades
 evaluar la enseñanza media (CH) dejaron de lado a los
TP
El doble propósito: evaluar la
enseñanza media y seleccionar
alumnos a las universidades
(Evidencia de Acta Sesión 427,
CRUCh)
Conciencia del problema para los
alumnos de la EMTP desde antes de
la implementación de la PSU
(Anexo Acta Sesión 427, CRUCh)
CRUCh advertido públicamente del
perjuicio para los alumnos de la
EMTP a dos años de su aplicación
El Mercurio, 5/8/2006:
“El Comité Técnico Asesor del CRUCh
descartó las críticas del ex Rector de la U.
de Chile, Luis Riveros en cuanto a que la
PSU no es un buen instrumento para la
modalidad técnico-profesional…”
CRUCh advertido del perjuicio para
los alumnos de la EMTP a cinco años
de su aplicación
La PSU y la educación técnica
10/02/09 - El Mercurio (Chile)
"El uso de un instrumento basado en el
currículum pudiera acentuar las
diferencias socioeconómicas, no porque
los más pobres estén aprendiendo
menos, sino porque están aprendiendo
algo distinto...".
El CRUCh omite de sus informes a los
alumnos de la educación TP se
esconde el perjuicio
Admisión 2004
Admisión 2005
Admisión 2006 - 2010
Resultados de la Aplicación de Pruebas de Selección Universitaria
Admisión 2003 - 2004
Admisión 2003 - 2006
Estudio acerca de la Validez Predictiva de los Factores de Selección
a las Universidades del Consejo de Rectores
Admisiones 2004-2007
Validez diferencial y sesgo de predictividad de las Pruebas de
Admisión a las Universidades Chilenas
Problemas de las evaluaciones oficiales del
CRUCh 2004-2012:
 Omiten a los TP
 Falta de independencia en las evaluaciones: quienes
evaluaban las pruebas eran los mismos que las
diseñaron e implementaron
 Informes complacientes y sesgados con respecto a la
calidad de las pruebas
 Falta de transparencia
 Acceso a datos: restringido/negado
 Secretismo: única evaluación independiente (ETS del 2004), no
es dada a conocer sino hasta el 2012 (Ley de Transparencia)
Informe de Pearson (2013)
 Los puntajes han aumentado para el caso de
los establecimientos particulares pagados y
la modalidad HC, en desmedro de la
modalidad TP.
 Brechas crecen porque sacan ventaja los
particulares pagados
Uso de puntajes PSU para asignación
de becas y beneficios
 “Existen problemas importantes con los puntajes para
asignar becas…se están usando puntos de corte que
requieren de ser validados”.
“[T]here are significant problems with the PSU scale scores and the cuts for assigning scholarships. At this point in
time, PSU test scores are used to grant social benefits based on cut scores that need further validation.” (p.61)
Otros problemas:
 Pruebas desalineadas con el currículum, tanto
HC como TP.
 Baja capacidad predictiva de las pruebas (bajo
los estándares internacionales)
 Grado de dificultad inadecuado en la prueba de
matemáticas
 Problemas en el pilotaje de las preguntas
 No se hacen estudios de sesgos para grupos
relevantes
 Reporte inadecuado de un puntaje único en
PSU de Ciencias
Algunas recomendaciones de Pearson:
 Enfocar la PSU en los contenidos hasta
segundo medio (comunes a los CH y TP).
 Revisión de la política del uso del Marco
Curricular como la base para el desarrollo de los
marcos para las pruebas de la PSU.
 Desarrollo de un marco que describa las
aptitudes (esto es, habilidades) y otras variables
relevantes (hábitos de estudios y motivación)
necesarias para el éxito universitario (pg.416).
 Corregir grado de dificultad de prueba de
matemáticas
El futuro…
¿Quién se hace cargo?
CRUCh: propietario de la PSU
DEMRE: la construye, implementa y administra (rol
ejecutor)
CTA del CRUCh: funciones ejecutivas y de supervisión de
todos los procesos – desde la elaboración hasta la entrega
de resultados – entre otros
MINEDUC: principal fuente de financiamiento
¿Quién se hace cargo?
 El CRUCh decidió en forma unánime conformar
una comisión de expertos que estarán a cargo
de proponer los cambios a la PSU y sus
procesos asociados, tomando en cuenta las
recomendaciones entregadas a principios de
año por el Informe Pearson…
Rechazan cambio en institucionalidad propuesto
por el MINEDUC y designan a los mismos
funcionarios del DEMRE y del CTA del CRUCh en
comisiones para “evaluar” el informe de Pearson
Postura del CRUCh
 Rechazan de plano cambios de fondo en la
institucionalidad en la PSU, que implica
congregar un organismo técnico
independiente que actúe con transparencia,
rindiendo cuentas a la opinión pública de la
calidad y equidad de las pruebas, velando
ante todo por el bien común
mantener el statu quo
Mensaje que envían:
…
¿Es tan grave que se hayan visto
perjudicados los alumnos de la
educación TP en la PSU?
¿No deberían conformarse con tener
una buena educación para ir al mundo
laboral?
¿Importa que los alumnos TP hayan sido
perjudicados por la PSU?
 Educación TP no es
necesariamente fruto de
vocación
 91% de egresados TP aspira
a proseguir estudios
 Más de 70 mil rinden la PSU
 Muchas carreras técnicas
ofrecidas por universidades
 Alumnos talentosos de la
EMTP tienen derecho a
proseguir estudios
universitarios
 PSU debe cambiarse
Fuente: Carta al Director, El Mercurio
02/4/2013
 TP deben conformarse con no
seguir estudios universitarios
 No hay que cambiar la PSU es
prueba para los CH
 Si su objetivo es la universidad
que se cambien a un liceo CH y
no malgasten los recursos del
estado en capacitarse en un
oficio que abandonarán
Fuente: Carta al Director, El Mercurio 1/4/2013
¿Es tan grave que se hayan visto perjudicados los
alumnos de la educación TP en la PSU?
Reforma Educativa de fines de los 90: tuvo importantes
consecuencias para la EMTP:
-reorganizar su oferta curricular
-espacio de formación diferenciada en 3º y 4º medio
- mayor espacio de formación general
“Quienes cursan la EMTP en relación a sus pares de la
EMCH, aún están expuestos a un número menor de
horas de formación general, lo que al término de la
enseñanza media...va en desmedro de su proyecto de la
continuidad de estudios...“.
Fuente Mineduc (2012). Educación Técnica Profesional en Chile.
“Creo que los autores intelectuales de la PSU
deben pedir disculpas públicas a los padres y
estudiantes que han sufrido con una prueba que no
sirve y que aumenta la discriminación
socioeconómica. Además, deben pedir disculpas al
país en general por el costo social causado por
su prueba”.
Fte: R. Fischer, “La PSU no Sirve” (24/1/2012)
http://variacioncompensada.com/2012/01/24/la-psu-no-sirve/
Reparar el daño hecho:
 Aceptar oferta del Mineduc y traer comité
internacional a supervisar los cambios que
deben implementarse..
 Buscar medidas de reparación para las
generaciones afectadas
 Aceptar cambios en la institucionalidad para
que lo sucedido con la PSU no vuelva a ocurrir
nunca más.
¡Gracias!

Pertinencia de la PSU y las necesidades de cambio en el sistema de selección universitaria - 2013

  • 1.
    La pertinencia dela PSU y las necesidades de cambio en el sistema de selección universitaria Mónica Silva R. 10/4/2013
  • 2.
    I. Rol delas pruebas de admisión II. El caso chileno: de la PAA a la PSU III. Evaluaciones Internacionales de la PSU I. ETS (2004) II. Pearson (2013) IV. El futuro…
  • 3.
    El Rol delas Pruebas de Admisión  predecir rendimiento…  sin otorgar ventaja injustificada a un grupo en desmedro de otro
  • 4.
    Nuevas pruebas yequidad Fuente: El Mercurio 26/4/2002
  • 5.
    Nuevas pruebas yequidad: “Existe inequidad en la medición actual [PAA] porque se basa mucho en lo que son los aspectos hereditarios como la familia, capital cultural y la carga genética.. Mientras más contenidos se incorpore a la evaluación se da la posibilidad de que el factor escuela tenga más importancia y eso es un hecho igualizante (sic)…no tenemos ninguna duda de que llegaremos a una prueba que claramente no va a acentuar la desigualdad” (Entrevista a director del proyecto SIES, Diario Austral 21/7/2002).
  • 6.
    Nuevas pruebas yequidad:  “Pruebas que tienen una orientación al currículum, como el SIMCE, presentan menor desigualdad que pruebas de aptitud generales” (Creador de la PSU, citado en La Tercera, 13/04/02)
  • 7.
    En países endesarrollo, con gran desigualdad educacional, ¿que tipo de prueba de admisión es el más apropiado?  ¿Pruebas tipo PAA (“aptitud”)?  contenidos acotados  ¿Pruebas tipo PSU (“contenidos”)?  extensos contenidos curriculares
  • 8.
    En Estados Unidos Discusión acerca de cambios en pruebas de admisión énfasis en contenidos “ …alejarse de las pruebas de aptitud y moverse hacia pruebas de contenido es un paso adecuado para los estudiantes, escuelas y universidades estadounidenses” (R. Atkinson, 2001)
  • 9.
    ¿”Aptitud” o “contenidos”? Enpaíses en desarrollo, la variación en la calidad de educación impartida en los colegios es significativa… En países donde esto ocurre… las pruebas de contenidos miden oportunidad de aprender en lugar de capacidad de aprender… Países que se preocupan de escoger alumnos talentosos tienen que considerar que pruebas tipo SAT [“aptitud” o razonamiento basadas en contenidos acotados] pueden ser menos vulnerables a las diferencias en calidad de la educación… (Heyneman, 1987; traducción mía).
  • 10.
    ¿”Aptitud” o “contenidos”? “Lamala calidad de la educación conlleva un efecto negativo para la igualdad de oportunidades de acceso a la educación superior, especialmente en el contexto de pruebas muy competitivas [de contenidos extensos y alto grado de dificultad]. (Lewis & Dundar, 2002; traducción mía).
  • 11.
    ¿Porqué cambiamos deuna prueba de escasos contenidos a una de altos contenidos?
  • 12.
    “El Pecado Original” PSU fue (mal) concebida para matar dos pájaros de un tiro:  seleccionar alumnos a las universidades  evaluar la enseñanza media (CH) dejaron de lado a los TP
  • 13.
    El doble propósito:evaluar la enseñanza media y seleccionar alumnos a las universidades (Evidencia de Acta Sesión 427, CRUCh)
  • 15.
    Conciencia del problemapara los alumnos de la EMTP desde antes de la implementación de la PSU (Anexo Acta Sesión 427, CRUCh)
  • 17.
    CRUCh advertido públicamentedel perjuicio para los alumnos de la EMTP a dos años de su aplicación
  • 18.
    El Mercurio, 5/8/2006: “ElComité Técnico Asesor del CRUCh descartó las críticas del ex Rector de la U. de Chile, Luis Riveros en cuanto a que la PSU no es un buen instrumento para la modalidad técnico-profesional…”
  • 19.
    CRUCh advertido delperjuicio para los alumnos de la EMTP a cinco años de su aplicación
  • 20.
    La PSU yla educación técnica 10/02/09 - El Mercurio (Chile) "El uso de un instrumento basado en el currículum pudiera acentuar las diferencias socioeconómicas, no porque los más pobres estén aprendiendo menos, sino porque están aprendiendo algo distinto...".
  • 21.
    El CRUCh omitede sus informes a los alumnos de la educación TP se esconde el perjuicio
  • 22.
    Admisión 2004 Admisión 2005 Admisión2006 - 2010 Resultados de la Aplicación de Pruebas de Selección Universitaria
  • 23.
    Admisión 2003 -2004 Admisión 2003 - 2006 Estudio acerca de la Validez Predictiva de los Factores de Selección a las Universidades del Consejo de Rectores
  • 24.
    Admisiones 2004-2007 Validez diferencialy sesgo de predictividad de las Pruebas de Admisión a las Universidades Chilenas
  • 25.
    Problemas de lasevaluaciones oficiales del CRUCh 2004-2012:  Omiten a los TP  Falta de independencia en las evaluaciones: quienes evaluaban las pruebas eran los mismos que las diseñaron e implementaron  Informes complacientes y sesgados con respecto a la calidad de las pruebas  Falta de transparencia  Acceso a datos: restringido/negado  Secretismo: única evaluación independiente (ETS del 2004), no es dada a conocer sino hasta el 2012 (Ley de Transparencia)
  • 26.
    Informe de Pearson(2013)  Los puntajes han aumentado para el caso de los establecimientos particulares pagados y la modalidad HC, en desmedro de la modalidad TP.  Brechas crecen porque sacan ventaja los particulares pagados
  • 27.
    Uso de puntajesPSU para asignación de becas y beneficios  “Existen problemas importantes con los puntajes para asignar becas…se están usando puntos de corte que requieren de ser validados”. “[T]here are significant problems with the PSU scale scores and the cuts for assigning scholarships. At this point in time, PSU test scores are used to grant social benefits based on cut scores that need further validation.” (p.61)
  • 28.
    Otros problemas:  Pruebasdesalineadas con el currículum, tanto HC como TP.  Baja capacidad predictiva de las pruebas (bajo los estándares internacionales)  Grado de dificultad inadecuado en la prueba de matemáticas  Problemas en el pilotaje de las preguntas  No se hacen estudios de sesgos para grupos relevantes  Reporte inadecuado de un puntaje único en PSU de Ciencias
  • 29.
    Algunas recomendaciones dePearson:  Enfocar la PSU en los contenidos hasta segundo medio (comunes a los CH y TP).  Revisión de la política del uso del Marco Curricular como la base para el desarrollo de los marcos para las pruebas de la PSU.  Desarrollo de un marco que describa las aptitudes (esto es, habilidades) y otras variables relevantes (hábitos de estudios y motivación) necesarias para el éxito universitario (pg.416).  Corregir grado de dificultad de prueba de matemáticas
  • 30.
    El futuro… ¿Quién sehace cargo? CRUCh: propietario de la PSU DEMRE: la construye, implementa y administra (rol ejecutor) CTA del CRUCh: funciones ejecutivas y de supervisión de todos los procesos – desde la elaboración hasta la entrega de resultados – entre otros MINEDUC: principal fuente de financiamiento
  • 31.
    ¿Quién se hacecargo?  El CRUCh decidió en forma unánime conformar una comisión de expertos que estarán a cargo de proponer los cambios a la PSU y sus procesos asociados, tomando en cuenta las recomendaciones entregadas a principios de año por el Informe Pearson… Rechazan cambio en institucionalidad propuesto por el MINEDUC y designan a los mismos funcionarios del DEMRE y del CTA del CRUCh en comisiones para “evaluar” el informe de Pearson
  • 32.
    Postura del CRUCh Rechazan de plano cambios de fondo en la institucionalidad en la PSU, que implica congregar un organismo técnico independiente que actúe con transparencia, rindiendo cuentas a la opinión pública de la calidad y equidad de las pruebas, velando ante todo por el bien común mantener el statu quo
  • 33.
  • 34.
    ¿Es tan graveque se hayan visto perjudicados los alumnos de la educación TP en la PSU? ¿No deberían conformarse con tener una buena educación para ir al mundo laboral?
  • 35.
    ¿Importa que losalumnos TP hayan sido perjudicados por la PSU?  Educación TP no es necesariamente fruto de vocación  91% de egresados TP aspira a proseguir estudios  Más de 70 mil rinden la PSU  Muchas carreras técnicas ofrecidas por universidades  Alumnos talentosos de la EMTP tienen derecho a proseguir estudios universitarios  PSU debe cambiarse Fuente: Carta al Director, El Mercurio 02/4/2013  TP deben conformarse con no seguir estudios universitarios  No hay que cambiar la PSU es prueba para los CH  Si su objetivo es la universidad que se cambien a un liceo CH y no malgasten los recursos del estado en capacitarse en un oficio que abandonarán Fuente: Carta al Director, El Mercurio 1/4/2013
  • 36.
    ¿Es tan graveque se hayan visto perjudicados los alumnos de la educación TP en la PSU? Reforma Educativa de fines de los 90: tuvo importantes consecuencias para la EMTP: -reorganizar su oferta curricular -espacio de formación diferenciada en 3º y 4º medio - mayor espacio de formación general “Quienes cursan la EMTP en relación a sus pares de la EMCH, aún están expuestos a un número menor de horas de formación general, lo que al término de la enseñanza media...va en desmedro de su proyecto de la continuidad de estudios...“. Fuente Mineduc (2012). Educación Técnica Profesional en Chile.
  • 37.
    “Creo que losautores intelectuales de la PSU deben pedir disculpas públicas a los padres y estudiantes que han sufrido con una prueba que no sirve y que aumenta la discriminación socioeconómica. Además, deben pedir disculpas al país en general por el costo social causado por su prueba”. Fte: R. Fischer, “La PSU no Sirve” (24/1/2012) http://variacioncompensada.com/2012/01/24/la-psu-no-sirve/
  • 38.
    Reparar el dañohecho:  Aceptar oferta del Mineduc y traer comité internacional a supervisar los cambios que deben implementarse..  Buscar medidas de reparación para las generaciones afectadas  Aceptar cambios en la institucionalidad para que lo sucedido con la PSU no vuelva a ocurrir nunca más.
  • 39.