Evaluación del efecto de PROA en el rendimiento estudiantil

J. Ignacio García-Pérez Marisa Hidalgo-Hidalgo
(Universidad Pablo de Olavide, Sevilla)
UIMP (Santander) Julio 1-2, 2014
Evaluación de PROA: su efecto sobre el
rendimiento de los estudiantes

2/29
Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014
Motivación
 Aumento competencia internacional interés diferencias en
los resultados académicos entre países centro del debate
educativo: medidas para mejorar la calidad del sistema
educativo español.
Esta calidad se refleja en:
los resultados que obtienen los alumnos.
y en la eficacia de las acciones dirigidas a alcanzar la igualdad de
oportunidades.
Entre todas las medidas tomadas para mejorar la calidad:
programa de apoyo dirigido a centros con estudiantes de origen
socioeconómico bajo (PROA)
Introducción

3/29
¿Qué es PROA?
 Plan de Refuerzo, Orientación y Apoyo destinado a
centros de Primaria y Secundaria.
Objetivo: apoyar a los centros educativos que atienden a
un número significativo de alumnos en situación de
desventaja educativa, para mejorar la calidad educativa y
los resultados escolares.
Modalidades:
A) Programa de Acompañamiento Escolar
B) Programa de Apoyo y Refuerzo
Introducción

4/29
¿Qué es PROA?
A) Programa de Acompañamiento Escolar
Centros de Primaria y Secundaria
 Apoyo en pequeños grupos y horario extraescolar
 Monitores o profesores del propio centro
 Dirigido a:
 Primaria: Alumnos de dos últimos ciclos, seleccionados
por el tutor.
 Secundaria: Alumnos de cualquier ciclo, seleccionados
por el equipo de profesores y el tutor.
Introducción

5/29
¿Qué es PROA?
B) Programa de Apoyo y Refuerzo
Centros de Secundaria
 Apoyo global al centro
 Conjunto de actuaciones sobre el ámbito escolar, familiar
y del entorno
 Dirigido a:
 Centros que se encuentran en entornos difíciles y con
una proporción elevada de alumnos con dificultades.
Introducción

6/29
Objetivo estudio
Actualmente existe cierta evaluación previa:
Porcentaje de alumnos que promocionan, que abandonan, etc.
Grado de satisfacción de los agentes implicados (monitores o
profesores, tutores, coordinadores, alumnos, familias, equipo
directivo y jefes de departamento)
Evaluar efectividad PROA en sobre los resultados académicos de
los estudiantes a nivel individual.
Utilizaremos resultados de pruebas externas al centro: PISA
2012.
Compararemos los resultados de centros con características
similares que se diferencian en que unos han tenido PROA en el
periodo 2005-2012 y otros no.
Introducción

7/29
Literatura previa
 Evaluaciones de políticas educativas consistentes en clases de
recuperación, apoyo o refuerzo dirigidas a estudiantes con bajo
rendimiento educativo (remedial education)
Problema: estas políticas son difíciles de evaluar debido al
problema de selección muestral:
 Las características personales de estos estudiantes afectan
tanto a la probabilidad de ser seleccionados como al éxito del
programa.
Introducción

8/29
Literatura previa
 Distingue entre tres tipos de efectos:
Corto plazo: Lavy and Schlosser, 2005; Jacob and Lefgren, 2004;
Hanushek et al., 2002; Banerjee et al., 2007.
Largo plazo: ¿Desaparece el efecto tras el programa?
 Banerjee et al., 2007 encuentran que, sólo un año después de la
finalización del programa, su efecto desaparece.
Duración/ Intensidad: ¿El efecto de este tipo de intervenciones es
acumulativo?
 Banerjee et al., 2007 también encuentran que, aquellos estudiantes que
participaron en el programa durante dos años consecutivos, pudieron
experimentar incrementos en su capital humano que aumentaron sus
puntuaciones académicas en los dos años siguientes.
Introducción

9/29
Literatura previa
 Estos resultados sugieren que este tipo de programas pueden ser
efectivos en la reducción de las diferencias de rendimiento
académico entre estudiantes con diferentes características socio-
económicas,
…pero que los diseñadores de políticas deben tener como objetivo
intervenciones de largo plazo.
 Así, siguiendo esta literatura en este trabajo analizaremos los
efectos de PROA en el corto y largo plazo, así como el efecto de la
intensidad de la intervención.
Introducción

10/29
Principales resultados
1) En general PROA tiene efectos positivos, aunque reducidos,
sobre el rendimiento académico de los alumnos: ambas
modalidades de PROA mejoran los resultados sobre todo en
lectura, tanto en el corto como en el largo plazo.
2) La modalidad PAE (Programa de Acompañamiento) es la más
efectiva en el Corto Plazo. En el largo Plazo el PAR (Programa de
refuerzo) es el programa PROA más efectivo.
3) El efecto de las intervenciones a través de PROA es
acumulativo: los estudiantes que se encuentran en centros que
recibieron PROA uno o dos años más obtienen mejores
resultados que el resto.
Introducción

11/29
Análisis descriptivo
Evolución centros PROA: 2005-2012

12/29
Centros PROA-PISA 2012: 2008-2012

13/29

14/29
 Por lo tanto tenemos varios tipos de centros:
 No han sido tratados con PROA ningún año.
 Han sido tratados con PROA-Acompañamiento  de éstos
tenemos el número de cursos que han participado en dicho
programa
 Han sido tratados con PROA-Refuerzo  de éstos tenemos el
número de cursos que han participado en dicho programa
 Han participado en ambos programas  también tenemos el
número de años que lo han hecho.
 Compararemos centros tratados con centros no tratados

15/29
PISA 2012
 Resultados académicos: lengua, matemáticas y ciencias
 Variables que utilizamos como controles:
 Individuales: sexo, estatus inmigrante, si es alumno repetidor o
no, si ha asistido a educación infantil o no
 Socio-familiares: educación y ocupación de los padres
 Centro educativo: porcentaje estudiantes del centro cuyos
padres tienen estudios superiores

16/29
PISA 2012

17/29
PISA 2012

18/29
Metodología: matching (emparejamiento)

19/29
 El principal problema para evaluar este programa es que la
selección de los individuos tratados no es aleatoria.
 Por tanto, los individuos tratados y no tratados pueden diferir en
otras características, diferentes de la asignación o no al tratamiento.
 Si no se tienen en cuenta dichas características, se podría estar
atribuyendo de forma espúrea al tratamiento un efecto sobre la
variable de interés que realmente es debido a la influencia de otras
características.
 Por tanto, para poder obtener efectos causales es necesario
controlar por las diferencias entre individuos tratados y no
tratados.
 El objetivo con el matching es el de emparejar cada participante con
aquellos no participantes similares a él  es como si
construyéramos un experimento con datos no experimentales.

20/29
 Una vez tenemos individuos tratados y controles con los mismos
valores en cuanto a la probabilidad de ser tratados (haber recibido
PROA), evaluamos el efecto de la política mediante tres
metodologías distintas:
 Estratificación:
 Se construyen intervalos de tratados y controles con igual probabilidad
de ser tratados.
 Vecino más cercano:
 Asigna un peso de 1 al control más cercano al tratado en cuestión y cero
al resto de controles.
 Radio:
 Usa todos los controles de un entorno cercano al tratado para construir
la comparación
 Asigna pesos diferentes a cada observación dentro del entorno, siendo
los pesos menores cuanto mayor es la distancia del tratado en cuestión.

21/29
Metodología: matching
Nos centramos en una muestra restringida (estudiantes
cuya puntuación en PISA, matemáticas, ciencias y lectura,
está por debajo de la mediana).
Variables que se evalúan:
 puntuación en PISA en cada una de las materias (diferencia entre
el grupo de control y el de tratamiento): “Mates”, “Ciencias” y
“Lectura”
 probabilidad de estar en el percentil 25 de la distribución de
resultados en PISA (diferencia entre el grupo de control y el de
tratamiento): “Mates25”, “Ciencias25” y “Lectura25”.

22/29
Resultados: corto plazo
El PAE (Programa de acompañamiento) es más efectivo que el PAR (Programa de
refuerzo) en el Corto Plazo.
Destacan los efectos positivos del PAE sobre los resultados de Lectura, tanto la
puntuación como la probabilidad de salir del percentil más bajo.

23/29
Resultados: largo plazo
El PAR (Programa de refuerzo) es más efectivo que el PAE (Programa de
acompañamiento en el Largo Plazo.
Destacan los efectos positivos del PAR sobre los resultados de Ciencias y Lectura,
tanto la puntuación como la probabilidad de salir del percentil más bajo.

24/29
Resultados: intensidad/duración
 Si el PAE se mantiene 3 cursos en lugar de 2 esto implica mejoras en los
resultados de Matemáticas.

25/29
Resultados: intensidad/duración
 Si el PAR se mantiene 4 cursos en lugar de 2 esto implica mejoras en los
resultados de Lectura.

26/29
Conclusiones
1) El PAE (Programa de acompañamiento) es más efectivo
que el PAR (Programa de refuerzo) en el Corto Plazo.
2) Sin embargo, el PAE (Programa de acompañamiento) es
menos efectivo que el PAR (Programa de refuerzo) en el
Largo Plazo.
3) Esto puede deberse a las características de cada
programa:
a) mientras el PAE implica acciones inmediatas durante el curso
académico (clases extra) cuyos efectos también deben serlo…
b) …el PAR puede implicar realizar inversiones adicionales
(material escolar, bibliotecas, laboratorios, etc.) por parte de
los centros, cuyos efectos son más visibles en el largo plazo,
cuando se termina de implementar el programa.

27/29
Conclusiones
4) Los efectos del PAE son más fuertes en Matemáticas y
Lectura.
 Esto puede deberse de nuevo a las características propias del
programa (clases extra de asignaturas que requieren un mayor
esfuerzo)
5) Los efectos del PAR son más fuertes en Ciencias y
Lectura.
 De nuevo, en la medida que los recursos complementarios que
recibe el centro los destina a mejoras en las instalaciones:
biblioteca, laboratorios, etc. esto podría implicar mejoras en estas
materias.

28/29
Conclusiones
6) El efecto de estas intervenciones es acumulativo:
 Los alumnos que se encuentran en centros que
tuvieron PAR dos años más (4 en lugar de 2) tienen
mejores resultados.
 Estos mejores resultados son más evidentes en Lectura.
 Los alumnos que se encuentran en centros que
tuvieron PAE un año más (4 en lugar de 3, o 3 en
lugar de 2) tienen mejores resultados.
 Estos mejores resultados son más evidentes en Matemáticas y
Ciencias.

29/29
Conclusiones
7) Cautela: es muy complicado establecer
relaciones causales en general en este tipo de
programas.
8) Importante: disponer de más y mejores datos
relativos a su implementación:
 Criterios específicos de selección del centro
 Número de alumnos implicados
 Modalidad concreta
 Etc..

Evaluación del efecto de PROA en el rendimiento estudiantil

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (18)

Similar a Evaluación del efecto de PROA en el rendimiento estudiantil

Similar a Evaluación del efecto de PROA en el rendimiento estudiantil (20)

Más de Instituto Nacional de Evaluación Educativa

Más de Instituto Nacional de Evaluación Educativa (20)

Último

Último (20)

Evaluación del efecto de PROA en el rendimiento estudiantil