Gioia de Melo, Alina Machado y Alfonso Miranda. El impacto de un programa Un Computador por Niño en el aprendizaje. Evidencia para Uruguay. XVII jornada de TIC aplicadas a la educación para docentes de la FCEA, 5 de mayo de 2014.
El impacto de un programa Un Computador por Niño en el aprendizaje. Evidencia para Uruguay
1. El impacto de un programa Un
Computador por Niño en el
aprendizaje. Evidencia para Uruguay
•
.................................................Instituto de Economía, FCEyA – UdelaR
Mayo, 2014
Gioia de Melo, Alina Machado y Alfonso Miranda
2. Motivación
• La implementación de programas One Laptop per Child (OLPC) se ha expandido
enormemente en los últimos años (Argentina, Uruguay, Perú). Varios países se
aprestan a realizar cuantiosas inversiones al respecto (México, Paraguay, entre
otros).
• Al igual que el Plan Ceibal implementado en Uruguay, estos programas tienen por
objetivo reducir la brecha digital así como mejorar la calidad educativa mediante la
integración de tecnología al aula.
• Sin embargo, la literatura no es concluyente en lo que refiere al impacto de estos
programas en el desempeño académico.
3. Tipo Estudios Efecto
Negativo (matemática, inglés y rumano)
Positivo (habilidades cognitivas)
Fairlie y Robinson (2013) Sin efecto (matemática, lectura, ciencias y otros)
Vigdor y Ladd (2010) Negativo (matemática y lectura)
Angrist y Lavy (2002) Negativo (matemática)
Machin et al. (2007) Positivo (lectura y ciencias)
Banerjee et al. (2007) Positivo (matemática) desaparece al año
Carrillo et al. (2010) Positivo (matemática) signif. al 10%, sin efecto en lectura
Sin efecto (matemática y lectura)
Positivo (habilidades cognitivas)
Mo et al. (2013) Positivo (matemática) signif. al 10%
Sharma (2012) Negativo (lectura)
Computadoras en el hogar
Computadoras en la escuela
OLPC (uso no guiado)
Software académico en la
escuela (uso guiado)
Cristia et al. (2012)
Malamud y Pop-Eléches (QJE,
2011)
4. El Plan Ceibal
• Su principal objetivo es promover la inclusión digital entre los niños uruguayos.
También apunta a mejorar el aprendizaje utilizando la XO tanto en la escuela como
en los hogares.
• El Plan provee una laptop a cada estudiante y maestro de todas las escuelas
públicas (primer programa a escala nacional). Originalmente se concentró en
Educación Primaria pero en los últimos años se extendió a Educación Media. En
octubre de 2013 se habían entregado 1 millón de laptops.
• Los estudiantes se llevan la laptop a su casa. Se provee acceso a internet
inalámbrico en escuelas y otros espacios públicos (plazas, etc).
• La iniciativa se inició en una provincia piloto en 2007. Durante el primer semestre de
2008 la distribución se concentró en los departamentos del oeste del país y durante
el segundo semestre del 2008 en los departamentos del este, llegando a Montevideo
y Canelones principalmente en 2009. En octubre de 2009 todos los estudiantes y
maestros de escuelas primarias públicas habían recibido una laptop.
• El criterio de distribución estuvo centrado en cambiar el foco desde la capital al
interior y distribuir las laptops primero en los departamentos del interior donde el
acceso a la tecnología era menor que en la capital, Montevideo.
5. El Plan Ceibal
• Desde un inicio se brindaron cursos de capacitación opcionales para maestros
(presenciales y en línea).
• En 2009 la conectividad no permitía a todos los grados de una escuela conectarse
simultáneamente a internet.
• Avances recientes:
• Maestro de Apoyo Ceibal
• Evaluaciones en línea
• Plataforma adaptativa de matemática
• Ceibal inglés
• La evaluación realizada en octubre de 2009:
• 79% de los directores respondieron que la escuela contaba con acceso a internet.
• 75% de los directores respondieron que menos de 50% de los estudiantes de la escuela
podían conectarse al mismo tiempo.
• 61% de los maestros respondieron que utilizaban una computadora diariamente.
• 44% de los hogares de los estudiantes contaban con una computadora o laptop (no de
Ceibal) y 41% contaba con acceso a internet propio o a través de la red de Ceibal.
• 97% de los estudiantes utilizaba la laptop de Ceibal en su hogar y 71% también utilizaba
otra computadora.
6. Datos
• Empleamos un panel de aproximadamente 2300 estudiantes de 90 escuelas
evaluados en octubre 2006 y octubre 2009.
• Ambas olas incluyen pruebas estandarizadas de matemática y lectura así como
cuestionarios a estudiantes, familia, maestros y directores de escuela.
• La primer ola corresponde a la Evaluación SERCE (Segundo Estudio Regional
Comparativo y Explicativo), diseñada por la UNESCO e implementada en octubre
2006. Los estudiantes analizados en este estudio asistían en ese entonces a tercer
grado de primaria.
• La segunda ola corresponde a la V Evaluación Nacional de Aprendizajes
implementada en octubre 2009 por la ANEP. Dentro de las escuelas seleccionadas,
ANEP procuró seleccionar una muestra de escuelas que fuera representativa de las
escuelas evaluadas en SERCE 2006. La mayoría asistía a sexto grado de primaria
pero también se evaluó a aquellos que habían repetido.
• Contábamos con información de nombre completo y número de identificación para
aquellos evaluados en 2009. Ello permitió encontrar a 92% de estos estudiantes
en los registros administrativos del Plan Ceibal y obtener la fecha exacta en la
que recibieron la laptop.
7. Estrategia de identificación
• Aplicamos la metodología de diferencias en diferencias.
• Explotamos el hecho de que la entrega de laptops ocurrió durante el período en que se
realizaron las evaluaciones y que el criterio de distribución fue geográfico y no basado
en el desempeño académico de las escuelas.
• Contamos con la fecha exacta de entrega de las laptops para más del 90% de los
estudiantes. Esto nos permitió emplear una variable de tratamiento continua donde los
días/años de exposición reflejan la intensidad del tratamiento.
• La fecha de entrega de la laptop tiene cierta variación al interior de las escuelas. Ello
permite identificar el efecto del programa neto de la potencial heterogeneidad en la
tasa en la que las escuelas generan mejoras en el desempeño de los estudiantes
(permitimos que cada escuela exhiba una curva de aprendizaje distinta debido a
heterogeneidad inobservable variante en el tiempo).
• Dado que la variación del tratamiento al interior de las escuelas es baja, también
incorporamos una especificación en la que únicamente permitimos una curva de
aprendizaje distinta entre Montevideo y el resto del país.
8. Metodología
• Comenzamos por estimar el siguiente modelo:
• Donde Yist representa el puntaje del individuo i en la escuela s en la ola t; i=1,…,N,
s=1,…,90 y t = 2006, 2009. Tist es la variable de tratamiento que refleja el número de días
(normalizado a años) que el estudiante ha tenido la laptop al momento t. Xist son
características del estudiante variantes en el tiempo. δt es una variable binaria que indica el
año 2009. ci son efectos fijos a nivel de individuo. Los errores estándar están aglomerados
a nivel de departamento.
• Luego levantamos el supuesto de tendencias paralelas a partir de controlar por la
heterogeneidad en el tiempo en relación al período base:
• Incluímos interacciones entre las dummies de escuela y la variable tiempo (πs x δt).
9. Metodología
• Debido a que la variación del tratamiento al interior de las escuelas no es elevada
estimamos también:
• Donde Montevideo es una variable binaria que identifica las escuelas ubicadas en la
capital.
• Finalmente estimamos una ecuación a nivel de escuela, desechando la variación del
tratamiento al interior de las escuelas:
10. Efectos fijos a nivel de individuo
Si no se controla por trayectorias divergentes se observa un efecto
positivo y significativo en matemática
10Fuente: Cálculos propios.
Reading
Treatment (days of exposure normalized to years) 0.0428 0.0350 0.0320 0.0319 0.0337 0.0313
(0.051) (0.051) (0.050) (0.051) (0.049) (0.050)
Observations 4,114 4,114 4,114 4,114 4,114 4,114
Number of students 2,057 2,057 2,057 2,057 2,057 2,057
Math
Treatment (days of exposure normalized to years) 0.1632*** 0.1619*** 0.1613*** 0.1604*** 0.1632*** 0.1623***
(0.053) (0.053) (0.053) (0.054) (0.054) (0.055)
Observations 4,160 4,160 4,160 4,160 4,160 4,160
Number of students 2,080 2,080 2,080 2,080 2,080 2,080
Time dummies Yes Yes Yes Yes Yes Yes
Number of persons at house (time-varying) No Yes Yes Yes Yes Yes
Number of rooms at home (time-varying) No No Yes Yes Yes Yes
Drinkable water at home (time-varying) No No No Yes Yes Yes
Durable goods at home variables (time-varying) No No No No Yes Yes
Work (time-varying) No No No No No Yes
Standard errors are clustered at the province level.
*** p<0.01, ** p<0.05, * p<0.1
11. Seniority (% teachers with less than 5 years of experience) 2005-2006-2007
Montevideo*Year 2006 -1.252**
(0.470)
Montevideo*Year 2007 -4.999***
(0.601)
Observations 6,551
Number of schools 2,340
Time dummies Yes
School fixed effects Yes
Standard errors are clustered at the province level.
*** p<0.01, ** p<0.05, * p<0.1
Source: own estimates using Monitor Educativo (ANEP).
Encontramos evidencia de que habría un cambio en la
tendencia según región
Physical violence among students 2006-2009
Montevideo* Year 2009 -0.414***
(0.109)
Observations 170
Number of schools 87
Time dummies Yes
School fixed effects Yes
Standard errors are clustered at the province level.
*** p<0.01, ** p<0.05, * p<0.1
Source: own estimates using questionnaires to
school principals from SERCE 2006 and V
Evaluación Nacional de Aprendizajes ANEP
12. Efectos fijos a nivel de individuo controlando por
tendencias divergentes entre escuelas o región
12Fuente: Cálculos propios.
Reading
Treatment (days of exposure normalized to years) -0.0544 -0.0142 0.0104 0.0029 -0.0008 -0.0027 -0.0664
(0.408) (0.402) (0.389) (0.387) (0.395) (0.388) (0.110)
Observations 4,114 4,114 4,114 4,114 4,114 4,114 4,114
Number of students 2,057 2,057 2,057 2,057 2,057 2,057 2,057
Math
Treatment (days of exposure normalized to years) -0.1658 -0.1561 -0.1582 -0.1620 -0.1513 -0.1601 0.0394
(0.283) (0.289) (0.279) (0.281) (0.280) (0.282) (0.096)
Observations 4,160 4,160 4,160 4,160 4,160 4,160 4,160
Number of students 2,080 2,080 2,080 2,080 2,080 2,080 2,080
Time dummies Yes Yes Yes Yes Yes Yes Yes
School-time dummies Yes Yes Yes Yes Yes Yes No
Montevideo-time dummy No No No No No No Yes
Number of persons at house (time-varying) No Yes Yes Yes Yes Yes Yes
Number of rooms at home (time-varying) No No Yes Yes Yes Yes Yes
Drinkable water at home (time-varying) No No No Yes Yes Yes Yes
Durable goods at home variables (time-varying) No No No No Yes Yes Yes
Work (time-varying) No No No No No Yes Yes
Standard errors are clustered at the province level.
*** p<0.01, ** p<0.05, * p<0.1
13. Panel de escuelas controlando por trayectorias divergentes a
nivel regional
13
Fuente: Cálculos propios.
Reading
Treatment (days of exposure normalized to years) 0.0879 -0.0124
(0.052) (0.097)
Observations 180 180
Number of schools 90 90
Math
Treatment (days of exposure normalized to years) 0.1344** -0.0604
(0.058) (0.122)
Observations 180 180
Number of schools 90 90
Time dummies Yes Yes
Montevideo-time dummy No Yes
Number of persons at house (time-varying) Yes Yes
Number of rooms at home (time-varying) Yes Yes
Drinkable water at home (time-varying) Yes Yes
Durable goods at home variables (time-varying) Yes Yes
Work (time-varying) Yes Yes
Standard errors are clustered at the province level.
*** p<0.01, ** p<0.05, * p<0.1
14. Efectos heterogéneos según educación materna
14
Fuente: Cálculos propios.
Reading Math
Treatment (years) -0.0172 -0.0980
(0.373) (0.278)
Treatment (years) * Mom's education: Primary school -0.0985 -0.1146
(0.079) (0.072)
Treatment (years) * Mom's education: Junior high 0.0134 -0.0181
(0.039) (0.064)
Treatment (years) * Mom's education: Secondary school or College 0.0957 -0.1281*
(0.070) (0.064)
Treatment (years) * Mom's education is missing 0.0368 -0.1147
(0.069) (0.068)
Observations 4,114 4,160
Individuals 2,057 2,080
Time dummies Yes Yes
School dummies Yes Yes
School trend dummies Yes Yes
Number of rooms at home (time-varying) Yes Yes
Drinkable water at home (time-varying) Yes Yes
Durable goods at home variables (time-varying) Yes Yes
Work (time-varying) Yes Yes
Standard errors are clustered at the school level.
*** p<0.01, ** p<0.05, * p<0.1
15. Posibles razones por las que no se observa un impacto
En 2009 el uso de las laptops en clase no era generalizado.
Las laptops son utilizadas en clase principalmente para buscar información en
internet.
In your reading classes:
How often do you use
the laptop?
In your math classes:
How often do you use
the laptop?
Every day or almost every day 41.5% 31.8%
One up to three times per week 35.0% 24.9%
Less than once per week 23.6% 43.2%
Source: ANEP 2009.
School Home
Search information in the internet 43.8% 15.8%
Write a text 8.2% 4.3%
Spreadsheet 0.4% 0.1%
Calculator 0.6% 0.2%
Send emails 1.2% 2.2%
Browse internet 26.2% 26.5%
Play 13.9% 37.3%
Chat 2.3% 7.5%
Other 3.5% 6.0%
Source: ANEP 2009.
16. Comentarios finales
• En este artículo aplicamos una estrategia de análisis de datos de panel para evaluar
el impacto del Plan Ceibal (único programa OLPC aplicado a escala nacionaI) en
lectura y matemática.
• Contamos con la fecha exacta de entrega de las laptops para más del 90% de los
estudiantes. Dado que la misma tiene cierta variación al interior de las escuelas, es
posible controlar por potenciales trayectorias divergentes entre escuelas (permitimos
que cada escuela exhiba una curva de aprendizaje distinta debido a heterogeneidad
inobservable variante en el tiempo).
• Nuestros resultados sugieren que el Plan no tuvo impacto ni en lectura ni en
matemática. Estos resultados están en línea con la mayor parte de la literatura sobre
el impacto de las computadoras en el aprendizaje, en especial con los programas de
uso no guiado.
• El hecho de que el uso de laptops en clase no sea generalizado y de que su principal
uso es para buscar información en internet, provee algunas pistas acerca de por qué
no se observa un impacto en matemática y lectura.
17. Comentarios finales
• Nesta (2012) y Fullan y Langworthy (2013) enfatizan que la tecnología no puede
impactar en el aprendizaje a menos que el proceso de enseñanza aprendizaje sea
transformado. En este sentido, el rol de los docentes no debería ser mas transmitir
conocimientos sino proveer actitudes de aprendizaje, apoyar el aprendizaje entre
pares y apoyar a los estudiantes a convertir la información en conocimiento.
• Recientemente Plan Ceibal ha concentrado sus esfuerzos en incorporar software
que mejore el aprendizaje y en ayudar a los docentes a hacer un mejor
aprovechamiento de las laptops. Los estudiantes analizados en este estudio
recibieron sus laptops cuando Ceibal recién comenzaba a implementarse y por tanto
no se beneficiaron de los cambios recientes.
• Finalmente, como algunos estudios han señalado, es posible que el uso de
computadoras ayude a desarrollar otras habilidades cognitivas distintas a las
requeridas en pruebas de matematicas y lectura.