Congreso PISA Finanzas para la vida. 9 de julio, primera sesión de la tarde.
Educación financiera y rendimiento educativo: caracterizando el sesgo de selección.
Ponente: Laura Hospido (Servicio de Estudios del Banco de España)
Similar a Congreso PISA Finanzas para la vida. 9 de julio. Educación financiera y rendimiento educativo. L. Hospido (Servicio de Estudios del Banco de España)
Similar a Congreso PISA Finanzas para la vida. 9 de julio. Educación financiera y rendimiento educativo. L. Hospido (Servicio de Estudios del Banco de España) (20)
Congreso PISA Finanzas para la vida. 9 de julio. Educación financiera y rendimiento educativo. L. Hospido (Servicio de Estudios del Banco de España)
1. GESTIÓN Y DIFUSIÓN DE LA INFORMACIÓN
DIRECTRICES PARA ELABORACIÓN
DE PRESENTACIONES POWERPOINT
EN EL SERVICIO DE ESTUDIOS
José Luis Malo de Molina
Director General
JORNADA DE DEBATE (BME/FEF)
Palacio de la Bolsa de Madrid
10 de octubre de 2012
EDUCACIÓN FINANCIERA Y RENDIMIENTO EDUCATIVO:
CARACTERIZANDO EL SESGO DE SELECCIÓN*
Laura Hospido Ernesto Villanueva Gema Zamarro
Banco de España Banco de España University of Southern California
& IZA - Dornsife CESR
Mesa de investigadores
Madrid, 9 de julio de 2014
DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
* Las opiniones expresadas en esta presentación son las de los autores, y no reflejan necesariamente
las del Banco de España.
2. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
ESTRUCTURA DE LA PRESENTACIÓN
2
1. Introducción
2. Educación Financiera (EF) en el sistema educativo español
3. Metodología
4. Bases de datos
5. Análisis descriptivo
6. Resultados
7. Efecto de impartir EF sobre los conocimientos financieros
8. Conclusiones
3. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
ESTRUCTURA DE LA PRESENTACIÓN
3
1. Introducción
2. Educación Financiera (EF) en el sistema educativo español
3. Metodología
4. Bases de datos
5. Análisis descriptivo
6. Resultados
7. Efecto de impartir EF sobre los conocimientos financieros
8. Conclusiones
4. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
1. INTRODUCCIÓN
4
Entorno con productos financieros de creciente complejidad y donde cada vez
la responsabilidad de una buena situación financiera y plan de futuro recae más
en los ciudadanos y menos en los gobiernos.
La preocupación sobre el nivel de preparación de la población para tomar
buenas decisiones financieras va en aumento. Estudios en EUU, Italia,
Alemania, Países Bajos o Francia muestran que muchas familias carecen de los
conocimientos financieros básicos (véase Lusardi y Mitchell, 2014).
Para poder equipar a la población con las herramientas necesarias para tomar
buenas decisiones financieras, muchos sistemas educativos han incorporado
Educación Financiera (EF) en la educación secundaria.
Ej.1: Desde 1957 diversos estados de EEUU han ido aprobando mandatos para incluir EF
en el currículo de los estudiantes de bachillerato
Ej. 2: Programa BdE-CNMV de EF en 3º de la ESO en España
5. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
1. INTRODUCCIÓN
5
La evaluación del impacto de esos cursos no es tarea fácil. Requiere:
medidas objetivas del desempeño
información sobre características comparables de los grupos que han recibido el
curso (“tratados”) y de los que no lo han recibido (“controles”)
información sobre los colegios que eligen impartir EF frente a los que no
Por lo tanto, es difícil distinguir el papel de:
(i) el efecto de impartir el curso – impacto de la EF
(ii) diferencias observables entre colegios que la imparten y los que no –
selección en variables observables
(iii) variables inobservables que inducen a determinados colegios a presentarse
voluntarios – selección en variables inobservables
Incluso con una asignación aleatoria del tratamiento no se soluciona el problema
que plantea la existencia de variables inobservables. En un experimento se puede
asignar cada colegio que se presente voluntario al grupo tratado o al de control,
pero no se puede forzar a un colegio no voluntario a impartir el curso.
6. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
1. INTRODUCCIÓN
6
Principal contribución: caracterizar el sesgo de selección combinando
• la información disponible en PISA conocimiento financiero
• la existencia de un programa de EF que se impartió en 2013 y 2014
para identificar en PISA financiero los colegios que se presentaron voluntarios al
programa en ambas ediciones (y que no han impartido antes la asignatura).
Idea: como el examen PISA es anterior al programa sabemos que el “verdadero
efecto” para los colegios participantes deberá ser cero. Cualquier diferencia en el
desempeño entre los alumnos de los colegios que se presentaron voluntarios y el
resto será debida a un sesgo de selección en inobservables.
Resultados: encontramos un sesgo significativo, positivo para chicos y negativo
para chicas. Entre 1/3-1/2 se explica por diferencias en la tasa de repetición, la
situación laboral de los padres y la localización geográfica; si, además, comparamos
centros con una política de admisión similar podemos explicar hasta un 65%.
Ilustración del método para España y EEUU: encontramos que el efecto causal de
impartir EF en el rendimiento educativo es modesto y concentrado en los chicos.
7. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
ESTRUCTURA DE LA PRESENTACIÓN
7
1. Introducción
2. Educación Financiera (EF) en el sistema educativo español
3. Metodología
4. Bases de datos
5. Análisis descriptivo
6. Resultados
7. Efecto de impartir EF sobre los conocimientos financieros
8. Conclusiones
8. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
2. EF EN EL SISTEMA EDUCATIVO ESPAÑOL
8
En España el porcentaje de centros educativos con EF (14,25%) es el menor de
todos los países incluidos en los datos PISA-financiero.
Programa de Educación Financiera: iniciativa del Plan de Educación Financiera,
impulsada por la CNMV y el BdE, con la colaboración de la D. G. de Seguros y
Fondos de Pensiones y asesoramiento del Ministerio de Educación, Cultura y
Deporte, siguiendo recomendaciones de organismos internacionales.
Objetivo: proporcionar a los jóvenes los conocimientos y habilidades necesarios
para gestionar sus finanzas personales a lo largo de sus vidas.
Más de 43.000 alumnos de secundaria estudian conceptos financieros básicos
como el ahorro, los ingresos y los gastos, el presupuesto personal, el consumo
inteligente, los principales productos de ahorro e inversión, las relaciones
bancarias, la protección de datos personales y los distintos medios de pago.
9. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
2. EF EN EL SISTEMA EDUCATIVO ESPAÑOL
9
Los centros participan de forma voluntaria. Su participación permite el acceso a
una web de apoyo a la docencia con materiales para impartir el curso, ejercicios y
juegos para resolver en clase. La duración recomendada del curso es de 10 horas.
10. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
ESTRUCTURA DE LA PRESENTACIÓN
10
1. Introducción
2. Educación Financiera (EF) en el sistema educativo español
3. Metodología
4. Bases de datos
5. Análisis descriptivo
6. Resultados
7. Efecto de impartir EF sobre los conocimientos financieros
8. Conclusiones
11. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
3. METODOLOGÍA: HECKMAN ET AL. (1998)
11
Se trata de caracterizar un posible sesgo de selección en un contexto en el que
sabemos que el efecto de un programa inexistente debería ser cero.
Como punto de partida, consideremos un modelo lineal:
donde son las notas de los estudiantes de PISA, características del centro, y
del entorno familiar. Sea un indicador de impartir EF, luego:
Esta regresión nos da información descriptiva, pero no un efecto causal debido a la
posible influencia de variables inobservables que afectan a la decisión de impartir la
asignatura y al desempeño financiero de los alumnos.
Si sustituimos por un indicador de si el colegio se presentó voluntario:
En ausencia de selección debería ser cero. Si no lo es, tendremos una medida de:
cuán importante es el sesgo,
para qué grupos es más relevante
12. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
3. METODOLOGÍA: DINARDO ET AL. (1996)
12
En la estimación utilizaremos el inverse probability weighting estimator:
para cada estudiante en un colegio voluntario (“tratado”) se obtiene un desempeño
contrafactual utilizando información de los estudiantes de los colegios no voluntarios
(“control”)
el contrafactual se obtiene generando un peso para cada alumno control,
ponderando más a aquellos estudiantes más semejantes a los tratados
Pasos:
1. Estimar la probabilidad ajustada de presentarse voluntario al programa en
función de una serie de características en las que difieran los estudiantes
“tratados” y “control”. Dada la variedad de características disponibles, y el
limitado tamaño muestral, comparamos a los estudiantes utilizando una variable
continua: “propensión al tratamiento” (propensity score).
2. Estimar una regresión lineal ponderada donde los controles reciben pesos de
modo que sus características observables coincidan con las del grupo tratado.
13. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
ESTRUCTURA DE LA PRESENTACIÓN
13
1. Introducción
2. Educación Financiera (EF) en el sistema educativo español
3. Metodología
4. Bases de datos
5. Análisis descriptivo
6. Resultados
7. Efecto de impartir EF sobre los conocimientos financieros
8. Conclusiones
14. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
4. BASES DE DATOS
14
Muestra PISA-financiero (1): alumnos que realizaron el examen PISA de
conocimientos financieros en España en colegios que no imparten EF
Muestra principal de 919 alumnos de 151 colegios que nunca han impartido EF.
En cada centro, 8 estudiantes realizaron el examen de PISA financiero. La muestra
se compone de:
• tratados: estudiantes en los colegios que se presentaron voluntarios al programa
• controles: estudiantes de colegios no voluntarios
Muestra enlazada (2): alumnos tanto de PISA financiero como de PISA total en
los mismos colegios que la muestra (1)
Muestra adicional que enlaza la anterior con información de PISA total. Aunque
carece de información sobre el desempeño en PISA financiero, permite examinar
otras medidas agregadas, más fiables, de los alumnos en los centros “tratados” y
de “control”.
Muestra de 4.130 alumnos en los 151 colegios que nunca han impartido EF.
Muestras España-EEUU: alumnos de PISA-financiero en colegios en España y
EEUU, impartan o no EF
España: 176 colegios y 1.083 alumnos.
EEUU: 1.082 alumnos.
15. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
ESTRUCTURA DE LA PRESENTACIÓN
15
1. Introducción
2. Educación Financiera (EF) en el sistema educativo español
3. Metodología
4. Bases de datos
5. Análisis descriptivo
6. Resultados
7. Efecto de impartir EF sobre los conocimientos financieros
8. Conclusiones
16. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
5. ANÁLISIS DESCRIPTIVO: ¿LOS COLEGIOS
VOLUNTARIOS SON DISTINTOS AL RESTO?
16
Tratados Controles Controles reponderados
Modelo 1 Modelo 2
Nota media en PISA Financiero 482,44 483,90 480,92 481,95
Características colegio:
Colegio público 0,57 0,68 0,70 0,55
Colegio concertado 0,18 0,13 0,13 0,10
Colegio privado 0,25 0,19 0,17 0,35
Colegio religioso 0,36 0,19 0,18 0,36
No admite alumnos según residencia 0,41 0,19 0,18 0,36
Transfiere alumnos por mal comportamiento 0,33 0,25 0,27 0,32
Compite con al menos otro colegio 0,95 0,82 0,76 0,95
Moral alta de los profesores 0,27 0,12 0,11 0,17
Características alumno/a:
Chica 0,49 0,46 0,50 0,53
Repetidor 0,27 0,34 0,27 0,25
Padre trabaja 0,91 0,83 0,91 0,93
Padre universitario 0,31 0,35 0,31 0,33
Madre trabaja 0,66 0,66 0,60 0,66
Madre universitaria 0,36 0,36 0,33 0,31
Sur (Andalucía, Ceuta, Melilla, Murcia y Canarias) 0,62 0,24 0,62 0,60
Número de colegios 16 135
Número de alumnos 119 800
Cuadro 1: Diferencias entre alumnos tratados y controles (PISA-financiero).
17. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
5. ANÁLISIS DESCRIPTIVO: DIFERENCIAS EN EL
SESGO DE SELECCIÓN POR SEXOS
17
Chicos Chicas
Tratados Controles Tratados Controles
Muestra PISA-financiero:
Nota media estandarizada en PISA Financiero 0,23 0,09 -0,27 -0,07
Repetidor 0,25 0,40 0,28 0,27
Sur (Andalucía, Ceuta, Melilla, Murcia y Canarias) 0,58 0,25 0,65 0,22
No admite alumnos según residencia 0,35 0,18 0,48 0,18
Transfiere alumnos por mal comportamiento 0,35 0,28 0,30 0,20
Número de alumnos 63 428 56 372
PISA-enlazada:
Nota media en PISA Matemáticas 473 485 476 467
Nota media en PISA Lectura 453 467 500 494
Repetidor 0,34 0,37 0,23 0,32
Sur (Andalucía, Ceuta, Melilla, Murcia y Canarias) 0,82 0,32 0,74 0,33
No admite alumnos según residencia 0,27 0,24 0,26 0,22
Transfiere alumnos por mal comportamiento 0,40 0,17 0,48 0,13
Número de alumnos 251 1.832 241 1.806
Cuadro 2: Diferencias entre alumnos tratados y controles por sexos.
18. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
ESTRUCTURA DE LA PRESENTACIÓN
18
1. Introducción
2. Educación Financiera (EF) en el sistema educativo español
3. Metodología
4. Bases de datos
5. Análisis descriptivo
6. Resultados
7. Efecto de impartir EF sobre los conocimientos financieros
8. Conclusiones
19. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
6. RESULTADOS: SESGO DE SELECCIÓN ESTIMADO
19
Diferencia
tratamiento -
control
Modelo 1 Modelo 2
SR CR SR CR
Colegio voluntario: Chicos 0,234* 0,164 0,167 0,142 0,073
(0,144) (0,151) (0,138) (0,166) (0,148)
Colegio voluntario: Chicas -0,274* -0,131 -0,126 -0,147 -0,098
(0,148) (0,160) (0,148) (0,169) (0,149)
Cuadro 3: Diferencias en la nota PISA entre los colegios voluntarios y
los no voluntarios.
Notas: estimaciones del coeficiente del indicador de que el colegio se presentó voluntario al
programa de EF y su error estándar. *** p<0,01, ** p<0,05, * p<0,1.
La variable dependiente es el resultado en PISA financiero, normalizado de modo que la media
sea cero y la desviación típica 1. Se utiliza un solo valor imputado. Todas las observaciones
están ponderadas por los pesos muestrales provistos en PISA.
Método de estimación: MCO en la columna 1, Mínimos Cuadrados Ponderados por la inversa de
la probabilidad de participación en las columnas 2-5. SR = sin regresores; CR = con regresores.
El Modelo 1 (básico) contiene indicadores de sexo y repetición, localización geográfica y estado
laboral del padre. El Modelo 2 (extendido) añade tipo de colegio, indicadores de si el colegio
admite alumnos por criterios de residencia y características de los profesores.
20. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
6. RESULTADOS: SESGO DE SELECCIÓN ESTIMADO
20
Figura 1: Función de distribución estimada de las notas estandarizadas
en PISA Financiero.
21. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
6. RESULTADOS: SESGO DE SELECCIÓN ESTIMADO
21
Figura 2: Función de distribución estimada de las notas estandarizadas
en PISA Financiero por sexos.
22. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
ESTRUCTURA DE LA PRESENTACIÓN
22
1. Introducción
2. Educación Financiera (EF) en el sistema educativo español
3. Metodología
4. Bases de datos
5. Análisis descriptivo
6. Resultados
7. Efecto de impartir EF sobre los conocimientos financieros
8. Conclusiones
23. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
7. APLICACIÓN EN ESPAÑA
23
Diferencia
tratamiento -
control
Modelo 1 Modelo 2
SR CR SR CR
Colegio ofrece EF: Chicos 0,224 0,182 0,183* 0,204 0,225**
(0,141) (0,141) (0,109) (0,145) (0,108)
Colegio ofrece EF: Chicas 0,078 0,045 0,046 0,062 0,070
(0,122) (0,122) (0,093) (0,130) (0,096)
Cuadro 4: Diferencias en la nota PISA entre los colegios que imparten
EF y los que no (España).
Notas: estimaciones del coeficiente del indicador de que el colegio imparte EF y su error
estándar. *** p<0,01, ** p<0,05, * p<0,1.
La variable dependiente es el resultado en PISA financiero, normalizado de modo que la media
sea cero y la desviación típica 1. Se utiliza un solo valor imputado. Todas las observaciones
están ponderadas por los pesos muestrales provistos en PISA.
Método de estimación: MCO en la columna 1, Mínimos Cuadrados Ponderados por la inversa de
la probabilidad de participación en las columnas 2-5. SR = sin regresores; CR = con regresores.
El Modelo 1 (básico) contiene indicadores de sexo y repetición, localización geográfica y estado
laboral del padre. El Modelo 2 (extendido) añade tipo de colegio, indicadores de si el colegio
admite alumnos por criterios de residencia y características de los profesores.
24. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
7. APLICACIÓN EN EEUU
24
Diferencia
tratamiento -
control
Modelo 1 Modelo 2
SR CR SR CR
Colegio ofrece EF: Chicos 0,092 0,173 0,188** 0,199** 0,161*
(0,096) (0,107) (0,094) (0,109) (0,094)
Colegio ofrece EF: Chicas 0,141 -0,030 -0,030 0,033 0,010
(0,091) (0,103) (0,094) (0,103) (0,092)
Cuadro 5: Diferencias en la nota PISA entre los colegios que imparten
EF y los que no (EEUU).
Notas: estimaciones del coeficiente del indicador de que el colegio imparte EF y su error
estándar. *** p<0,01, ** p<0,05, * p<0,1.
La variable dependiente es el resultado en PISA financiero, normalizado de modo que la media
sea cero y la desviación típica 1. Se utiliza un solo valor imputado. Todas las observaciones
están ponderadas por los pesos muestrales provistos en PISA.
Método de estimación: MCO en la columna 1, Mínimos Cuadrados Ponderados por la inversa de
la probabilidad de participación en las columnas 2-5. SR = sin regresores; CR = con regresores.
El Modelo 1 (básico) contiene indicadores de sexo y repetición, educación y estado laboral del
padre y del tipo de colegio. El Modelo 2 (extendido) añade un indicador de si el colegio admite
alumnos por criterios de residencia y características de los profesores.
25. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
7. APLICACIÓN EN EEUU
25
Diferencia
tratamiento -
control
Modelo 1 Modelo 2
SR CR SR CR
(A) EF obligatoria en el currículo escolar
Colegio ofrece EF: Chicos 0,302* 0,268 0,213 0,472*** 0,260
(0,160) (0,171) (0,149) (0,185) (0,173)
Colegio ofrece EF: Chicas -0,023 -0,191 -0,071 -0,016 0,034
(0,179) (0,194) (0,192) (0,258) (0,231)
(B) EF voluntaria en el currículo escolar
Colegio ofrece EF: Chicos -0,056 0,056 0,132 0,004 0,110
(0,125) (0,138) (0,121) (0,136) (0,119)
Colegio ofrece EF: Chicas 0,152 0,038 -0,038 0,046 -0,026
(0,112) (0,125) (0,113) (0,114) (0,102)
Cuadro 6: Diferencias en la nota PISA entre los colegios que imparten
EF y los que no (EEUU): EF obligatoria y voluntaria.
Notas: véanse las notas en el cuadro 5.
26. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
ESTRUCTURA DE LA PRESENTACIÓN
26
1. Introducción
2. Educación Financiera (EF) en el sistema educativo español
3. Metodología
4. Bases de datos
5. Análisis descriptivo
6. Resultados
7. Efecto de impartir EF sobre los conocimientos financieros
8. Conclusiones
27. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
8. CONCLUSIONES
27
Este capítulo utiliza los datos de PISA financiero 2012 para caracterizar el
posible sesgo de selección de los colegios que se presentaron voluntarios al
programa de EF en la Enseñanza Secundaria Obligatoria en 2013 y 2014.
Los datos sugieren que el sesgo de selección es sustancial, de en torno a un
25% de una desviación típica, positivo para chicos y negativo para chicas.
1/3-1/2 del sesgo se explica por diferencias en la tasa de repetición, en la
situación laboral de los padres y en la localización geográfica. Si, además, se
comparan centros con políticas de admisión similares se explica hasta un 65%.
Aplicamos la metodología descrita en el capítulo para identificar el impacto de
recibir un curso de EF en el desempeño en un examen normalizado de
conocimientos financieros para el caso de España y EEUU.
Encontramos que el efecto causal de impartir EF en el rendimiento educativo es
modesto y concentrado en chicos (20% de una desviación típica). El resultado
es sorprendentemente similar en ambos países.
28. DIRECCIÓN GENERAL DEL SERVICIO DE ESTUDIOS
GRACIAS POR SU ATENCIÓN
Para sugerencias o comentarios: laura.hospido@bde.es