El estudio realizado en el Instituto Integral de Minas en Uruguay buscó verificar los hallazgos de un estudio previo sobre el efecto de estímulos comportamentales en el desempeño académico de los estudiantes. Se dividió aleatoriamente a los estudiantes en un grupo de control y uno con intervención ofreciéndole una medalla si obtenían más del 60% en la prueba. Los resultados mostraron que el grupo con intervención tuvo un desempeño significativamente mejor solo en las pruebas de letras y no en matemáticas. A
3. Marco conceptual
Introducción
• Distintas investigaciones en economía comportamental han aportado
evidencia sobre la importancia que tiene en nuestro proceso factores
psicológicos como la dependencia de nuestras preferencias a
referencias externas, la distorsión producida por la ansiedad frente al
consumo presente, y el valor que damos a estímulos no financieros.
• Estos factores comportamentales pueden ser tan prevalentes como
para generar conductas que no redunden en una mejora del bienestar
personal contradiciendo por tanto los supuestos de “racionalidad
económica”(*).
(*) Racionalidad económica: sobre una base de preferencias ordenadas y mediante una función de utilidad completa en su
dominio los agentes eligen aquello que maximiza su bienestar en forma consistente.
4. Marco conceptual
Economía comportamental
• Herbert Simon postuló que nuestra capacidad de cálculo se encuentra
frecuentemente limitada por restricciones cognitivas y de tiempo en
nuestra toma de decisiones lo que nos lleva a cometer errores. (“Bounded
Rationality”)
• Daniel Kahnemann y Amos Tversky aportaron evidencia sustentando la
visión de que estos límites introducen errores no aleatorios en las
decisiones de los agentes. (“Prospect Theory”)
• Estos “sesgos comportamentales” se producen por la activación arbitraria
de automatismos (“heurísticas”) que influyen en nuestra toma de
decisiones.
• Richard Thaler estudió la forma en que distintas estímulos activan estas
“heurísticas” incentivando decisiones alineadas con nuestros intereses de
largo plazo. (“Nudges”)
5. Marco conceptual
Educación
• Los estudiantes toman decisiones referidas a su educación que a veces redundan
en una sub inversión en preparación y un deterioro de bienestar a largo plazo.
• A partir de esa constatación, varios comportamentalistas han estudiado la
relación entre el desempeño académico de los estudiantes y los “sesgos
comportamentales” involucrados en las decisiones académicas. Simultáneamente
probaron el efecto de distinto tipo de “nudges” para mejorar el desempeño
académico.
• En particular un estudio del NBER se detiene en tres intervenciones relacionadas
entre otros con el “sesgo presente”.
• THE BEHAVIORALIST GOES TO SCHOOL: LEVERAGING BEHAVIORAL ECONOMICS TO IMPROVE
EDUCATIONAL PERFORMANCE
• Steven D. Levitt, John A. List, Susanne Neckermann, Sally Sadoff
• Working Paper 18165 http://www.nber.org/papers/w18165
• NATIONAL BUREAU OF ECONOMIC RESEARCH (June 2012)
6. Marco conceptual
Sesgo presente
• El sesgo presente refiere a la tendencia de las personas a ponderar
desproporcionadamente los beneficios que están más cerca en el tiempo cuando
son considerados “trade-offs” entre dos momentos futuros.
• Ese tipo de descuento intertemporal se resume en la “teoría de descuento
hiperbólico” formulada por David Laibson que sugiere que el descuento que
hacemos los humanos es inconsistente y no lineal.
• Es estudiado usualmente a través de preguntas del tipo de: ”Prefieres recibir 100
pesos hoy o 120 pesos dentro de un mes?”” o “Prefieres recibir 100 pesos dentro
de un año o 120 pesos dentro de un año y un mes?”.
• Los resultados muestran que las personas están más dispuestas a esperar un mes
para obtener una gratificación mayor si la espera ocurre en un futuro distante.
Con una función de descuento hiperbólico el valor que damos a beneficios
futuros decrece muy rápidamente para pequeñas postergaciones y más
lentamente para grandes postergaciones.
7. Marco conceptual
“The Behavioralist Goes To School”
• En su trabajo Levitt y sus coautores realizaron intervenciones con el
objetivo de alterar la percepción de los estudiantes con respecto a los
beneficios resultantes por aprobar una prueba.
• Presentaron cuatro grandes conclusiones:
• Primero, encontraron una mejora sustancial de resultados frente a incentivos
financieros y no financieros de cortísimo plazo.
• Segundo, los incentivos no financieros son considerablemente más eficientes
para los estudiantes más jóvenes que para los mayores.
• Tercero, todo el poder motivador de los incentivos se desvanece si los
premios son entregados con un rezago.
• Cuarto, contradiciendo experimentos anteriores, enmarcar el estímulo como
una pérdida no modifica su eficacia.
8. Marco conceptual
“The Behavioralist Goes To School”
• Diseño del experimento de Levitt et al:
• 5 rodadas en tres escuelas de baja performance en Chicago con jóvenes de entre 7 y
16 años entre 2009 y 2012
• Se plantearon estímulos en exámenes de evaluación regular y que normalmente no
tienen preparación previa por parte de los estudiantes
• Los tests se realizan en computadoras y demoran entre 15 y 60 minutos y los
resultados están disponibles inmediatamente
• Antes de comenzar la prueba se anuncia a los estudiantes un incentivo por aprobar
el examen.
• Los incentivos fueron: (a) US$ 10 en efectivo, (b) US$ 20 en efectivo, (c) un trofeo
• Estos incentivos se formulan en tres modalidades: (a) Se entrega inmediatamente
luego del test, (b) Se entrega un mes después del test, (c) Se entrega antes del test y
si el estudiante no llega al mínimo lo tiene que devolver
• En el grupo de control no se ofrece incentivo aunque se da una charla motivadora
9. Marco conceptual
“The Behavioralist Goes To School”
• Resultados medidos a partir del puntaje sacado en la prueba:
1. Los estímulos económicos inmediatos y grandes provocan mejoras en los
resultados, mientras que los estímulos pequeños, no.
2. Los estímulos no financieros también impactan en la performance
3. Los estímulos presentados como pérdida o ganancia tienen impacto similar
4. Los estímulos entregados con delay no tienen impacto significativo
5. Los estudiantes más jóvenes responden más a estímulos no monetarios
6. Los tests de matemáticas fueron más sensibles que los de lectura
7. La evidencia sugiere que los hombres son más susceptibles a estos
estímulos que las mujeres
8. Las intervenciones no tuvieron efectos relevantes sobre la performance en
los exámenes tomados en fechas posteriores
10. Marco conceptual
“The Behavioralist Goes To School”
• “El estudio examina las fuentes potenciales de la “sub-inversión” en educación usando varios esquemas de incentivos inspirados en los hallazgos
recientes de la Economía Comportamental. Exploramos los efectos de corto plazo de incentivos al efuerzo y la performance de los estudiantes, variando
el tamaño y tipo de recompensa así como el contexto en el que ellas son presentadas. Adicionalmente ofrecimos premios inmediatamente y con un
rezago. Encontramos promisorios aportes comportamentales al herramental de los gestores de políticas educativas. Es de destacar que la búsqueda de
premios inmediatos es fundamental dado el descuento observado en los estudiantes. La mayor parte de las recompensas que se obtienen de la
inversión en educación vienen con un notable rezago, y esto puede conducir a una “sub-inversión” potencialmente significativa en las pequeñas tareas
en las que un estudiante debe involucrarse diariamente para acumular capital humano. Sin incentivos de corto plazo, es probable que la base de
esfuerzo en muchos estudiantes sea baja.
• Existe cierta preocupación porque este tipo de incentivos generen un desplazamiento de cierta motivación intrínseca. Sin embargo, como es señalado
en varios trabajos, las recompensas externas pueden ayudar a estimular la motivación intrínseca y la formación de hábitos (Lepper et al 1973, Cameron
et al 2005, Bettinger 2010). En familias pudientes los padres habitualmente brindan a sus hijos este tipo de recompensas de corto plazo, incluyendo
retornos positivos, elogios, e incentivos explícitos. Es menos probable que padres de familias de bajos ingresos ofrezcan a sus hijos incentivos por su
esfuerzo y logros (Gottfried et al 1998), lo que puede afectar la lucha de los maestros para mantener la motivación y el foco en las escuelas de
contextos económicos bajos. Si las recompensas inmediatas aumentan la utilidad estimada de invertir en educación, un sistema adecuadamente
estructurado de recompensas externas puede potencialmente crear (más que desplazar) motivación intrínseca.
• Tales recompensas de corto plazo pueden resolver problemas relativos a fallas en la planificación, y a una limitada comprensión de la función de
producción de la educación. Los estudiantes pueden no dominar los pasos necesarios para mejorar sus logros en un test que tendrá lugar dentro de seis
meses. Sin embargo, pueden responder efectivamente a estímulos de performance basados en tareas intermedias como aprender la lección del día,
completar un deber, o enfocarse en un test de práctica.
• La aplicación continua de contribuciones relevantes de la economía comportamental a materias educativas puede ayudar a los maestros en la
búsqueda de soluciones frescas para los problemas de las escuelas urbanas. Estas contribuciones comportamentales pueden fortalecer el impacto y la
eficiencia de las intervenciones en educación. También pueden usarse como bases para los empiricistas y experimentalistas que con un amplio espectro
de datos y oportunidades experimentales están en una posición única para examinar teorías hasta ahora no testeables. Claramente, sin embargo,
teoría y trabajos prácticos deben trabajar simbióticamente – ha habido pocos avances teóricos que combinen los mejores aspectos de las
contribuciones comportamentales con materias propias de la educación. En ese espíritu, esperamos que nuestro estudio estimule nuevos trabajos
combinando psicología y economía, que no solamente permita profundizar nuestra comprensión de tópicos empíricos relativos a educación, pero
también profundice nuestra comprensión de las importantes preguntas que enfrenta en el campo. “
THE BEHAVIORALIST GOES TO SCHOOL: LEVERAGING BEHAVIORAL ECONOMICS TO IMPROVE EDUCATIONAL PERFORMANCE
Steven D. Levitt, John A. List, Susanne Neckermann, Sally Sadoff
12. Instituto Integral de Minas
Descripción
• Instituto privado y laico de educación primaria y secundaria (ciclo básico)
fundado en 1988 por dos maestras. Inicialmente funcionó como un jardín
de infantes y en 1994 comenzó a dar clases de primaria y en 1998 habilitó
secundaria.
• Cuenta actualmente con una población de aproximadamente 300
estudiantes con una división por año desde jardín de infantes hasta tercero
de liceo.
• Se encuentra en la ciudad de Minas a 120 kms de Montevideo (capital de
Uruguay). Minas tiene apróximadamente 40 mil habitantes y es la capital y
ciudad más poblada del departamento de Lavalleja.
• La oferta de enseñanza en la ciudad de Minas es mayoritariamente pública.
13. Instituto Integral de Minas
Diseño experimental
• Propósito: Verificar los hallazgos de Levitt et al en referencia al
desempeño académico de los estudiantes en relación con estímulos
comportamentales.
• Metodología:
• 5 ejercicios utilizados en las Pruebas Pisa de 2012 propuestos a estudiantes
de segundo y tercer año.
• Parte de la Encuesta utilizada en las Pruebas Pisa de 2012 para evaluar la
relación del estudiante con el centro de estudio y las creencias referidas a sí
mismo.
• La Encuesta fue presentada en sobre separado para ser llenada una vez
finalizada la prueba.
• División aleatoria en dos grupos: intervención y control
14. Instituto Integral de Minas
Diseño experimental
• Metodología:
• Se compararon los resultados de cada grupo realizando un ANOVA entre el grupo con intervención y el grupo de control.
• Se compararon los resultados obtenidos con los promedios PISA registrados en las pruebas y la encuesta en Uruguay y en
OCDE.
• Muestra:
• 27 alumnos
• 18 de segundo año y 9 de tercero
• 12 hombres y 15 mujeres
• Prueba:
• Matemática: 3 pruebas con tres preguntas cada una de niveles 1 a 6.
• Letras: 2 pruebas con dos preguntas cada una de niveles 1 y 4
• Total: 13 respuestas
• Encuesta
• 50 afirmaciones ordenadas en 4 grandes áreas:
• relación docente y alumno,
• sentido de pertenencia,
• actitudes hacia la educación,
• determinación, motivación y confianza en si mismos.
15. Instituto Integral de Minas
Intervención
• Se dividió aleatoriamente al grupo en dos sub grupos (intervención y
control) y se les sometió a la misma prueba generando una intervención
sobre uno de los grupos.
• Al comenzar la prueba se presentó la siguiente consigna a ambos grupos:
• “Están por tomar un examen basado en las pruebas PISA del año 2012 que sirven
para comparar el desempeño académico de estudiantes de vuestra edad en Uruguay
y el mundo. Por favor den lo mejor de ustedes mismos para responder estas
preguntas. Tendrán 40 minutos para completar la prueba.”
• Al grupo con intervención se le planteó adicionalmente:
• “Si alcanzan un resultado de 60% van a llevar hoy para su casa una medalla
como esta [MOSTRAR MEDALLA]. Corregiremos la prueba una vez terminen
y los que aprueben recibirán la medalla una vez las tengamos corregidas”
16. Instituto Integral de Minas
Resultados
• Prueba
• En términos generales el porcentaje de respuestas correctas fue mayor a los
del promedio de Uruguay y a los del promedio de la OCDE.
• En términos de no respuesta a nivel de cada pregunta, los resultados fueron
en general mejores que el promedio de Uruguay aunque peores que los del
promedio de la OCDE.
• En todos los casos los resultados fueron peores que los mejores resultados de
la OCDE.
• Encuesta
• Los cuatro grandes vectores relevados en la encuesta no presentaron
significativas diferencias con los promedios de Uruguay ni de la OCDE.
17. Instituto Integral de Minas
Resultados
• A nivel general:
• El grupo de control y el grupo con intervención no presentaron resultados significativamente
diferentes al considerar toda la muestra
• Según año cursado de estudios
• El grupo de control y el grupo con intervención no presentaron resultados significativamente
diferentes al considerar los grupos según año cursado de estudios (segundo y tercero)
• Según materia de la prueba
• El grupo con intervención presentó resultados significativamente mejores al considerar los
resultados de las pruebas de letras [+21%;F(1,25) = 4,58; p=0,042] pero no presentó resultados
significativamente diferentes al considerar los resultados de las pruebas de matemáticas.
• Dentro de las pruebas de letras, el grupo con incentivo presentó resultados significativamente
mejores para estudiantes de tercero [+33%; F(1,7) = 7,78; p=0,027] y masculinos [+25%; F(1,10) =
23,3; p=0,001] aunque no para estudiantes de segundo y femeninos.
• Según grado de dificultad
• El grupo de control y el grupo con intervención no presentaron resultados significativamente
diferentes al considerar el nivel de dificultad de la prueba
18. Instituto Integral de Minas
Comparación con hallazgos de Levitt et al.
• Los incentivos monetarios grandes e inmediatos generan una mejora en los
resultados de los tests. Los incentivos monetarios pequeños no.
• Los incentivos no financieros también impactan en los resultados de los tests.
• Los incentivos presentados como pérdidas y ganancias tienen resultados
similares.
• Los premios presentados con un rezago no tienen impacto en la performance de
los estudiantes.
• Los estudiantes más jóvenes son más propensos a responder a los incentivos,
especialmente los no financieros.
• Las intervenciones en los tests de matemática fueron más eficaces.
• La evidencia sugiere que los niños responden más que las niñas.
• Los premios no perjudicaron los desempeños futuros.
Evidencia similar
Evidencia contraria
Evidencia
similar
19. Instituto Integral de Minas
Comparación de resultados con rasgos de personalidad
• En distintos estudios en que se relacionan aspectos de personalidad y
desempeño académico se ha determinado que tanto la perseverancia
(Angela Duckworth) como las convicciones sobre el desarrollo de sus
competencias para obtener resultado (David Yeager) juegan un rol
importante en el desempeño académico de los estudiantes.
20. Instituto Integral de Minas
Comparación de resultados con rasgos de personalidad
• Si bien la investigación no incluyó un test de personalidad, en la
encuesta se incluyeron dos preguntas que permiten reflexionar en
torno a los rasgos de personalidad.
• Expresando su nivel de identificación con 5 afirmaciones, los
estudiantes evidenciaban su autopercepción frente a la persistencia y
a su control sobre el éxito.
• Dadas las características del experimento no es posible concluir sobre
al relación entre el desempeño académico y la personalidad.
• Sin embargo se puede verificar la efectividad de la intervención según
la autopercepción en los dos aspectos relevados.
21. Instituto Integral de Minas
Comparación de resultados con rasgos de personalidad
• Se enfocó el análisis en los resultados de pruebas en letras.
• Para los estudiantes que reportaron niveles mayores al promedio en
cuanto a su autopercepción referida a su persistencia o a su control del
éxito no presentaron diferencias estadísticamente significativas entre el
grupo de control ni el con intervención.
• Sin embargo, el grupo con intervención de los estudiantes con
autopercepción inferior al promedio en ambos conceptos presentó
resultados mejores y estadísticamente diferentes (Persistencia: +35%;
[F(1,13) = 5,05; p=0,043]; Control del éxito +51%; [F(1,11) = 7,18; p=0,021])
• La evidencia sugiere que las intervenciones pueden ser más efectivas en
aquellas personalidades que más lo necesitan.
23. Síntesis y Conclusiones
• Dadas las limitaciones del experimento no fue posible reproducir el
amplio set de conclusiones que Levitt et al. abarcan en su estudio.
• Sin embargo, existe evidencia que se alinea con ese estudio y que
sugiere que los estudiantes uruguayos podrían ser susceptibles a
mejorar su desempeño en cierto tipo de pruebas como respuesta a la
presencia de estímulos comportamentales en las mismas.
• Adicionalmente se obtuvo evidencia preliminar que sugiere que estas
intervenciones podrían tener mayor impacto en estudiantes con
menor perseverancia y menor percepción de autocontrol del éxito.