1. ¿Están los cuasi mercados de educación
logrando su propósito en Chile?
Re-examinando hipótesis desde modelos de valor
agregado
Alejandro Carrasco∗ y Ernesto San Martín∗,‡,†
∗
Facultad de Educación, Pontificia Universidad Católica de Chile
‡
Centro de Medición MIDE UC
†
Departamento de Estadística, Pontificia Universidad Católica de Chile
Seminario sobre Elección de Escuelas, Competencia y Resultados
Estudios de Economía, Departamento de Economía, Universidad de Chile
CEPPE, Pontificia Universidad Católica de Chile
Santiago, Septiembre 12, 2011

2. Motivación
¿Por qué re-examinar las hipótesis de fondo de los
mecanismos de cuasi-mercado en educación?
Son una política educativa (i.e., contingente).
Treinta años de funcionamiento.
Examen ex-post: política implementada sin evidencia de
base.
Política implementada sin deliberación pública.

3. Antecedentes
Replantearse lo que sabemos sobre el impacto de los vouchers:
Diferencias de rendimiento entre colegios públicos y privados: evidencia
mixta, levemente a favor de colegios particulares subvencionados
(Gallego & Sapelli, 2003; McEwan, 2003; Mizala & Romaguera, 2000;
Bellei, 2007; Paredes & Drago, 2011).
Impacto en segregación escolar del sistema escolar: concluyente (Mizala
& Romagera, 2000; Carnoy, 1998; Hsieh & Urquiola, 2006; Valenzuela et
al 2008; Elacqua, 2009).
Libertad de elección por parte de las familias: incipiente evidencia y
controversial. Padres eligen por cercanía (Elacqua, 2009), calidad
(Chamucero et al, 2008; Gallego, 2006), composición social pares
(Elacqua & Schneider, 2006), families escogidas por escuelas (Contreras
et al, 2007).

4. Preguntas de Interés
Pregunta 1: En términos de efectividad escolar, ¿existen diferencias
entre colegios municipalizados (MUN) y colegios particulares
subvencionados (PS)?
Hipótesis de cuasi-mercado: La existencia de diversos proveedores que
compiten por capturar los vouchers los estimulará a mejorar su
desempeño, siendo los proveedores privados quienes responderán de
manera más eficiente y así ofreciendo una educación de mejor calidad.
Pregunta 2: Al buscar el bienestar de sus hijos/as, ¿están los padres y
apoderados eligiendo las escuelas más efectivas?
Hipótesis de cuasi-mercado: Buscando el bienestar de sus hijos/as, los
padres y apoderados elegirán escuelas de mejor calidad, y retirarán a sus
hijos/as de las que no lo son.

5. Características de la Información Disponible
Características de la información sobre la cual podemos
ofrecer respuestas:
Datos observacionales en oposición a datos experimentales.
No hay asignación aleatoria de estudiantes en escuelas.
Existe información socio-económica y cultural tanto a nivel de
estudiantes como a nivel de escuela.
Existen dos mediciones estandarizadas a nivel de estudiantes:
la primera tomada en 2004 y la segunda tomada en 2006.

6. Herramientas de Modelamiento
Modelamiento de datos observacionales: la información subyacente al
fenómeno estudiado es caracterizada por medio de relaciones
estructurales de dependencia entre las variables que capturan
dicha información.
Conditional independence is the key concept of structural modelling
(Novick, 1979).
Condicionalización: sean X , Y y Z tres conjuntos de variables.
E(Y | X , Z ): La predicción de Y por (X , Z ).
X ⊥ Y | Z : X depende de (Y , Z ) por medio de Z sólo, siendo Y
⊥
redundante (relación es simétrica en X e Y ).
Ejemplo: un procedimiento de selección universitaria (X ) puede depender
del sexo del candidato (Y ) y del puntaje Z en una prueba de selección. Un
procedimiento justo está caracterizado por X ⊥ Y | Z .
⊥

7. Información Disponible
Puntaje SIMCE Matemáticas 2006 de estudiante i de colegio j: Yij .
Puntaje SIMCE Matemáticas 2004 de estudiante i de colegio j: Xij .
Sexo, Repitencia con anterioridad a 2006 (y, por tanto, a 2004), Cambio
de colegio entre 2004 y 2006.
Efecto composicional X •j , promedio de SIMCE 2004 de estudiantes de
colegio j en 2006.
Grupo socio-económico de la escuela, Proporción de Selectividad.
Las covariables tanto individuales como a nivel de escuela serán
denotados por T j . En cada caso, se explicitará qué variables
específicas se incluye.

8. Estructura Básica de Modelamiento
Efecto escuela θj : corresponde a un efecto no-observable.
Una vez que se fijan las covariables T j , el efecto θj permite explicar la
dependencia entre los puntajes Yij ’s:
Yij ⊥ Yi j | T j , θj .
⊥
Interpretación: la dependencia entre los puntajes individuales se debe tanto a
las covariables T j , como al efecto escuela θj , y no a cierta influencia directa
entre los estudiantes.
Si se asume que E(Yij | Tj , θj ) = f (Tj ) + θj , la dependencia inducida se reduce
a una correlación positiva entre los puntajes Yij ’s (controlando por las
covariables T j ).

9. Estructura Básica de Modelamiento
Descomposición básica de Yij :
Yij = E(Yij | T j ) + E(Yij | T j , θj ) − E(Yij | T j ) + Yij − E(Yij | T j , θj )
Modelo Valor agregado Error de medición
Estadístico VAj ij
Por construcción, los componentes a la derecha de la igualdad anterior
están no-correlacionados.
En T j es necesario incluir las variables que representen los procesos
de selección realizados por las escuelas, además del puntaje inicial Xij .
Practicamente todas las aproximaciones metodológicas que tienen por
objetivo modelar efectividad escolar (en particular, todas las que
aparecen en el meta-análisis de Drago & Paredes, 2011) pueden
describirse estructuralmente en los términos anteriores.

10. Modelos sin Puntaje Previo
Una forma de estimar la efectividad de una escuela ha sido por medio
del uso de Modelos Lineales Jerárquicos (HLM).
Conceptualmente, el error de medición ij está “separado” del valor
agregado VAj pues, po rconstrucción„ la correlación entre ambos es
nula.
Sin embargo, en estos modelos no se ha incluido como covariable
un puntaje inicial medido con anterioridad al puntaje Yij .
Esto se debe al hecho que, hasta antes de 2006, en Chile no existían
medidas repetidas a nivel de estudiante.

11. Modelos sin Puntaje Previo
La falta de puntaje inicial tiene consecuencias sobre la estructura
básica de los modelos:
Yij = E(Yij | T j ) + E(Yij | T j , θj ) − E(Yij | T j ) + Yij − E(Yij | T j , θj )
= Tjβ + PVAj + ij
donde, por ejemplo,
T j = (GSEj , Prop.Selectj , Sexoij , Cambioij , Repiteij .Ed. Madreij , Ed.Padreij )
Aquí, PVAj representa una pseudo-efectividad de la escuela j.

12. Modelos sin Puntaje Previo
La base de datos SIMCE 2004-2006 incluye 163.286 estudiantes,
repartidos en 1.886 colegios.
Se estimó la pseudo-efectividad PVAj y se clasificaron las escuelas
en 4 grupos de acuerdo a los cuartiles de la disttribución empírica de
dichos indicadores:
Grupo 1: escuelas con valor agregado menores o iguales al primer cuartil.
Grupo 2: escuelas con valor agregado mayores que el primer cuartil y
menores o iguales que la mediana.
Grupo 3: escuelas con valor agregado mayores que la mediana y
menores o iguales que el tercer cuartil.
Grupo 4: escuelas con valor agregado mayores que el tercer cuartil.
Reportamos los resultados por medio de tablas de contingencia
condicional.

13. Modelos sin Puntaje Previo
Tabla de contingencia dependencia dada
pseudo-efectividad:
Grupo 1 Grupo 2 Grupo 3 Grupo 4
(MUN | Pseudo-Efect) 30,3 % 29,9 % 32,4 % 34,2 %
(PS | Pseudo-Efect) 63,1 % 53,1 % 49,9 % 56,5 %
(PP | Pseudo-Efect) 6,6 % 17,0 % 17,7 % 9,3 %
Tabla de contingencia pseudo-efectividad dada
dependencia:
MUN PS PP
(Grupo 1 | Dependencia) 23,9 % 28,4 % 13,0 %
(Grupo 2 | Dependencia) 23,6 % 23,8 % 33,6 %
(Grupo 3 | Dependencia) 25,4 % 22,3 % 34,9 %
(Grupo 4 | Dependencia) 27,1 % 25,5 % 18,5 %

14. Modelos sin Puntaje Previo
PVAj corresponde a una pseudo-efectivdsd pues conceptualmente:
PVAj incluye el efecto composicional X •j y, en
consecuencia, está correlacionado con las covariables T ij .
El error de medición ij incluye el puntaje inicial Xij y, en
consecuencia, está correlacionado con PVAj .
Por lo tanto, las estimaciones de efectividades de escuela están
sesgadas.

15. Modelamiento de Valor Agregado
Considerar el puntaje inicial significa contemplar un aspecto
educacional relevante: el aprendizaje que los estudiantes
experimentaron entre una y otra medición.
Estimar el valor agregado de una escuela significa estimar la
contribución de ésta al aprendizaje de cada estudiante.
Dada la actual disponibilidad de datos, buscamos conectar la
evaluación de los cuasi-mercados educacionales con el concepto
sustantivo de efectividad escolar.

16. Modelamiento de Valor Agregado
Hipótesis 1: θj representa los aspectos educacionales no-observables
del colegio j.
Hipótesis 2: Zj = (GSEj , Prop.Selectj ) representa los aspectos
socio-selectivos de la escuela j.
Hipótesis 3: θj ⊥ Zj .
⊥
Es decir, consideramos que Zj no es informativo para determinar θj , e
inversamente. Si lo fuera, asumiríamos que los aspectos socio-selectivos son
suficientes para determinar la totalidad de los aspectos educacionales del
colegio.

17. Modelamiento de Valor Agregado
Covariables educacionales: el puntaje inicial Xij y el efecto
composicional X •j .
Bajo estas hipótesis, los aspectos educacionales θj están
correlacionados con (Xij , X •j ). Es necesario separar estos dos
aspectos.
Hipótesis 4:
(Ed. Padrej , Ed. Madrej ) ⊥ θj | Zj ,
⊥
es decir, el nivel educacional de padre y de madre depende de (θj , Zj ) sólo por
medio de los aspectos socio-selectivos del colegio, siendo θj redundante.

18. Modelamiento de Valor Agregado
Bajo las hipótesis anteriores, se deduce que
(Ed. Padrej , Ed. Madrej ) ⊥ θj ,
⊥
por lo que (Ed. Padrej , Ed. Madrej ) es un buen candidato para ser
variable instrumental.
Además, están correlacionados con las otras covariables exógenas.
Usando la metodología desarrollada por Manzi, Van Bellegem & San
Martín (2011), se estimaron los indicadores de valor agregado.

19. Modelamiento de Valor Agregado
¿Cuál es el impacto del puntaje previo sobre la estimación de
efectividad escolar?
Modelo sin Puntaje Inicial (PVAj )
Grupo 1 Grupo 2 Grupo 3 Grupo 4
Modelo con Grupo 1 216 119 77 57
Puntaje Grupo 2 127 116 125 106
Inicial Grupo 3 82 127 132 131
(VAj ) Grupo 4 47 109 135 180
El 65.8 % de las escuelas cambió su clasificación: el 33.2 % subió su
clasificación inicial definida con PVAj , mientras que el 32.6 % bajó su
clasificación inicial con PVAj .

20. Modelamiento de Valor Agregado
Municipalizados: el 65.4 % cambió su clasificación con respecto a PVAj .
Modelo sin Puntaje Inicial (PVAj )
Grupo 1 Grupo 2 Grupo 3 Grupo 4
Modelo con Grupo 1 58 36 30 18
Puntaje Grupo 2 45 37 36 35
Inicial Grupo 3 30 40 51 48
(VAj ) Grupo 4 10 28 35 61
Particulares Subvencionados: el 71.3 % cambió su clasificación con
respecto a PVAj .
Modelo sin Puntaje Inicial (PVAj )
Grupo 1 Grupo 2 Grupo 3 Grupo 4
Modelo con Grupo 1 142 64 30 29
Puntaje Grupo 2 79 62 67 54
Inicial Grupo 3 49 68 58 74
(VAj ) Grupo 4 28 56 79 11

21. Modelamiento de Valor Agregado
Particulares Pagados: el 73.1 % cambió su clasificación con respecto a
PVAj .
Modelo sin Puntaje Inicial (PVAj )
Grupo 1 Grupo 2 Grupo 3 Grupo 4
Modelo con Grupo 1 16 19 17 10
Puntaje Grupo 2 3 17 22 17
Inicial Grupo 3 3 19 23 9
(VAj ) Grupo 4 9 25 21 8
Resumiendo,
PVAj ↑ VAj VAj ↓ PVAj
MN 31.4 % 33.9 %
PS 37.8 % 33.5 %
PP 33.6 % 39.5 %

22. Modelamiento de Valor Agregado
Tabla de contingencia dependencia dada efectividad:
Grupo 1 Grupo 2 Grupo 3 Grupo 4
(MN | Efectividad) 30,3 % 32,3 % 35,8 % 28,5 %
(PS | Efectividad) 56,5 % 55,3 % 52,8 % 58,2 %
(PP | Efectividad) 13,2 % 12,4 % 11,4 % 13,4 %
Tabla de contingencia efectividad dada dependencia:
MN PS PP
(Grupo 1 | Dependencia) 23,7 % 25,2 % 26,1 %
(Grupo 2 | Dependencia) 25,6 % 25,0 % 24,8 %
(Grupo 3 | Dependencia) 28,3 % 23,7 % 22,7 %
(Grupo 4 | Dependencia) 22,4 % 26,1 % 26,5 %

23. Elección de Escuelas y Efectividad Escolar
De los 1886 establecimientos bajo estudio, hay 601 que albergan a
estudiantes nuevos. Se trata 79.073 estudiantes repartidos sólo en
colegios MUN y PS.
En el cuestionario de padres y apoderados de 2006 hay información
acerca de las razones por las cuales padres y apoderados han
escogido el colegio en el que han sido medidos los estudiantes.
Para la submuestra mencionada, dichas razones tienen un horizonte
temporal de al menos dos años.

24. Elección de Escuelas y Efectividad Escolar
Por medio de análisis factoriales exploratorios, se pudieron determinar
tres razones:
Calidad: buen SIMCE; buena PSU; Prestigio; GSE.
Acceso: cercanía de colegio; único en la comuna; costo
accesible.
Familia: miembros de la familia ya están en el colegio.

25. Elección de Escuelas y Efectividad Escolar
Con la información disponible, podemos ofrecer una primera
aproximación descriptiva.
Las correlaciones de los indicadores de valor agregado y la proporción
(a nivel de colegio) de padres que lo escoge por calidad es igual a 0.03
(pero no es estadísticamente significativa).
Las correlaciones de los indicadores de valor agregado y la proporción
(a nivel de colegio) de padres que lo escoge por acceso es igual a 0.02
(pero no es estadísticamente significativa).
Patrones similares se obtienen si dichas correlaciones se calculan por
dependencia.

26. Elección de Escuelas y Efectividad Escolar
Si dichas correlaciones se calculan parra cada uno de los grupos de
efectividades definidos anteriormente, se observa las siguientes
correlaciones estadísticamente significativas:
Para el Grupo 2, la correlación entre efectividad y el factor
acceso es 0.3.
Para el Grupo 4, la correlación entre efectividad y el factor
acceso es 0.17.

27. Implicaciones Conceptules y Metodológicas
La evaluación del impacto del esquema de cuasi-mercado educacional
requiere metodologías basadas en efectividad sustantiva. De esta
manera, la atención se focaliza sobre efectividad escolar en términos
de valor agregado, en lugar de diferencias de desempeño.
Para ello, es necesario conectar dos tradiciones de investigación
educacional desconectadas ante un objeto común.
Los modelos de valor agregado se caracterizan por incluir como
variable explicativa el puntaje inicial. En este tipo de modelos es
importante considerar la naturaleza observacional de los datos y, por
tanto, explicitar las hipótesis estructurales subyacentes al análisis.

28. Implicaciones Conceptules y Metodológicas
Las limitaciones tanto de mediciones longitudinales, como
conceptuales, reconfiguran nuestra óptica de clasificación de escuelas:
un 65.8 % de las escuelas ha sido reclasificada en términos de
efectividad al considerar modelos de valor agregado. Al
considerar las diferentes dependencias educacionales, la
conclusión es similar.
Re-definir efectividad escolar (calidad educacional) y su medición:
Estimar la contribución de las escuelas, en términos de
agregación de valor, en el desarrollo integral de todos y
cada uno de sus alumnos, más allá de lo que sería
previsible teniendo en cuenta su rendimiento inicial y su
situación social, cultural y económica.

29. Re-examinando supuestos de mercado educacional
Los proveedores privados no son más eficientes:
Los privados (PS y PP) no lo hacen ni mejor ni peor que los
municipales en términos de agregación de valor.
PS proporcionalmente mayor en grupo de menor agregación de
valor (56,5 %).
Pese a restricciones económicas y organizacionales, un cuarto de
las escuelas municipalizadas son muy efectivas.
La competencia no redunda en efectividad (calidad):
Provisión mixta contribuyó en cobertura, pero no en efectividad
(calidad).
Enorme dispersión de efectividad (calidad), no de proyectos
educativos.
Presión competitiva por vouchers parece no haber expulsado del
sistemas las escuelas no-efectivas.

30. Re-examinando supuestos de mercado educacional
Mecanismo de “accountability corta” estático:
La definición de las familias de una escuela de calidad es
idiosincrática (sólo homología semántica).
El principio regulador del desempeño de las escuelas desde el
lado de la demanda es desconocido.
Reguladores son necesarios ante espirales opuestos de
desempeño con fondos públicos:
Muchas escuelas efectivas sobre-exigidas al máximo.
Muchas escuelas, a la vez, muy inefectivas, operando de modo
invisible bajo tolerancia del sistema.
Familias con un poder de decisión sobre un sistema con máxima
opacidad sobre términos calidad educacional.

31. Implicaciones de Política Pública
Re-balancear papel excesivo de auto-regulación de mercados
educacionales, implementando una suerte de accountability larga.
Consenso político de qué tipo de información es necesario medir a fin
de remediar en el modelamiento estadístico de valor agregado la falta
de asignación aleatoria de alumnos en escuelas (GSE, procedimientos
de selectividad, . . . ).
Clasificación de escuelas: ¿podemos atribuir a las escuelas la
responsabilidad por sus resultados desconociendo si agregan o no
valor?
Responsabilización justa del desempeño de las escuelas.
Políticas que apunten a caracterizar escuelas efectivas (efectividad
sustantiva), para así construir capacidades (mejora escolar).

32. Esta presentación está principalmente basada en Are quasi-markets in
education meeting their policy in Chile? Re-examining empirical hypothesis from
value-added models, por A. Carrasco & E. San Martín.
También se ha utilizado el trabajo School System Evaluation by Value Added
Analysis Under Endogeneity, por J. Manzi, E. San Martín & S. Van Bellegem.
Estos trabajos, como esta presentación, han sido parcialmente financiados por
el Proyecto FONDECYT No. 1110315 School Effectiveness and Value Added
Models: From Quantitative Analysis to Qualitative Outcomes.