Workshop Banca d’Italia - INVALSI Il valore aggiunto delle scuole italiane: come misurarlo? 31 gennaio 2012

1. WORKSHOP BANCA D’ITALIA - INVALSI
IL VALORE AGGIUNTO DELLE SCUOLE ITALIANE: COME MISURARLO?
Discussione del paper Falzetti-Ricci
Aline Pennisi
Ministero dell’economia e delle finanze
Roma, 31 gennaio 2012

2. Il dibattito sull’utilizzo di misure del valore-
aggiunto delle scuole racchiude considerazioni di
tipo:
a. Metodologico:
• quale misura preferire / come calcolarla
• quali sono le assunzioni dietro i modelli per calcolare il
valore-aggiunto
• quanto siano plausibili le assunzioni sottostanti e quale
distorsioni si possono avere se tali assunzioni non sono
valide
b. Applicativo:
• per aiutare le scuole a migliorare
• per meccanismi di accountability degli insegnanti e delle
scuole
• per individuare aree di intervento
• come misura di outcome nella valutazione di specifici
interventi
• per guidare la scelta di genitori …

3. Falzetti & Ricci
Affronta il problema tramite un approccio
contextualised value added ma …
• Mancano dati longitudinali sugli studenti (mentre
misure individuali di abilità precedente sono
predittori più forti dei risultati successivi …)
• Modello OLS vs. modello multi-level (per tenere
conto della struttura gerarchia insita ai dati; in
particolare il raggruppamento / le interdipendenze
tra studenti in una stessa scuola)
• Stabilità delle stime nel tempo …

4. Falzetti & Ricci
Alcune delle assunzioni sottostanti
• una scuola è ugualmente efficace per tutti i suoi studenti
• senza una misura individuale delle abilità precedenti si ipotizza
assenza di effetto Matthew (vantaggi accumulati) nell’istruzione
• stabilità del “trattamento” per ciascuna unità (SUTVA / Rubin, 1976)
ossia assenza di interazione tra il risultato di uno studente e il
“trattamento” ricevuto da un altro studente
• I risultati osservati sono di lungo termine (non affetti da teaching to the
test / manipolazioni)
• depurando dai fattori individuali e contestuali rimane davvero la
scuola e ciò che la scuola può controllare ….
Le scuole funzionano in maniera simile da un anno all’altro ?
• In termini di intake sì … (il bacino di utenza e i fattori di contesto
cambiano molto lentamente)
• In termini di insegnanti però forse no … (la forte mobilità fa si che
cambiano più rapidamente di quanto non cambino le caratteristiche
degli studenti, per lo meno nel nostro contesto e gli a gli stessi docenti
potrebbero cambiare nel tempo la loro efficacia, chi acquisendo
maggiore esperienza, chi risultando burned-out …)

5. Questione generale …
Ma le misure di valore aggiunto sono davvero unbiased e si può
attribuire “l’effetto” alla scuola?
Non si possono condurre esperimenti controllati per stimare la
misura del valore-aggiunto… c’è la possibilità di un fenomeno di
autoselezione nascosto / incontrollabile …
• Nei modelli riusciamo a tenere in conto differenze osservate sul
background / abilità degli studenti e dell’ambiente, ma non la
distribuzione non-casuale di:
• studenti a scuole (fattore localizzazione / famiglie)
• studenti a specifici insegnanti nell’ambito di una scuola (fattore
preside / famiglie)
• insegnanti a scuole (fattore preside / mobilità “inversa” degli
insegnanti)
• generalmente, la maniera con cui trattare questo
problema è controllare nel modello per variabili
individuali relative all’abilità precedente ….
• anche se vi sono risultati contraddittori [Kane and Staiger 2008,
Rothstein 2010]
• è più sono le misure utilizzare per controllare (background-socio
economico, caratteristiche ambientali, peers, …) meno ci rimane un
residuo = effetto scuola! (da qui la parsimonia del modello ….)

6. Falzetti & Ricci
Allora, alcune informazioni che si vorrebbero conoscere
leggendo i risultati:
• distribuzione e trattamento dei dati mancanti (sono molto concentrati /
correlati a fattori di contesto) ?
• fit del modello ed plausibile il “peso” del residuo?
• quanto “pesa” il residuo / effetto scuola rispetto al background socio-
economico?
• precisione delle stime per scuole di piccole dimensioni ? (per le poche
osservazioni possono ricadere più facilmente nelle code per effetto di
noise statistico …)
• e sulle variabili esplicative:
• esistono correlazioni tra esplicative del contesto (come studenti immigrati e posticipatari)?
• ESCS: sebbene un indicatore composito basato su misure auto dichiarate, sembra migliore
di indicatori amministrativi in uso in altri paesi (ma singole componenti come titolo di
studio dei genitori?)
• Proxy scuola sul punteggio medio in ingresso, ma non un indicatore di varianza / range ?
(la maggiore o minore omogeneità nella scuola / classe può giocare un ruolo importante
…)
• Fattori territoriali del contesto (non controllabili dalla scuola) potrebbero nel caso italiano
pesare?
• Correlazione tra punteggio grezzo e valore aggiunto calcolato (scuole
classificate correttamente con entrambi i metodi 60% - 80% circa…)

7. Alcune considerazioni sull’uso del valore aggiunto
Ci sono motivazioni condivise per stime di valore-aggiunto delle scuole
invece che degli insegnanti (soprattutto sotto il profilo di eventuali
applicazioni non meramente informative) ma se crediamo che l’insegnante
sia il fattore che più conta per l’apprendimento, stiamo anche cercando
prima o poi valore-aggiunto degli insegnanti …
• Difficile individuare target sulla base del valore aggiunto, più facile sui
livelli /punteggi grezzi
• Combinare misure come quelle del valore-aggiunto a osservazioni in
classe e valutazioni del dirigente scolastico …
• D’altra parte, nel settore privato a fronte di lavori complessi si fa
raramente uso di sole misure quantitative: i datori di lavoro dedicano
sforzi a raccogliere valutazioni soggettive dei responsabili e dei colleghi…
Nel caso dell’insegnamento è più difficile perché si insegna da soli -
servono visite più frequenti del dirigente e degli ispettori (richiede risorse
umane e finanziare “notevoli”)
• Capire la correlazione tra giudizi di esperti e le misure di valore aggiunto
(nel caso del valore aggiunto degli insegnanti diverse esperienze USA
mostrano che i dirigenti scolastici individuano “bene” le categorie estreme
[Jacob & Lefgren (2006) Harris & Sass (2007)])