Modelli, metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro / Marco Centra ISFOL, Università La Sapienza

Acción SOL - Encuentro de Trabajo internacional

Monitoreo y evaluación de las políticas de empleo
Comparación de experiencias y metodologías
Roma - Italia Lavoro, 20 maggio 2013

Modelli, metodologie e tecniche per il monitoraggio e la
valutazione delle politiche del lavoro

Marco Centra
ISFOL, Università La Sapienza



Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Programma

1. Introduzione
2. Finalità e forme di valutazione
3. Valutazione d’impatto
4. Approccio controfattuale
5. Metodi sperimentali e non sperimentali
6. Tecniche di valutazione degli effetti




1. Introduzione

Politica: politics e policy
Politics. la competizione esistente tra gruppi e/o tra individui
per la conquista e il mantenimento delle risorse necessarie
all’esercizio del potere
Policy. l’insieme di azioni messe in atto da attori pubblici al
fine di affrontare un problema collettivo

L’oggetto di interesse dell’attività di valutazione sono le
policy vale a le azioni messe in atto per la soluzione di
un problema




1. Introduzione

Definizione di valutazione
•

“La valutazione è un’attività cognitiva rivolta a fornire un giudizio su di un’azione,
intenzionalmente svolta o che si intende svolgere, destinata a produrre effetti
esterni, che si fonda su un’attività di ricerca delle scienze sociali e che segue
procedure rigorose e codificabili”. Mauro Palumbo

•

“Valutare significa analizzare se un’azione intrapresa per uno scopo
corrispondente ad un interesse collettivo abbia ottenuto gli effetti desiderati o altri,
ed esprimere un giudizio sullo scostamento che normalmente si verifica”.
Nicoletta Stame

•

“La valutazione è principalmente (…) un’attività di ricerca sociale applicata (…)
avente come scopo la riduzione della complessità decisionale, attraverso l’analisi
degli effetti diretti e indiretti, attesi e non attesi, voluti e non voluti, dell’azione,
compresi quelli non riconducibili ad aspetti materiali (...)”. Claudio Bezzi




1. Introduzione

Definizione di valutazione.

• La valutazione è un’attività tesa alla produzione
sistematica di

informazioni per dare giudizi su

azioni pubbliche, con l’intento di migliorarle”.

Alberto Martini, Marco Sisti




1. Introduzione

Finalità della valutazione

• Ottimizzare l’allocazione delle risorse
• Controllo delle performance delle organizzazioni
• Comunicazione dell’azione pubblica
• Controllo dei processi di attuazione
• Stimare gli effetti delle politiche




2. Finalità e forme di valutazione

Forme di valutazione delle politiche
1. Valutazione ex-ante
Verificare la corrispondenza teorica tra azione e risultato

2. Valutazione di implementazione
Analizzare il processo di attuazione delle politiche

3. Valutazione di impatto
Valutare gli effetti delle politiche

4. Valutazione di efficienza
Misurare il rapporto costi-benefici





Definizione
“Verifica della capacità dell’intervento adottato di trasformare la realtà nella
direzione voluta” (Martini, Sisti)

Ipotesi
Assunzione del rapporto di dipendenza causale tra azione e risultato
Possibilità di fondare il risultato della valutazione su robuste evidenze
empiriche

Azioni
Stimare gli effetti dell’intervento e acquisire informazioni sulla misura del
raggiungimento degli obiettivi posti





La misura degli effetti della politica
Formulazione della domanda di valutazione
1. Definizione della variabile risultato: effetto su cosa
2. Definizione del trattamento: effetto di cosa

Effetto su cosa: identificazione della variabile risultato
Una quantità Y misurabile, osservabile e disponibile

Effetto di cosa: riduzione dicotomica dell’applicazione della politica
Una variabile binaria T che indica la presenza (T=1) o l’assenza (T=0)
dell’applicazione della politica o trattamento





Formalizzazione analitica della stima degli effetti

Modello di Rubin dei risultati potenziali

Y =

variabile risultato

i

individuo

=

T =

applicazione del trattamento

t

momento di applicazione del trattamento

=

Yi1

valore assunto dalla variabile risultato che avrebbe
l’individuo i nel caso sia stato trattato

Yi 0

valore assunto dalla variabile risultato che avrebbe
l’individuo i nel caso non sia stato trattato





Si definisce effetto del trattamento sul singolo individuo come differenza
tra ciò che la politica ha prodotto sulla variabile obiettivo e ciò che sarebbe
accaduto in assenza della politica:

δ i = (Yi1 − Yi 0 )

Generalmente, per un generico individuo, solo uno dei due valori è
osservabile:

Yi

1

Yi

0

se l’individuo i è stato trattato
se l’individuo i non è stato trattato





L’effetto sul singolo individuo assume una scarsa importanza ai fini della
valutazione. E’ necessaria una misura sintetica riferibile all’intera politica e non
ai singoli individui: si ricorre generalmente alla media.
L’effetto medio del trattamento è ottenuto calcolando la media della quantità
δ sul totale dei trattati

E ( δ i ) = E (Yi1 − Yi 0 ) = E (Yi1 ) − E (Yi 0 )

Con altra notazione, specificando che la media è calcolata sui soli soggetti
trattati (T = 1), si ottiene:

E ( δ i ) = E (Yi1 − Yi 0 ) = E (Yi1 | T = 1) − E (Yi 0 | T = 1)

L’impatto della politica è quindi definito, in termini di medie, dalla differenza
tra ciò che è accaduto ai trattati in seguito alla politica attuata e ciò che
sarebbe accaduto ai medesimi soggetti se la politica non fosse stata attuata.





L’obiettivo dell’operazione della valutazione d’impatto si riassume nel calcolo
di una quantità E ( δ i )

composta da un parte osservata:

E (Yi1 | T = 1)

e un parte non osservata e non osservabile:

E (Yi 0 | T = 1)

Realtà fattuale
ciò che realmente è successo ed è stato osservato

Controfattuale
cosa sarebbe accaduto in assenza dell’intervento e non sarà mai osservabile





Realtà fattuale. E’ per definizione osservabile ma non
necessariamente osservata o, quantomeno, non in maniera
esaustiva rispetto a quanto sarebbe necessario

Controfattuale. Non è osservabile per definizione. Rappresenta il
problema maggiore per produrre una stima degli effetti netti
della politica

La maggior parte degli sforzi messi in campo nel corso dello
sviluppo della valutazione riguarda l’affinamento di tecniche di
ricostruzione del controfattuale





Poichè ciò che sarebbe accaduto ai trattati in assenza della politica non è
una realtà osservabile, le strategie di identificazione degli effetti si servono di
un gruppo di controllo di individui non trattati dalla politica per stimare la
quantità
E (Yi 0 | T = 1)
Utilizzando un gruppo di individui non trattati le sole quantità osservabili sono:
1. la misura del risultato potenziale sui trattati in caso di trattamento
2. la misura del risultato potenziale sui non trattati in caso di non trattamento
Dalle due quantità si ottiene la differenza osservata

DOSS = E (Yi1 | T = 1) − E (Yi 0 | T = 0 )
quantità che non coincide con l’effetto del trattamento definito in precedenza

E ( δ i ) = E (Yi1 | T = 1) − E (Yi 0 | T = 1)





La differenza osservata

DOSS = E (Yi1 | T = 1) − E (Yi 0 | T = 0 )
non coincide con l’effetto medio del trattamento

E ( δ i ) = E (Yi1 | T = 1) − E (Yi 0 | T = 1)
a meno che si adotti l’assunzione:

E (Yi 0 | T = 0 ) = E (Yi 0 | T = 1)

Ciò equivale a supporre che il risultato che si sarebbe avuto sul gruppo dei
trattati in assenza di trattamento sarebbe uguale al risultato che si osserva, in
assenza di trattamento, su un gruppo di non trattati.
Tale assunzione non è testabile e, nel caso non sia verificata, genera una
grave distorsione sulla misura dell’impatto, detta distorsione da selezione





Calcolando la media degli effetti potenziali separatamente sul collettivo dei
trattati e dei non trattati si ottiene una utile espressione dell’effetto osservato:
DOSS = E (Yi1 | T = 1) − E (Yi 0 | T = 0) =
= E (Yi1 | T = 1) − E (Yi 0 | T = 0 ) + E (Yi 0 | T = 1) − E (Yi 0 | T = 1) =

[

] [

= E (Yi1 | T = 1) − E (Yi 0 | T = 1) + E (Yi 0 | T = 1) − E (Yi 0 | T = 0)

[

DOSS = E ( δ ) + E (Yi 0 | T = 1) − E (Yi 0 | T = 0 )

]

]

L’effetto osservato si scompone cioè in due addendi, uno dei quali è la misura
dell’effetto della politica, obiettivo dell’intera operazione di valutazione
d’impatto, e l’altro misura la differenza dell’effetto medio in assenza di
trattamento tra trattati e non trattati. Tale quantità è determinata dalle sole
differenze tra i due gruppi, dal momento che l’applicazione della politica è
assente nella quantità E Yi 0 | T = 1 − E Yi 0 | T = 0

[ (

)

(

)]

Tale quantità rappresenta la distorsione da selezione




5. Metodi sperimentali e non
sperimentali

Le differenze nella composizione tra gruppo di trattati e gruppo di controllo
genera distorsione nella misura dell’impatto delle politiche. La distorsione è
tanto più elevata quanto le differenze incidono direttamente sulla variabile
risultato, senza il tramite dell’applicazione della politica oggetto di
valutazione. Una differenza tra i due gruppi che non influisce sulla variabile
risultato non genera infatti alcuna distorsione.
Una complicazione ulteriore attiene al fatto che la differenza nella
composizione tra i due gruppi che genera distorsione può riguardare anche
caratteristiche non osservabili e pertanto non controllabili.
Una tecnica per eliminare le differenze di partenza tra i due gruppi deriva
dalle procedure di sperimentazione clinica che si avvalgono di metodi
sperimentali . e prevede l’attribuzione casuale degli individui al gruppo
di trattati o al gruppo di controllo.
In tal modo, grazie al processo di randomizzazione , la composizione
attesa dei due gruppi rispetto a tutte le caratteristiche, sia osservabili
che non osservabili , è uguale.




sperimentali
E’ evidente la elevata potenza metodologica del metodo sperimentale. Tale
metodo tuttavia non è generalmente applicabile alla valutazione delle politiche.
• Tecnicamente il metodo non è utilizzabile in caso di valutazione di politiche
universali, applicate cioè a tutta la popolazione, dal momento che in tali casi non è
possibile definire un gruppo di non trattati
• Sul piano etico appare inaccettabile escludere dalla fruizione di un beneficio
individui che teoricamente ne avrebbero diritto solo per valutare in modo più
preciso gli effetti della politica.
• Sul piano politico sarebbe difficile motivare l’esclusione di una parte dei potenziali
fruitori di un beneficio con la sola necessità di valutare la politica.
• Sul piano metodologico le tecniche sperimentale non garantiscono totalmente
dall’assenza di selezione, dal momento che individui appartenenti al gruppo dei
trattati potrebbero abbandonare volontariamente la fruizione del beneficio ( non
compliance) reintroducendo una quantità di selezione tra due gruppi.
• Sul piano della disponibilità dei dati necessari alla valutazione occorre constatare
che le informazioni si rendono disponibili generalmente dopo l’applicazione della
politica, rendendo impossibile la costruzione ex-ante dei due gruppi.




sperimentali
Per tali ragioni la valutazione delle politiche si serve di metodi non
sperimentali. Tali metodi prevedono l’utilizzo di tecniche statistiche in
grado di eliminare, o quanto meno ridurre, la distorsione da selezione e sono
basate, in estrema sintesi, sul tentativo di spiegare il processo di selezione
tra trattati e non trattati.
I metodi non sperimentali sono fondati su dati osservazionali , prodotti dal
naturale corso degli eventi, a differenza di quanto accade nei metodi
sperimentali che presuppongo invece di poter controllare gli eventi .
Le tecniche utilizzate impongono il ricorso ad assunti non verificabili , legati
principalmente alla possibilità di spiegare totalmente il processo di selezione
con i dati a disposizione., che rappresentano un sottoinsieme dei dati
osservabili. Nei casi di studio, conoscenze pregresse sui fenomeni oggetti di
valutazione indicano che la selezione tra trattati e non trattati è in gran parte
spiegata da caratteristiche non osservate e spesso non osservabili.




sperimentali
Un’altra forma di distorsione: la dinamica spontanea

Y

Differenza
pre-post
T=1

Controfattuale

T=0

t-1

Effetto

t+1




sperimentali

1. Metodo diff-in-diff
2. Modello di regressione lineare
3. Metodo dell’abbinamento (matching)
4. Discontinuità attorno
discontinuity design)

ad

una

soglia

(regression

5. Analisi delle serie storiche interrotte
6. L’utilizzo delle variabili strumentali (IV estimator)




6.1 Metodo diff-in-diff

Y

Y(1,t+1)
impatto

pre-post

Y(0,t+1)
Y(1,t-1)
controfattuale
Y(0,t-1)

t-1
impatto

d

t+1
differenza pre-post

=

[ Y(1,t+1)

-

Y(1,t-1) ]

t

controfattuale

-

[ Y(0,t+1)

-

Y(0,t-1) ]




6.2 Regressione lineare

Y = α +δ T
Trattati: [T=1] => E ( Y ) = α + δ
Controllo: [T=0] =>

E (Y ) = α

Impatto = Y(trattati)-Y(controllo) =

Y = α +δ T + β X

α +δ −α = δ

Indipendenza condizionale




6.3 Abbinamento (matching)

L’abbinamento statistico.

Presupposti fondamentali

Il metodo dell’abbinamento rappresenta una tecnica in grado di spiegare il
processo di selezione in funzione dell’informazione accessoria disponibile.
Lo schema prevede un gruppo di trattamento e un gruppo di controllo e la
disponibilità per entrambi di informazioni in grado di “spiegare”
l’appartenenza all’uno a all’altro.
Presupposto fondante del metodo è la CIA (Conditional Independence
Assumption). Tale assunzione ipotizza che per individui simili rispetto alle
caratteristiche considerate l’attribuzione al trattamento sia casuale,
assimilabile cioè ad un disegno sperimentale dello schema di valutazione.

Spiegare il processo di selezione






Propensity score

La traduzione operativa e computazionale della similitudine tra individui è
impraticabile poichè comporterebbe la ripartizione dei dati secondo tutte le
caratteristiche nidificate che concorrono a spiegare il processo di selezione.
Un sintesi proposta da Rosenbaum e Rubin nel 1983 prevede la costruzione
di una misura univariata, funzione delle caratteristiche osservate, in grado di
assegnare a ciascun individuo la probabilità

di

essere

trattato ,

indipendentemente dall’appartenenze al gruppo dei tratti o a quello dei non
trattati.
La costruzione del propensity score sfrutta tecniche statistiche come i
modelli probit o logit .






Tecniche di abbinamento

Una volta disponibile il propensity score, il metodo prevede l’abbinamento di
ciascuna unità trattata con una unità non trattata e il confronto tra i
corrispondenti valori della variabile obiettivo.
Le tecniche di abbinamento sono diverse e ciascuna presenta caratteristiche
e proprietà specifiche.
Nearest neighbor. Ad ogni unità trattata viene assegnata l’unità non
trattata con il valore del propensity score più vicino.
Radius. Ad ogni unità trattata vengono assegnate tutte le unità non trattate
che ricadono all’interno di un raggio definito del propensity score.
Stratificazione. Il campo di variazione del propensity score viene diviso in
intervalli in modo che in ciascun intervallo le unità trattate e quelle non trattate
abbiano lo stesso valore medio del propensity score.
Kernel. A ciascuna unità trattata vengono assegnate tutte le unità non
trattate ma con un peso inversamente proporzionale al valore del propensity
score.




6.4 Discontinuità (regression discontinuity desing)

Y

1.000
900
800
700
600
500
400
300
200
100
0
0

20

40

60

80

100
P




6.5 Serie storiche interrotte

Si applica a politiche universalistiche dove non è identificabile un
gruppo di controllo.
Si utilizza la storia pre-intervento immediatamente precedente
all’intervento per stimare il controfattuale.
ATTENZIONE
Stagionalità
Implementazione graduale

impatto




6.6 L’utilizzo delle variabili strumentali (IV estimator)

Si applica quando si identifica un fattore esterno (STRUMENTO)che
influenza il processo di selezione (T=1, 0) ma tale fattore non ha
alcun effetto sulla variabile risultato Y.
Le tecnica consente di scomporre la propensione al trattamento (che
genera selezione) in due parti:
1) dovuta alla decisione dell’individuo e ad altri fattori, che generano
selezione
2) dovuta a fattori esterni non controllati dall’individuo, che NON
generano selezione
Si utilizza come trattamento solo la parte della che
dipende da fattori non controllati dell’individuo
La randomizzazione è un caso estremo di strumento




6.6 L’utilizzo delle variabili strumentali (IV estimator)

Stimatore di Wald

Un rapido esempio
Y laureati in città con ateneo – Y laureati in città senza ateneo
Numero laureati in città con ateneo – numero laureati in città senza ateneo




Bibliografia di riferimento

• Alberto Martini , Ugo Trivellato, Sono soldi ben spesi? Perché e
come valutare l'efficacia delle politiche pubbliche, Marsilio, (2011)
• Martini A. Sisti M., Valutare il successo delle politiche pubbliche,
Il Mulino (2009)
• Bezzi C., Il disegno della ricerca valutativa, FrancoAngeli (2003)
• Rubin D.B., Estimating Casual Effect of Treatments in
Randomized and Non-randomized Studies, Journal of Educational
Psicology, n.66 (1974)
• Andrea Ichino, The Problem of Causality in the Analysis of
Educational Choices and Labor Market Outcomes, Slides for
Lectures (2006)

Modelli, metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro / Marco Centra ISFOL, Università La Sapienza

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Modelli, metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro / Marco Centra ISFOL, Università La Sapienza

Similar to Modelli, metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro / Marco Centra ISFOL, Università La Sapienza (20)

More from EUROsociAL II

More from EUROsociAL II (20)

Modelli, metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro / Marco Centra ISFOL, Università La Sapienza