M. Di Zio - Metodi per l’integrazione tra la base dati Health Search e l’indagine Istat sulle condizioni di salute”

Metodi per l’integrazione tra la base dati Health
Search e l’indagine Istat sulle condizioni di salute
Marco Di Zio
Di Consiglio L., Falorsi S., Solari F.
Vantaggi B. (Università di Roma ‘La Sapienza’)
24 giugno 2014

Indice
1. Contesto informativo: peculiarità e opportunità per integrazione
2. Contesto metodologico: statistical matching
3. Statistical matching con variabili misclassificate
Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014

 Nelle 2 fonti non vengono osservate le stesse unità statistiche
 La fonte HS è un campione non aleatorio
 Unità rispondenti diverse:
• IS gli individui della famiglia (soggetto dell’inferenza),
• HS i medici di base.
Possono esserci degli effetti sulla risposta dovuti a questa differenza.
Per esempio nel caso degli individui si può avere un effetto
‘percezione’ della malattia che non è invece presente nel medico
che basa la sua classificazione su dati oggettivi
Contesto informativo - Elementi per integrazione

 Valutazione e trattamento della misclassificazione derivante da
‘percezione’ della malattia
 Analisi di variabili osservate rispettivamente in due fonti informative
differenti
Potenzialità metodi di integrazione fra IS-HS

 La non osservazione di unità in comune e la presenza di variabili in
comune Statistical Matching
 Si sfruttano le informazioni delle variabili in comune per fare inferenza
sulle variabili osservate separatamente nelle due fonti di dati
- e.g., previsione del dato micro
Integrazione: statistical matching
z~

 Nelle procedure classiche di matching (per es. imputazione con media
della Y per profilo di unità dato dalle X) si sta assumendo
l’indipendenza di Y (osservata in IS) e Z (in HS) dato X
 Assumiamo che la conoscenza di X sia fortemente esplicativa del
comportamento congiunto di Y e Z
 Problema: ipotesi non testabile con i dati a disposizione
Statistical matching sotto indipendenza condizionale

 Esempio: supponiamo che Y sia livello di educazione osservata solo in
IS, Z = spesa per farmaci, X=classe di età, sesso, ripartizione
geografica.
 Prediciamo in IS la spesa per farmaci tramite la media della spesa
osservata in una determinata X stimata su HS
 Quando andiamo ad analizzare congiuntamente Y e Z è evidente che
stiamo assumendo che ogni individuo in X (stesso sesso, età,…) abbia
la stessa spesa per ogni livello di educazione.
Statistical matching sotto indipendenza condizionale

 Analisi dell'incertezza, i.e., analisi dello spazio di identificabilità del
modello
 Nel caso di variabili categoriali consiste nel calcolare gli estremi
superiori ed inferiori delle frequenze di ogni singola (Y,Z) cella
compatibili con le frequenze osservate in IS di (Y,X) e (Z,X) in HS
Un metodo per fare inferenza oltre indipendenza
condizionata (IC)

Esempio. Tab Y,Z dicotomica
? ? 0.8
? ? 0.2
0.9 0.1 1

0.8 ? 0.8
? ? 0.2
0.9 0.1 1

0.8 0 0.8
0.1 0.1 0.2
0.9 0.1 1

0.7 ? 0.8
? ? 0.2
0.9 0.1 1

0.7 0.1 0.8
0.2 0 0.2
0.9 0.1 1

[0.7, 0.8] [0, 0.1] 0.8
[0.1, 0.2] [0, 0.1] 0.2
0.9 0.1 1

Esempio. Tab Y,Z dicotomica sotto indipendenza
0.72 0.08 0.8
0.18 0.02 0.2
0.9 0.1 1

 Calcolo diretto (anche in presenza di X) dell’intervallo di incertezza
[pmin , pmax] tramite disuguaglianza di Fréchet
max{0, p(y) + p(z) – 1} ≤ p(y,z) ≤ min {p(y), p(z)}
 Sfruttando l’informazione X
𝑥 p(x)max{0, p(y|x) + p(z|x) – 1} ≤ p(y,z) ≤ 𝑥 p(x)min{p(y|x), p(z|x)}
Un metodo per fare inferenza oltre Indipendenza
condizionata (IC)

 L’ampiezza media dell’incertezza da un indicazione sulla incertezza
insita nel processo di matching
 La distribuzione ottenuta con IC è sempre interna agli intervalli, quindi
valutazione indiretta dell’applicazione di matching basata su IC
Analisi dell’incertezza del matching

 HS campione non aleatorio
 Possibile misclassificazione dovuta alla percezione dell’individuo
Peculiarità dell’integrazione tra IS e HS

 È stato adottato un approccio basato sul calcolo di “pseudo design-
based weight”.
 Il calcolo di questo peso si basa sulla interpretazione euristica che
ogni unità rappresenti le altre unità non campionate.
 I pesi sono ottenuti tramite post-stratificazione rispetto ai totali noti
della numerosità della popolazione per classe di età, sesso,
ripartizione geografica.
Campione non probabilistico

 La post-stratificazione elimina il bias dovuto a problemi di selezione
se, all’interno di ciascuna cella di aggiustamento, la probabilità che
ogni unità risponda è indipendente dal valore assunto dall’unità per ciò
che concerne le variabili oggetto di interesse.
 Un altro modo di spiegare questa ipotesi è che i rispondenti ed i non-
rispondenti in una data cella hanno la stessa distribuzione riguardo la
variabile di interesse
 In letteratura nota come ipotesi MAR
Assunzioni

Sviluppo di metodi sotto IC e analisi incertezza che tengano conto della
misclassificazione di alcune X
Si ipotizza un modello classico per trattare variabili misclassificate
Due contesti
1. Integrazione sotto IC avendo osservato (Y,X), (Z,X*)
2. Analisi dell’incertezza relativamente ai modelli compatibili con le
distribuzioni osservate (Y,X), (Z,X*)
Ipotesi: si prende come variabile X* di riferimento quella osservata in HS
Matching con variabili misclassificate

Sia X la prevalenza osservata con misclassificazione e X* quella
osservata correttamente, le ipotesi sono
1. P(X=0|X*=0)=1
2. P(X=1|X*=1,W=w) = λw
 Nel caso di variabili dicotomiche si ottiene che la probabilità di
misclassificazione
λw =P(X=1|W=w)/P(X*=1|W=w)
 La stima è stata ottenuta sostituendo le frequenze pesate
Contesto 1 – Modello di misclassificazione

 Tramite P(X*=i|X=i,W=w), i=0,1 è stato previsto in IS la prevalenza
condizionatamente al dato osservato X=i e w.
 Con questa variabile corretta è stato poi condotto il matching sotto IC
 Metodo : hot-deck per celle di imputazione.
Contesto 1 – Statistical Matching sotto IC

Si risolve il sistema tramite l’algoritmo sviluppato in [1]
che fornisce gli estremi di ogni singola cella
pmin<= p(Y=y,Z=z)<=pmax per ogni y,z
[1] Capotorti Vantaggi, Locally strong coherence in inferential processes (2002) Annals of Mathematics and
Artificial Intelligence, vol. 35 pp. 125-149
Contesto 2 - Analisi incertezza con misclassificazione

Ulteriori sviluppi
 Approfondimento su metodi alternativi per utilizzo di un campione non
aleatorio (propensity score matching, inferenza da modello)
 Approfondimento su come combinare stime ottenute da un campione
probabilistico e non-probabilistico
 Analisi incertezza senza assumere alcun modello di misclassificazione

M. Di Zio - Metodi per l’integrazione tra la base dati Health Search e l’indagine Istat sulle condizioni di salute”

Recomendados

Recomendados

Más contenido relacionado

Más de Istituto nazionale di statistica

Más de Istituto nazionale di statistica (20)

Último

Último (18)

M. Di Zio - Metodi per l’integrazione tra la base dati Health Search e l’indagine Istat sulle condizioni di salute”