Jørn Holm Hansen 19.09.13: Design av evaluering – Hvordan kan forskerens komparative fortrinn utnyttes bedre?

1. Innovasjon i bistandsevalueringer
Design av evaluering –
Hvordan kan forskerens
komparative fortrinn
utnyttes bedre?
Innledning Evalueringskonferansen
Drammen 19.september 2013
Jørn Holm-Hansen,
Internasjonal avdeling – NIBR

2. Hvordan kan forskerens
komparative fortrinn
utnyttes bedre?
Kanskje vi heller skal si:
Hvordan kan begreper
og grep fra
forskningsverdenen
utnyttes bedre?

3. Fokus: Evaluering av
norsk støtte til aktiviteter
i andre land
Annerledes enn evalueringer hjemme?

4. Bakgrunn ved evaluering. Bistanden:
 under langvarig mistanke om liten
effekt
 under økende mistanke om feil effekt

5. Nok et kompliserende forhold
for evaluator:
bistanden emosjonelt
legitimert

6. Vi jakter på
effekter der vi
burde se etter bi-
effekter

7. Det å peke på utilsiktede
konsekvenser er kanskje den
anvendte
samfunnsvitenskapens
nyttigste bidrag
Bistanden er høyproduktiv
når det gjelder uønskede,
utilsiktede konsekvenser

8. Det er behov for
evalueringer med
hovedfokus på utilsiktede
konsekvenser (negative,
positive og nøytrale)
- i det små
- i det store

9. Det er behov for mer
kumulativ evaluering
Altfor ofte begynner vi
på nytt hver gang

10. Derfor evalueringer med
fokus på f eks:
 Temaer
 Mekanismer
 Bistanden og
samfunnet rundt
 Utlåner/innlåner

11. CMO
• Outcome
• Mechanisms
• Context
”Programme resource resonate much
more for certain subjects in certain
contexts.” Den samme M kan føre til
motsatt O. ”What works for whom in
what circumstances?”

12. Ut-
låners
setting
Inn-
låners
setting
Hva var omstendighetene som gjorde
at modellen, policy’en eller
politikkvirkemidlene var ønskelige
(hvilket problem var de et svar på?)
Hvilke aktører støttet overføringen
og var villige til å støtte opp under
det etter at det var innført?
Hvilke alt eksisterende
institusjonelle arrangementer kunne
den nye modellen/ policy’en/
virkemidlene støtte seg opp mot, og
hvilke institusjonelle arrangementer
var de knyttet opp mot?

13. Fra evaluering i Serbia – feltarbeid
og kontekstbevissthet

14. ”What the theory-driven approach
initiates is a process of thinking
through the tortuos pathways along
which a successful programme has to
travel”.
De beste råd en evaluator kan gi, begynner
med en teori, og slutter med en forbedret
teori.