Odd Helge Askevold 18.09.13: Prosessevaluering av NAV-reformen: Læring og oppfølging underveis i evalueringsperioden

1. Prosessevaluering av NAV-reformen: Læring og
oppfølging underveis i evalueringsperioden
Odd Helge Askevold
Evalueringskonferansen 18.09.2013

2. Hva jeg skal snakke om
• Kort om NAV-reformen
• Kort om evalueringsopplegget
• Om prosessevalueringen
• Hva har vi lært – noen utfordringer
• Hvordan har vi brukt resultatene
• Kunne ting vært gjort annerledes – mulige
forbedringer?
• Trenger vi prosessevaluering?

3. Hovedtrekkene ved NAV-reformen
• En forvaltningsreform
• Overordnede mål
• De organisatoriske hovedgrepene
• Gjennomføringsfasen
• Nye endringer i gjennomføringsfasen
- Intern oppgavespesialisering
- Forvaltningens virkemidler
= En omfattende og kompleks reform

4. Evalueringsopplegget
”Et helhetlig evalueringsopplegg som ikke bare undersøker effekter, men som
også fotfølger reformen underveis, og som manter å løfte fram eksempler
på vellykkede lokale løsninger” (St.prp.nr 46 (2004-2005))
• Mål og rammedokument
• Følge/prosessevaluering og effektevaluering
• Evalueringsperiode 7 år (2007-2013)
• 7 moduler/11 forskningsmiljøer
• NFR-”program” m/styringsgruppe, en faglig prosjektansvarlig
• Økonomisk ramme: Ca 50 mill kroner
= Et stort og komplekst evalueringsopplegg

5. Prosessevalueringen
• ”Den er designet for å muliggjøre erfaring og læring underveis - - - skal gi
svar på hvordan implementeringsproblemer oppstår og tematiseres - - -
generere innsikter - - - gi input til justeringer og videreutvikling av
styringssystemet (og reformen) underveis” (Mål og rammedokumentet)
• 5 moduler
- M 1: Velferdsmodell og styringssystem
- M 2: Det lokale NAV-kontor
- M 3: Lokal iverksetting
- M 4: Nye yrkesroller i NAV-reformen
- M 6a: Brukererfaringer
• Koble data fra prosessevalueringen med individuelle forløpshistorier
(reg.data)
• Metode og data: case-studier, primært kvalitative data + litt surveydata
• Evaleringsfasen: 2007/2012

6. Hva har vi lært? – noen utfordringer
• Omfattende kunnskapsproduksjon
• Prosessevalueringen har i hovedsak levert det den har lovet
• Læringsutbytte?
Noen utfordringer:
• En mengdeutfordring - lesekapasitet
• Hva med ”mottaksapparatet”
• Formidling og spredning internt
• ”Avtakende grensenytte” og problemet med å opprettholde fokus over tid
• ”Sorteringsutfordringer” – viktig vs mindre viktig for oss

7. Oppfølging – hvordan har vi brukt resultatene
fra prosessevalueringen?
• Mulig oppsummering: Resultatene fra prosessevalueringen er i begrenset grad
blitt brukt direkte opp mot den operative styringen, men den har/vil kunne ha
større betydning i den mer strategiske styringen
Hvorfor lite brukt?
• ”Tidslag” /foreldelsesproblem – får ”ferskvare” fra andre kilder
• Generaliserbarhet og type data som brukes – et problem?
• Mange ulike interessenter – forskningens egeninteresse
• Problemer med å ”oversette” forskningsresultater til bruk i
styringssammenheng
• Hva betyr funnene for måloppnåelsen?
• Holdning til å intervenere vs vente og se – ”reformen må sette seg”
• Kompliserte oppfølgings- og styringslinjer i NAV

8. Kunne ting ha vært gjort annerledes – mulige
forbedringer?
Departementet:
• ”Mottaksapparatet”, systemer og rutiner for formidling/spredning
av resultater
• Kompetanse til å bruke forskningen/”oversette” til premisser for
styring
Forskningen:
• Sortere bedre – framheve de ”kritiske” faktorene
(”risikoelementene”)
• Presentasjonsform og mer målrettet formidling – tettere kontakt
underveis?
• Data og metode – hva med kvantitative data - mer
forsøk/eksperiment
• En mer policy-orientert forskning – anbefale tiltak?

9. Trenger vi prosessevaluering?
• Gir kunnskap og innsikt
• Kobles til effektstudier – viktig for den mer strategiske
styringen
• Men kan forbedres – bl.a. også vurdere tidsaspektet nøye
Konklusjon: Evalueringen har bidratt til betydelig økt
oppmerksomhet rundt forskning på arbeids- og
velferdsforvaltningen i stort, og vi har i dag vesentlig mer
kunnskap og innsikt om denne forvaltningen (og arbeidet med
store forvaltningsreformer) enn for bare 6 år siden.