Manner-Suomen maaseudun kehittämisohjelman 2014-2020 etenemisestä tehtyjen arviointien esittelytilaisuus. Maaseutuohjelmaa arvoidaan useista näkökohdista. Ohjelmakauden puoliväli on otollinen aika arviointien tekemiselle. Mitä tehdyt arvioinnit kertovat? Miten arviointien suositusten perusteella ohjelmatyötä voidaan kehittää siten, että tavoitteet saavutetaan?

1. Vaara-Karjalan Leader ryhmän väliarviointi – uutta etsimässä
Hannu Ryhänen, Vaara-Karjalan Leader ry
Miten Manner-Suomen kehittämisohjelmalle menee?
Arvioinnin suositukset –seminaari
30.10.2017 Helsinki, Paasitorni

2. Kehitysprosessi ja vaikuttavuus

3. Taustatietoa
• ”Mahdollistavaa maaseudun kehittämistä. Selvitys alueellisten ja
paikallisten maaseudun kehittämissuunnitelmien vaikuttavuudesta sekä
ehdotus vaikuttavuuden mittarien kehittämisestä” (MMM 2015).
• Itse- ja vertaisarvioinnin työkaluja tulee kehittää.
• Laadullisen, toiminnan sisältöön liittyvän arviointitiedon merkitys korostuu
tulevaisuudessa.
• Jatkuvaa arviointia on kehitettävä sparraavampaan suuntaan, eli arvioijien on
oltava sparraavasti mukana toiminnan kehittämisessä.
• Kehittämisen pääpainon tulisi olla toimintaryhmien kokonaisvaltaisemman tieto-
ja strategiajohtamisen ja siihen liittyvän osaamisen alueella.
• Barometrien käyttö mittaamisessa toimintaryhmien sisäisesti ja niiden kesken.
• Paikallislähtöisen kehittämistyön lisäarvon arviointi entistä systemaattisemmin.

4. • Tuottaa Vaara-Karjalan Leaderin toiminnan väliarviointi ajalta 1.3.2015-30.6.2017 osana
ministeriön toiminnan arviointia, mutta myös tarve sopeutua toimintaympäristön muutoksiin;
uuden ohjelmakauden suunnittelu alkamassa ja maakuntauudistus tulossa > Tarvitaan uutta
ajantasaista tietoa Vaara-Karjalan Leaderin toiminnasta.
• Analyysiaineiston oltava riittävän monipuolinen: Leaderin omat ja muut tilastot, kyselyt/
haastattelut, kirjalliset lähteet (mm. kyselypalautteet), muistiot ym. täydentävä aineisto.
• Määrällisen ja laadullisen seuranta-aineisto sekä arviointianalyysin on olla riittävän
luotettavaa.
• Tuotetaan sisällöllisesti uskottava ja tarpeeksi kattava arviointiraportti, ei ”kyhäelmä”.
• Luoda arviointitoiminnalle pysyvämpi ”arviointimanuaali” ja jatkuvasti ”rullaava arviointi”,
joka ovat osa oppimissuunnitelmaa ja laatukirja- sekä strategiatyötä.
• Arviointimanuaali powerpoint – pohjalle; yhteisesti sovitut arviointiaineistojen keräys-, ylläpito-,
analyysi- ja julkaisutavat.
• Esim. helposti toistettavat kyselymallit (Vaara-Karjaan Leaderin ”kevättodistus”
vuosittain) ja numeerisen arviointiaineiston määrämuotoinen taulukointi Excel –
pohjille.
Arviointihankkeen tarkoitus ja tavoite

5. Väliarvioinnin kaksi ydinkysymystä
• Mitä konkreettisia tuloksia Vaara-Karjalan Leader ry:n
kehittämistoiminnalla on sen toiminta-alueella saatu aikaan?
• Tulokset (tuotokset) voivat olla esimerkiksi fyysisiä rakenteita, uusia
koulutettuja, käynnistyneitä kehitysprosesseja, yritysten/yhteisöjen
perustamisia ja innovaatioita tai näkymättömämpiä muutoksen
mekanismeja.
• Mikä on ollut kehittämistoiminnan konkreettisten tulosten
vaikuttavuus Vaara-Karjalan Leaderin toiminta-alueen
elinvoimaan ja ihmisten hyvinvointiin (”hyvään elämään”).
• Peilataan vasten kehittämisstrategian painopisteitä ja tavoitteita vasten
määrällisesti, mutta entistä painokkaammin laadullisesti arvioimalla.

6. Vaara-Karjalan Leader -yhdistyksen tuottama perusaineisto; lähinnä numeerinen
tilastoaineisto, mutta myös laadullisempi aineisto
• Vuosiraportit 2014, 2015, 2016 ja myös koontikansiot aktivoinnista, tiedottamisesta
ja koulutuksista eri vuosilta.
• Erilaiset rahoituksen ja toiminnan seurantaan laaditut Excel – taulukkokoonnit.
• Toimintaryhmän Access –tietokanta, jonne koottu olennainen tilastotieto
pidemmältä ajanjaksolta.
• Kehystarkistuksen tiedot.
• Hyrrästä Vaara-Karjalan Leaderin hanketiedot.
• Hallituksen pöytäkirjat.
• Hallituksen kehittämispäivien muistiot ja hallituksen itsearviointikyselyt.
• Hanke- ja koulutuspalautekyselyt, joita on tehty lähes kaikista koulutuksista- ja
erillisistä hankkeista webropolilla (määrällinen ja laadullinen).
• Kahdenväliset kehittämiskeskustelumuistiot ELY – keskuksen kanssa v. 2015 ja
2016.
• Arvioijan omat kokemukset hallitustyöskentelystä 2015–2017.
Aineistot ja menetelmät

7. Uudet täydentävät aineistot
• Barometrityyppinen webropol -arviointikysely kaikkiaan 628 eri toimijalle keväällä 2017: ”Vaara-
Karjalan Leaderin kevättodistus” tuotenimi, jolla se markkinointiin ja saatiin 100 vastausta + mukana
infoliite Vaara-Karjalan Leader -toiminnan tuloksista > Leikkimielinen sähköpostin saatekirje, jossa
suora linkki kyselyyn.
• Puhelinhaastattelut - avoimet kysymykset eri toimijoille, osin yhtenäisin ja osin kysyjän mukaan
räätälöidyin kysymyksin. Yhteensä 45 kpl.
• ELY – keskus 7 kpl
• Kehittämishankkeet 19 kpl
• Yrityshankkeet 9 kpl
• Yhteistyökumppanit 10 kpl (mm. elinkeinoyhtiöt, maaseudun kehittämisorganisaatiot)
• Uuden Leader –hallituksen ja toimiston virikehaastattelut ryhmänä
• Maakaista.fi sivuston tilastotiedot netin käytöstä, Facebookin tilastotiedot.
• Muu aineisto; mm. lehtileikkeet, keskustelut toiminnanjohtajan kanssa.
• Jatkossa vielä arvioitiraportista kommentit hallitukselta ja toimistolta.
• Laadullisen aineiston analyysissa painopiste toimijoiden omassa näkökulmassa, jota
pyritään ymmärtämään omassa konteksissaan. Suora aineistolähtöinen järjestäminen
luokkiin ja sen analyysi nostamalla esiin toimijoiden tärkeäksi kokemia asioita (teemoja).
Aineistot ja menetelmät

8. - Vastaajien taustatiedot: Ikä, kotikunta, asuinpaikka, ollut aiemmin tekemisissä Vaara-Karjalan Leaderin
kanssa, tutustunut Vaara-Karjalan Leaderin kehittämisstrategiaan
- 6 barometriteemaa johdettuna pääosin Vaara-Karjalan Leaderin kehittämistrategian tavoitteista
- 2 avointa kysymystä kehittämistoimintaan liittyen

9. Arvioinnin johtopäätökset ja suositukset
• Arviointi on oikein käytettynä tarpeellinen ja hyvä työkalu Leaderin -toiminnan
kehittämisessä, mutta olisi hyvä katsoa ja budjetoida jo ohjelmakauden alussa miten ja
milloin arviointia halutaan toteuttaa ja mitä siltä kulloinkin halutaan.
• Arvioinnilla on hyvä olla muitakin tarkoitusperiä kuin kehittämisohjelman virallinen
seurantavaatimus. Muita jopa tärkeämpiä arviointimotivaatioita:
 Tieto missä mennään toiminta-alueen kehityksessä ja ovatko Leaderin
kaikki panostukset olleet oikeaan osuneita (toimintaympäristömuutos
nopeaa)
 Leaderin strategian ja toimintasuunnan tarkistustarve
 Leaderin markkinointi paikallisille yhdistys-, yritys-, kunta ym. toimijoille
 Uuden ideoinnin ja kehitysmahdollisuuksien työkalu
 Vaara-Karjalassa lisämotivaationa maakuntauudistus
• Tavoitteenasetteluiden tarkistaminen olisi hyvä yhdistää arviointiin koska se antaa
perusteluja sille miten toimintaympäristön olosuhteet tai muut tekijät ovat kenties muuttuneet
ja tavoitteet jäävät siksi saavuttamatta tai joissain tapauksissa tulokset &vaikuttavuus ovat
kenties parantaneet. Hyvä arviointi antaa tukevamman perustan toiminnan lähtö- ja
tavoitetason määrittelylle etenkin uudelle ohjelmakaudelle.

10. • Perusteellisesta arvioinnista nousee asioita, joita voidaan hyödyntää uuden
ohjelmakauden suunnittelussa ja strategian työstämisessä
• Laadullisen aineiston keruussa ei juurikaan tullut vaikeuksia; ihmiset vastasivat
mielellään haastattelupyyntöihin. Kyselyssä 100 vastausta 628 toimijan otoksesta oli
varsin hyvä tulos.
• Ryhmähaastattelut virikepohjalta olivat hyviä ja herättivät keskustelua. Hyvä
arviointityökalu ja samalla uuden ideoinnin sekä strategisen kehittämisen väline.
• Ihmiset olivat hyvin rehellisiä haastatteluvastauksissaan ja sikäli menetelmä kertoo
”totuuden” vaikuttavuudesta ja yleensä Leaderin toiminnasta alueella. Vaatii kuitenkin
kokemusta haastatteluista ja luottamuksellisuuden korostamista haastattelupyynnön
yhteydessä.
• Aineiston keruu, käsittely ja analyysi vievät reippaasti aikaa, joten aikataulun
kannattaa olla tarpeeksi väljä etenkin silloin kun aineistoa on runsaasti.
Arvioinnin johtopäätökset ja suositukset

11. Mitä jäi huomioimatta arvioinnissa?
• Ei jäänyt huomioimatta, mutta vaikuttavuutta on vaikea mekaanisesti mitata, joka
korostaa laadullisemman aineiston keruun ja analyysin onnistumista arvioinnissa.
• Kuntarahoittajat kysyvät mielellään, että mikä on ”Mikä on kustannus-hyötysuhde
kunnan rahoituksessa”? Jos sijoitamme Leaderiin 10000 euroa, niin mitä me sillä
lopulta saamme?
• Kunnat haluavat selkeitä vastauksia entistä useammin tähän kysymykseen ja
miten tätä voitaisiin mitata vai voidaanko sitä järkevästi mitata? Esim.
toteutettujen hankkeiden ja talkootyötuntien euromäärä kunnassa / kunnan
maksama Leader –rahoitus?
• Ja miten mitata pelkästään toimiston hallinnon tehokkuutta? Esimerkiksi Vaara-
Karjalan Leader -toimisto ottanut tehokkaasti sähköisen maailman käyttöön
hankehaussa ja se on vapauttanut resursseja muuhun toimintaan. Miten paljon
se lisäsi tehokkuutta? Toisaalta toimiston työ on monipuolista ja jatkuvasti
muuttuvaa eri työntekijöillä, että toiminnan tehokkuutta on siinä suhteessa hyvin
vaikea arvioida.

12. • Arvioinnin perusaineistoja ei kannata kaivella vasta sitten kun arviointi alkaa, vaan on
hyvä olla ”rullaava arviointiseuranta” käynnissä koko ajan, että perusarviointiaineisto on
nopeasti koottavissa ja analysoitavissa + täydentävät uudet arviointiaineistot päälle.
• Olisi hyvä varata aineiston hankintaan, analyysiin ja kirjoittamiseen riittävästi
resursointia (aika ja rahat), mutta mietittävä se myös suhteessa siihen mitä Leader –
ryhmä arvioinnilta lopulta haluaa ja mitkä ovat yleensä ryhmän resurssit. Mikä on tarve?
• Laadullisen kokemustiedon systemaattisten keräämismenetelmien kehittäminen Leader
-toimijoilla tärkeää koska se tieto kertoo aidosti sen mikä on ollut toiminnan
vaikuttavuus. Muuta tapaa ei juuri ole koska mikro(yksilö-)tasolla vaikuttavuus
konkretisoituu useimmiten juuri laadullisesti ja on hyvin monivaikutteista ja -vivahteista
sekä ajallisesti vaihtelevaa luonteeltaan. Mikä on esimerkiksi korjatun kylätalon lyhyt- ja
pitkäaikainen vaikutus?
• Webroprol on osoittautunut hyväksi asiakaspalaute- ja tietotyökaluksi Vaara-Karjalan
Leaderissa, mutta hyvä saada myös suoraan suullista palautetta esimerkiksi Leaderin
”paikallisagenteilta” kehityksen nykytilasta tai suoraan itse hanketoimijoilta.
Arvioinnin opit ja terveiset
(parannusehdotuksia)

13. • Normaalissa taloustilanteessa Leader -ryhmällä ei ole aina resursseja tehdä laadukasta ja
pitkäkestoista arviointia ja siksi valtakunnantasolla pitäisi huolehtia talouden tukitoimista.
• Arvioija ei voi olla kuka tahansa konsultti, vaan arvioijan on tunnettava alue ja ihmisiä riittävän hyvin
koska haastatelluilta tulee kohtaamisissa piilosignaaleja joihin on osattava myös reagoida.
• Kokeiltava uusia tapoja kerätä tietoa (esim. barometrimainen kysely, virikehaastattelut,
avaininformantit, nettikyselyt jne.) ja miten sitä voidaan analysoida sekä hyödyntää luontevana osana
Leader -toiminnan paikallista kehitysprosessia. Puhdas peruskysely on aika mekaaninen
menetelmä.
• Leaderin toiminnan arvioinnin tulosmittarit ja vaikuttavuus on hyvä tuoda mahdollisimman helposti
ymmärrettävällä ja vetävällä tavalla julki toiminta-alueen toimijoille ja kuntapäättäjille. Kyse on
paikallisen Leader -toiminnan uskottavuudesta ja samalla sen toiminnan markkinoinnista.
• Kokemusten laajempi jakaminen arviointitoiminnasta eri Leader –toimintaryhmien välillä ennen
vuoden 2019 kevään arviointia.
• Helposti ymmärrettävä, mutta monipuolisesti Leader –arviointia esittelevä opas, joka pureutuu
olennaisiin laadullisen ja määrällisen aineiston hankinta- ja analyysitapoihin sekä aineiston
jatkohyödyntämiseen. Suunnittelu ja koonti yhteistyössä Suomen eri Leadereiden kokemusten
perusteella.
Arvioinnin opit ja terveiset
(parannusehdotuksia)

14. Puhelinhaastattelussa saatuja kommentteja hankevastaavalta
• ”Tehdään vaikka haudasta käsin”
• Tulee uusi talo > liimapalkki kiertää talon alaosaa…yhtä leveä kuin entinen hirsi
• Saadaan 20 vuotta käyttämätön talo kuntoon
• Kokoaa useita paikallisia yhdistystoimijoita saman katon alle
• Tanssikurssi tulossa talolle ja kesällä avoimet ovat
• Pidetty jo tiekokouksia
• Jos metsästysseura (138 jäsentä) luopuu siitä, niin siirtyy korvauksetta kyläläisten käyttöön ja siten jatkuvuus
turvattu monella tavalla
• Kaikille on hyötynä
• Koskaan ei olisi saatu taloa kuntoon ilman Leaderia
• Mahtava raha Leader
Esimerkki 1 Karhunpään kylätalo

15. Esimerkki 2 Villiruokafestivaali
 Leader hallituksen ryhmähaastattelussa pj:lle esitetty kysymys (Ilomantsin kunnanjohtaja),
että mitä vaikutuksia hän näki Villiruokafestivaaleilla Ilomantsille. Nopeasti arvioiden hän
löysi tapahtumalla 11 vaikutusta.
 Karhufestivaalin ja Villiruokafestivaalin vaikutus oli enemmän kuin osiensa summa (samaan aikaan
Ilomantsin toritapahtuma ja Karhufestivaalit ja moottorisahaveiston MM –kisat pääteemana Karhu)
 Linkittyi hyvin muihin asioihin
 Paikkakunnan näkyvyys kasvoi
 Viihtyisyys lisääntyi kylällä
 Eduskunnan puhemies saatiin paikalle
 Yritys syntymässä siitä mikä oli kilpailussa hyvin menestyneiden paikalla
 Tapahtumatuotanto sai potkua ja villiruokafestivaali jatkoa
 Yritykset saivat uutta pontta kehitykseen, esim. Mustikkamäki ja Mekrijärven uudet yrittäjät
 Paikkakunnan vireys tuli hyvin esille
 Höyryjuna olisi tuskin tullut paikalle ilman villiruokafestivaalia
 Kansainvälisen yhteistyön mahdollisuus villiruokafestivaalin tuloksena

16. • Ylä-Karjalan taideyhdistys; matalan kynnyksen 96 jäsenen taideyhteisö, joka
perustettu Nurmeksessa vuonna 1974.
• Edistää alueen elinvoimaa ja viihtyvyyttä taiteen keinoin sekä tekee laajaa yhteistyötä
• Leaderin rahoittama Paletti –hanke on poikkitaiteellinen hyvinvointihanke, joka
hyödyntää eri taidemuotoja (mm. kuvataide, musiikki, sirkus,tanssi, valokuva, teatteri,
runot jne.) erilaisten hoiva- ja hoitoyksiköiden asiakkaiden vireyttämisessä.
• Mukana on mm. vanhusten, mielenterveyden, kehitysvammaisten ja nuorten hoito- ja
hoivayksiköitä. Kaikkiaan neljän kunnan alueella 27 yksikköä mukana
pilottihankkeessa.
• Perustuote on 45 minuutin taidetuokio, jona on räätälöity kohderyhmälle sopivaksi
taide-elämykseksi. Niissä kohdataan ihminen.
• Usealla tavalla vaikuttavuutta: taitelijoiden työllistyminen alueella, hyvinvointia &
viihtyvyyttä ja syrjäytymisen ehkäisyä, taidetoimintoja juurrutetaan hoito- ja
asumisyksiköiden arkeen, kuntien välinen yhteistyö tiivistyy taiteen eri aloilla,
vapaaehtoisten ja yhdistysten aktivointi sekä yhdessä toimiminen, taidepalvelujen
löydettävyys alueella > Hyvin monivaikutteinen hanke ja toimintakokonaisuus.
Esimerkki 3 Paletti

17. Esimerkki 3 Paletti

18. KIITOS VAARA-KARJALAN LEADERIN PUOLESTA
JA
HYVÄÄ SYKSYN JATKOA!
www. vaarakarjalanleader.fi