Viestintätoimisto Avaran muistio viestinnän ja vaikuttamisen mittaamisen tarpeista, keinoista ja hyödyistä. Kokonaisesityksessä käydään läpi analyyttinen kehikko vaikuttamiselle, mittaamisen lähtökohtia, mittaamisen työkaluja arvioinnin ja monitoroinnin malleja sekä tiedonkeräämisen menetelmiä.
2. Vaikuttamispolku on analyyttinen viitekehys, joka auttaa löytämään
oikeat kohteet, menetelmät ja taustaoletukset seuraaviin toimintoihin:
• Toiminnan suunnittelu
• Monitorointi eli jatkuva toiminnan arviointi ja systemaattinen
seuranta
• Arviointi eli evaluaatio: kerralla tai muutamassa osassa tehtävä
toiminnan arvio
• Systemaattinen kehittäminen
Mikä on vaikuttamispolku
11. Johtopäätöksiä
• Vaikuttavuutta on todella vaikeaa mitata tarkasti koska verkko on laaja
ja mutkikas…
• mutta sitä voidaan mitata, jos sallitaan yksinkertaistukset ja tiedetään
täsmällisesti miksi halutaan mitata ja mitä elementtejä
vaikuttavuudessa halutaan mitata.
• Voidaan mitata kolmenlaisia asioita:
a) vaikuttamispolun eri osien määrää,
b) eri osien laatua, ja
c) eri osien suhteita.
13. Suuntia:
• O/P = sisäinen tehokkuus
• P/Pr = prosessivaikutus
• P/T = tuotosvaikutus
• P/(M+V) = muutosvaikutus
• Pr/(M+V) = prosessitehokkuus
Mitä mitata?Organisaatio
Yhteiskunnallinen
prosessi
Muutos
Panos
Tuotos
Vaikutus
O
Pr
M
P
T
V
14. Organisaatio
Vaikuttamiskapasiteetti:
• Henkilöstön määrä, osaaminen ja innostus
• Työkalut, kuten viestinnän ohjelmistot, laitteet
• Yhteydet: sidosryhmät, jäsenet, kumppanuudet
• Strategia: tavoitteiden sisäinen ja ulkoinen
selkeys, mitattavuus, aikataulutettavuus,
realistisuus ja tavoiteltavuus
• Raha
Sisäinen prosessiOrganisaatio
Yhteiskunnallinen
prosessi
Panos
Tuotos
Muutos
Vaikutus
Arvioimisen kohteita: määrä ja laatu
15. Panos
Mitä organisaatio tuottaa?
• Viestintämateriaali kuten tekstit, raportit,
sosiaalisen median sisältö, videot ja niin edelleen
• Tapaamiset
• Tilaisuudet kuten koulutukset tai
yleisötilaisuudet
• Muut teot
• Infrastruktuurin, laitteiden hankinta tai luominen
• Henkilöt ja roolit
Yhteiskunnallinen
prosessi
Tuotos
Muutos
Vaikutus
Arvioimisen kohteita: määrä ja laatu
Organisaatio
Panos
16. Yhteiskunnallinen prosessi
Prosessi, johon organisaatio osallistuu omalla
panoksellaan sillä tarkoituksella, että jokin muuttuu
yhteiskunnassa.
• Prosessi sinänsä: toiminta, oikeudenmukaisuus,
resurssit, laajuus (ovatko relevantit tahot
mukana)
• Prosessin sopivuus organisaation tavoitteisiin
nähden
• Organisaation toiminta osana prosessia: miten
rakentavasti organisaatio on toiminut
prosessissa
Tuotos
Muutos
Vaikutus
Arvioimisen kohteita
Organisaatio
Panos
Yhteiskunnallinen
prosessi
17. Tuotos
Mitä prosessissa tuotetaan?
• Lait, säädökset ja budjetti
• Suunnitelmat
• Viestintämateriaali
• Kohtaamiset
• Tilaisuudet kuten koulutukset tai yleisötilaisuudet
• Henkilöt ja roolit: esimerkiksi uusien henkilöiden
palkkaaminen
• Muut teot
• Infrastruktuurin, laitteiden hankinta tai luominen
Yhteiskunnallinen
prosessi
Muutos
Vaikutus
Arvioimisen kohteita: määrä ja laatu
Organisaatio
Panos
Tuotos
18. Vaikutus
Miten prosessi ja sen tuotokset vaikuttavat
ihmisten mieliin?
• Ymmärrys ja tietous
• Asenteet, mielipiteet, kokemukset kuten
yhteenkuuluvuus tai oikeudenmukaisuuden
kokemus
• Kannatus, kuten tietyn asian tai organisaation
kannatus tai hyväksyntä
Yhteiskunnallinen
prosessi
Tuotos
Muutos
Arvioimisen kohteita: määrä ja laatu
Organisaatio
Panos
Vaikutus
19. Muutos
Miten prosessin tuotokset muuttavat konkreettisia
olosuhteita:
• Lait ja säädökset
• Sosiaaliset normit
• Yhteiskunnallisen rakenteen muutokset: esimerkiksi
oikeusvaltion tai hallintajärjestelmän muutokset
• Yhteiskunnallisen arjen muutokset: terveys,
vauraus, koulutus ja sivistys, ympäristö, turvallisuus,
infrastruktuuri ja rakennetut olosuhteet, työelämä
ja työllisyys
Yhteiskunnallinen
prosessi
Tuotos
Vaikutus
Arvioimisen kohteita: määrä ja laatu
Organisaatio
Panos
Muutos
28. Yleistä laadun varmistamisesta:
triangulaatio
Saman arvion tekevät eri toimijat:
1) Itse tekijä (organisaation päätoimija tai toimijat
aiheessa)
2) Toinen tekijä samasta toiminnosta samasta
organisaatiosta (esimerkiksi viestintä- tai
vaikuttamistiimin toinen jäsen)
3) Tekijä toisesta toiminnosta samasta organisaatiosta
4) Tekijä samasta toiminnosta eri organisaatiosta
Huom. myös: tutkijatriangulaatio,
menetelmätriangulaatio
Organisaatio
Yhteiskunnallinen
prosessi
Muutos
Panos
Tuotos
Vaikutus
29. Muutosteoria
• Tarkoittaa toivotun muutoksen yksilöimistä ja sen
edellytysten arviointia.
• Yksinkertaistaen: yksilöidään esimerkiksi muutos E, ja sille
arvioidaan edellytykset D, C ja B lähtötilanteessa A. Tällöin
toiminnan suunnittelu helpottuu: olemme pisteessä A,
seuraavaksi toteutamme asiat B, C ja D.
• Siitä voi olla hyötyä myös arvioinnin jäsentämisessä.
Theory of change
Organisaatio
Yhteiskunnallinen
prosessi
Muutos
Panos
Tuotos
Vaikutus
Lisätietoja esimerkiksi:
• Center for Theory of Change
• UNICEFin Theory of Change –esite (2014)
• UN Environment Fundin Theory of Change -sivu
30. Looginen viitekehys
Logic model framework
Organisaatio
Yhteiskunnallinen
prosessi
Muutos
Panos
Tuotos
Vaikutus
• Tarkoittaa toiminnan tavoitteen, tarkoituksen, tuotoksen ja
toimintojen suunnittelua hyödyntäen mittareita ja eri
projektin elementtien loogista suhdetta.
• Arvioidaan tarvittavat toimet tiettyihin tuotoksiin
pääsemiseksi, tuotokset tuloksiin pääsemiseksi ja tulokset
tavoitteen ja tarkoituksen toteuttamiseksi.
• Helppo sovellutus: rakennetaan projekti kysymyssanojen
kautta: mitä, miksi, milloin, kuka, miten, missä, miksi ei?
Lisätietoja esimerkiksi:
• Sosten kuvaus SUUNTA-työkalusta
• RAY:n kuvaus Eloisa-työkalusta (2015)
• The Guardianin tiivistelmä (2015)
• Intrac-järjestön tiivistelmä (2015)
31. Looginen viitekehys
Logic model framework
Organisaatio
Yhteiskunnallinen
prosessi
Muutos
Panos
Tuotos
Vaikutus
Indikaattorit Tiedon lähteet Taustaoletukset
Kokonaistavoite
Tarkoitus
Tuotokset
Toimet
Esimerkki loogisen viitekehyksen mukaisesta projektisuunittelumatriisista:
32. Kehittävä arvio
Developmental evaluation
Organisaatio
Yhteiskunnallinen
prosessi
Muutos
Panos
Tuotos
Vaikutus
• Arviointityö on osa itse vaikuttamistyötä – (organisaation
sisäinen tai ulkoinen) arvioitsija kulkee mukana
vaikuttamisprosessissa osallistuen vaikuttamistyön
suunnitteluun.
• Arvioinnin roolina on tuoda vaikuttamistyön suunnitteluun
kehityspyrkimystä, strategista ajattelua, logiikkaa ja dataa.
• Arviointi tapahtuu koko ajan, mutta se voidaan kulminoida
väliraportteihin.
Lisätietoja esimerkiksi:
• Betterevaluation.org-sivusto
34. Kapasiteettiarvio
Kapasiteettiarvio mittaa organisaation
vaikuttamiskapasiteettia eri tavoin. Se voidaan tehdä näin:
1) Kapasiteetin määrittely
2) Kapasiteetin mittaus itsearviona ja/tai ulkopuolisen
asiantuntijan tuella
3) Mittauksen tuloksien hyödyntäminen kapasiteetin
kehittämisessä
4) Arvion toistaminen myöhemmin
Sisäinen prosessiOrganisaatio
Yhteiskunnallinen
prosessi
Panos
Tuotos
Advocacy capacity assessment
Muutos
Vaikutus
Lisätietoja:
• UNICEFin Monitoring and evaluating advocacy –vihko (2010) s.22
35. Delfoi-menetelmä
Delfoi-menetelmällä voidaan kartoittaa organisaation
toimintaympäristöä ja tulevaisuutta hyödyntäen
asiantuntijaraatia, jonka jäsenet eivät tunne toisiaan. Kulku:
1) Ongelman yksilöinti
2) Raadin valinta
3) Kysely- tai haastattelukierrokset
4) Tiedon analysointi ja johtopäätösten tekeminen
Sisäinen prosessiOrganisaatio
Yhteiskunnallinen
prosessi
Panos
Tuotos
Muutos
Vaikutus
Lisätietoja:
• Aalto-Kallio, Saikkonen, Koskinen-Ollonqvist: Arvioinnin kartalla (2009) s.
96
36. Suoritusmittauksen tarkoitus on tuottaa tietoa siitä,
miten tehokkaasti organisaatio tuottaa
tarkoitustaan vastaavia tuotoksia. Tämä edellyttää
yleisesti tavoitteiden ja resurssien yksilöimistä sekä
niiden mittaamista ja arvioimista suhteessa
toisiinsa. Lähestymisiä tähän on useita:
• Tasapainotettu mittaristo (balanced scorecard)
• Social Return on Investment
• Tavoitejohtaminen
Organisaatio
Yhteiskunnallinen
prosessi
Panos
Tuotos
Performance measurment
Muutos
Vaikutus
Suoritusmittaus
37. Kontribuutioanalyysi
Kontribuutioanalyysi on lähellä eliminaatiomenetelmää.
Siinä tarkastellaan systemaattisesti, voidaanko perustella
organisaation edesottamusten vaikuttaneen muutokseen.
Jos organisaatio A haluaa, että X tapahtuu, tapahtuiko X
(osin) A:n takia vai A:sta huolimatta?
1) Yksilöidään tapahtunut muutos
2) Arvioidaan mahdolliset muutoksen syyt
3) Rakennetaan suoritustarina (”performance story”), jossa
käsitellään organisaation suhde muutokseen,
4) Tarkastellaan suoritustarinaa siitä näkökulmasta, voiko
sitä pitää muutoksesta ja siihen johtaneesta prosessista
saadun tiedon valossa perusteltuna.
Organisaatio
Panos
Contribution analysis
Muutos
Vaikutus
Panos
Muutos
Vaikutus
Yhteiskunnallinen
prosessi
Tuotos
38. Verkostoanalyysi
Verkostoanalyysi sopii prosessiin osallistuvien tahojen
analysointiin. Siinä voidaan selvittää tiettyyn prosessiin tai
verkostoon osallistujat, niiden suhteet ja vaikutukset toisiin.
1) Yksilöidään prosessi tai verkosto
2) Yksilöidään osallistujat
3) Selvitetään osallistujien suhteet ja vaikutukset
Social network analysis
Organisaatio
Yhteiskunnallinen
prosessi
Muutos
Panos
Tuotos
Vaikutus
Yhteiskunnallinen
prosessi
Lisätietoja esimerkiksi:
• Verkostoanalyysi Sexual Policy Watch –järjestön työstä (2011)
39. Eliminaatiomenetelmä
Lyhyesti kyse on tästä:
1) Yksilöidään vaikutukset ja muutokset,
2) Arvioidaan systemaattisesti mahdolliset syyt vaikutuksille
ja muutoksille,
3) Eliminoidaan ne tekijät, joiden ei voida katsoa
vaikuttaneen tuloksiin käyttäen
menetelmätriangulaatiota (saman asian tutkiminen eri
menetelmillä) ja tutkijatriangulaatiota (saman asian
tutkiminen eri tutkijoiden voimin).
Sisäinen prosessi
Yhteiskunnallinen
prosessi
Panos
Tuotos
General Elimination Method
Muutos
Vaikutus
Lisätietoja esimerkiksi:
• GSRDC-järjestön Methodologies for measuring influence –vihko (2013)
s.2
40. Muutosarvio
Muutoksen tai jonkin toiminnan tuoman lopputuloksen
arviointiin on useita lähestymistapoja:
• IPAL-menetelmä,
• outcome mapping,
• most significant change –lähestyminen, jonka
käyttövoima on muutoksesta kertovissa tarinoissa
Näiden lisäksi on muita lähestymistapoja. Keskeistä
kaikissa on: identifioida prosessi, joka on muuttanut
yhteiskunnallisia olosuhteita ja sen tuottamat
muutokset.
Organisaatio
Yhteiskunnallinen
prosessi
Panos
Tuotos
Muutos
Vaikutus
41. Investointitehokkuusarvio
Lyhyesti investointitehokkuusarviossa on kyse
tästä:
1) Määritellään vaikutusten ja muutosten arvo
2) Lasketaan vaikuttamistyön hinta
3) Verrataan kohdan 1 arvoa ja kohdan 2 hintaa.
Ongelmallista voi tosin olla sekä arvon että hinnan
määrittely.
Yhteiskunnallinen
prosessi
Panos
Tuotos
Cost-benefit analysis
Organisaatio
Muutos
Vaikutus
42. Tapaustutkimus
Tapaustutkimuksessa piirretään systemaattisesti
kuva yhdestä, rajatusta (vaikuttamis)tapauksesta.
Tapaustutkimusta voi ajatella tietyn tarinan – jolla
on alku, keskivaihe ja loppu – systemaattisena
tarkasteluna. Tarkastelun kohteena ovat kaikki
vaikuttamispolun osa-alueet.
Tapaustutkimuksia voi myös yhdistää
monitapaustutkimuksiksi, jos tietyt tapaukset
muodostavat loogisen kokonaisuuden.
Yhteiskunnallinen
prosessi
Panos
Tuotos
Case study
Organisaatio
Muutos
Vaikutus
Panos
Yhteiskunnallinen
prosessi
Tuotos
44. Vertailu
Vertailussa arvioidaan arvioitavaa suhteessa
vastaaviin toimijoihin. Vertailuryhmässä voi olla
erilaisia organisaatiota: kotimaasta ja ulkomailta,
suurempia ja pienempiä, samalta ja eri toimialoilta.
Näin saadaan esille kehittämisen kohteita, hyviä
esimerkkejä ja käytäntöjä.
Organisaatio
Yhteiskunnallinen
prosessi
Panos
Tuotos
Muutos
Vaikutus
Määrällinen/
laadullinen
Helppo
Hyvät käytännöt ja
esimerkit
Organisaatio
Yhteiskunnallinen
prosessi
Tuotos
Panos
45. Seurantalomake
Seurantalomakkeella organisaation tai sen sidosryhmän
toimija kerää tietoa (kokemuksia, näkemyksiä, mielipiteitä)
toiminnastaan ja havainnoistaan yli ajan.
Työkalu on helppo kehittää itse vaikkapa taulukkolaskenta-
tai tietokantaohjelmalla. Aiheesta on saatavilla myös
valmiita sovellutuksia, kuten Aspen Instituten loogiseen
viitekehykseen pohjautuva Advocacy Progress Planner.
Näin saadaan tietoa esimerkiksi projektin tai
vaikuttamistyön tavoitteiden etenemisestä tai toimijan
omasta kehityksestä tai suorituksesta.
Organisaatio
Yhteiskunnallinen
prosessi
Panos
Tuotos
Muutos
Vaikutus
Määrällinen/
laadullinen
Melko helppo Kehitystieto
Organisaatio
Panos
46. Mediaosumatilastot
Mediaosumatilastolla voidaan tarkastella median
huomiota. Kuvan tarkentamiseksi tietoa voidaan
yhdistää yleisömäärätietoihin ja arvioon jutun
myönteisyydestä, kielteisyydestä tai organisaation
tavoitteiden mukaisuudesta.
Työkaluja ovat erilaiset mediaseurantatyökalut
kuten Meltwater, M-Brain ja STT:n Retriever.
Viitettä saa myös Ampparit-uutiskoostepalvelusta.
Organisaatio
Yhteiskunnallinen
prosessi
Panos
Tuotos
Muutos
Vaikutus
Määrällinen/
laadullinen
Melko helppo tai
vaativa
Medianäkyvyys
Vaikutus
Tuotos
47. Verkkoanalytiikka
Verkkoanalytiikalla saadaan tietoja vierailuista
verkkosivuilla - esimerkiksi siitä, kuinka paljon
vierailuja on, miltä sivuilta ja alueilta ihmiset
ohjautuvat sivuille, kuinka paljon vierailijat
käyttävät sivustoilla aikaa.
Esimerkki työkalusta on Google Analytics.
Näin saadaan tietoa omien sivustojen
kiinnostavuudesta ja kehitysmahdollisuuksista.
Organisaatio
Yhteiskunnallinen
prosessi
Panos
Tuotos
Muutos
Vaikutus
Määrällinen Melko helppo
Oman median
kiinnostavuus
Vaikutus
Tuotos
48. Kysely
Survey-tutkimuksessa kysytään standardisoidulla
lomakkeella otokselta samoja asioita. Jos otos on riittävän
suuri ja perustellusti valittu, voidaan olettaa, että se
edustaa tiettyä ihmisryhmää (kuten ”nuoret”,
”pohjalaiset”, ”lintuharrastajat”, tmv.)
Työkaluja voivat olla paperilomakkeet tai
verkkosovellukset kuten Google forms tai Survey monkey.
Näin saadaan esille mielipiteitä, mielikuvia, asenteita,
kokemuksia tai tietoa. Erityisesti merkityksellistä voi olla
sidosryhmien näkemysten selvittäminen.
Organisaatio
Yhteiskunnallinen
prosessi
Panos
Tuotos
Survey
Muutos
Vaikutus
Määrällinen Melko helppo
Sidosryhmien
näkemykset
Muutos
Vaikutus
Organisaatio
Yhteiskunnallinen
prosessi
Tuotos
Panos
49. Haastattelu
Haastattelu on vuorovaikutuksellisempi kuin kysely, mutta
työläämpänä tyypillisesti kohdistuu pienempään joukkoon.
Haastattelu ja kysely tukevat toisiaan. Voidaan ajatella
että kysely tuo massaa ja haastattelut syvyyttä tietoon.
Haastattelun muotoja voivat olla yksilöhaastattelu,
kohderyhmälle tehtävä ryhmähaastattelu tai niin kutsuttu
syvähaastattelu, jolloin pureudutaan pitkässä
haastattelussa monipuolisesti teemoihin.
Haastatteluilla saadaan tietoa esimerkiksi sidosryhmien
mielipiteistä tai muutoksista arjessa.
Interview
Organisaatio
Yhteiskunnallinen
prosessi
Panos
Tuotos
Muutos
Vaikutus
Laadullinen Vaativa
Näkemykset ja
muutokset
Muutos
Vaikutus
Organisaatio
Yhteiskunnallinen
prosessi
Tuotos
Panos
50. Havainnointi
Arkipäiväiseen havainnointiin nähden poikkeavaa
menetelmässä on systemaattisuus. Havainnoidessa
vaikkapa eduskunnan täysistuntokeskustelua kiinnitetään
huomiota relevantteihin, ennalta määritettyihin seikkoihin.
Havainnointia systematisoiva työkalu voi olla
seurantalomake, eräänlainen lokikirja muutoksista ja
tapahtumista. Näitä voivat olla puheenvuorot, osallistujat
tilaisuuksissa, tai mitkä hyvänsä muuttujat, jotka kuvaavat
tutkittavaa tavoitetta.
Havainnoiden voidaan saada tietoa monesta asiasta, kuten
tietoisuudesta ja muutoksista konkreettisissa olosuhteissa.
Organisaatio
Yhteiskunnallinen
prosessi
Panos
Tuotos
Muutos
Vaikutus
Laadullinen/
määrällinen
Melko helppo
Asenteet, tietoisuus,
muutokset
Muutos
Vaikutus
Organisaatio
Yhteiskunnallinen
prosessi
Tuotos
Panos
51. Sisällön analyysi
Sisällön analyysi tarkoittaa tekstin tiivistämistä sekä
erittelyä ja näin erojen ja yhtäläisyyksien etsimistä
tekstistä. Teksti voi olla vaikkapa raportti, puheita
tai mitä tahansa muuta tekstiä.
Näin tekstistä saadaan esille toistuvia teemoja ja
jokin ”punainen lanka”. Tämä voi olla tulla
kyseeseen esimerkiksi määrittäessä kuvaa, joka
piirtyy organisaatiosta mediassa.
Organisaatio
Yhteiskunnallinen
prosessi
Panos
Tuotos
Muutos
Vaikutus
Laadullinen Vaativa
Mielipiteet,
asenteet
Muutos
Vaikutus
Organisaatio
Yhteiskunnallinen
prosessi
Tuotos
Panos
53. Monia syitä tiedon keräämiselle
Suunnittelu Monitorointi
ArviointiKehittäminen
TietoToiminta
Tietoa on mahdollista hankkia
useilla lähtökohdilla ja tavoilla.
Siksi on syytä selvittää
• Ennen kuin tietoa on, miksi
sitä hankitaan. Huom. oma
lähtökohta, ei työkalun
lähtökohta.
• Kun tietoa on, muistetaan,
että sitä voi hyödyntää
monessa työn vaiheessa.
54. Valmistauduttaessa tiedon hankintaan
on syytä olla perusteltuna:
• Kenelle? Kuka tietoa hyödyntää:
sidosryhmät, organisaatio,
asiakkaat?
• Miksi? Mitä tiedon avulla halutaan
• Mistä? Mistä vaiheista
vaikuttamispolkua on hyödyllisintä
hankkia tietoa?
Kun näihin kysymyksiin on vastaus,
on helpompaa vastata:
• Miten? Tiedonhankinnan tapoja
on useita. Työkalujakin on useita,
mutta niitä ei kannata hankkia,
ellei tarkalleen tiedetä, mitä
tarvetta halutaan täyttää.
• Milloin? Tarvitaanko jatkuvaa vai
jaksoittaista tiedonhankintaa?
• Kuka? Voidaanko tehdä itse vai
onko ulkopuolinen parempi?
Monia syitä tiedon keräämiselle
56. • Sosten Kehittäminen ja arviointi järjestöissä –sivu: useita työkaluja,
lähestymistapoja ja tietoa liittyen kehittämiseen ja arviointiin
• Me-säätiön ja useiden toimijoiden tuottama Hyvän mitta –hanke: työkaluja,
pohdintaa ja tapaustutkimuksia vaikuttavuudesta
• Sitran LATU-työkalut: toimintamalli ja työkaluja systemaattiseen kehittämiseen
• STT Viestintäpalvelut, ProCom ja Retriever Suomi: Viestinnän mittaaminen
2017 –raportti
• MTL:n, eli markkinointi- ja viestintätoimistojen liiton Viestinnän mittaaminen –
ohjeistus (2010)
• Ulkoasiainministeriön evaluointiraportit ja –ohjeet
• UNICEFin evaluointitietopankki
Lisätietoja ja täydentäviä lähestymistapoja