Prezentace z konference https://kisk.phil.muni.cz/komunitni-knihovna/konference

1. Evaluační myšlení v knihovně:
o krok dál za statistikou
Konference
Sociální inovace v knihovnách
5.2.2020 v Brně
Ing. Jiřina Svitáková, MBA, Ph.D.
freelance senior evaluation specialist
jirina.svitakova@gmail.com
KISK FF MU
projekt Centrum sociálních inovací ve veřejných
knihovnických a informačních službách

2. Funkce knihoven a práce knihovníka
• Knihy v první řadě?
původní funkce: funkce vzdělávací a uchovatele vědění
• A co dnes?
Knihovny jako informační, kulturní, vzdělávací a komunitní centra obcí.
Rozšíření funkcí knihoven klade nejen vyšší nároky na kompetence knihovníků…
...ale také na způsoby, jakými doložit přínos knihovny společnosti.

3. Čím dnes obvykle měříme přínos knihovny?
• Statistika knihovnických činností (statistický roční výkaz o knihovně
„Kult (MK) 12-01“) např.:
• Počet návštěvníků celkem na 1 obyvatele
• Počet výpůjček na 1 registrovaného uživatele
• Počet vzdělávacích akcí + Počet návštěvníků vzdělávacích akcí
• Počet kulturních akcí + Počet návštěvníků kulturních akcí
• ….
• Všichni známe roční Infografiku NIPOS-MK (Národní informační a
poradenské středisko pro kulturu) a souhlasíme s tím, že je ohromující:

5. Jsou “počty….” dostatečně vypovídající pro hodnocení dopadů (přínosů)
knihovny v postavení informačního, kulturního, vzdělávacího a
komunitního centra obce?

6. O krok dál za statistikou stojí evaluace
• „Evaluace“ je typ aplikovaného výzkumu. Jedním z důvodů, proč ji dělat je,
že chcete vyhodnotit, do jaké míry se vám daří pomocí vaší činnosti a akcí
přispívat k dosažení (strategických) cílů vaší knihovny.
Co potřebujete k evaluačnímu myšlení?
• Znát cíle (žádoucí dopady), kterých chce vaše knihovna v místě a čase
dosáhnout
• Vědět, proč děláte každou činnost a proč organizujete každou akci (k
jakému cíli přispějí)
• Navázat na statistiky (data z monitoringu) a vyhodnocovat je v kontextu

7. Teorie změny jako nástroj evaluačního myšlení
• Teorie změny (Theory of Change) je graficko-textové vyjádření toho,
jakým způsobem intervence (činnost knihovny) očekává, že dosáhne
plánovaných změn (výsledků, dopadů).
Jak si myslíme, že by “to” mělo fungovat a za jakých podmínek?
• TZ jako nástroj využívá: komponenty TZ a logické-kauzální vazby mezi
nimi (když udělám X, tak nastane Y za podmínek Z.)

8. (ukázka prázdné struktury TZ v lineární podobě)

9. Komponenty logického řetězu Teorie změny
• VSTUPY - finanční / lidské / materiální / časové Co potřebujete k tomu, abyste začali?
• AKTIVITY - činnosti / akce / podpora Co přesně plánujete dělat?
• VÝSTUPY - měřitelné (hmatatelné) zakončení aktivit / statistiky / produkty
Co přímo vznikne v průběhu aktivit?
(tady to je! monitoring: počet návštěvníků, počet výpůjček, vytvořená metodika, ad.)
• VÝSLEDKY - přičitatelná behaviorální změna, změna v situaci
Jakou žádoucí změnu u účastníků nebo změnu situace aktivity a výstupy přímo způsobí?
(lze odlišovat krátkodobé a dlouhodobé výsledky)
• DOPADY - systémová změna, k jejímuž dosažení výsledky přispívají
K jaké změně systému výsledky přispívají? Jaké strategie naplňují?
• PŘEDPOKLADY/EXTERNÍ FAKTORY - za jakých okolností by měla uvedená teorie fungovat
• LOGICKÉ VAZBY - „když se stane X, bude následovat Y“

10. Ukázka složitější TZ - našeho akcelerátoru Knihovna pro Bezbariérové Brno

11. Ukázka jednodušší TZ - našeho akcelerátoru Knihovna Jundrov
• Poznámka:
Všimněte si, že na
přesné grafice TZ
nezáleží
(zleva-doprava,
shora-dolů,
jinak…),
důležité je vidět
vazby a vyznat se
v nich.

12. Jak na to? Postup vytvoření TZ
• pokud můžete, začněte od svých pro knihovnu individuálních “žádoucích výsledků”
Čeho se jako knihovna snažíme dosáhnout… ve svém bezprostředním okolí? ...pro
osamělé seniory? ...pro problematickou mládež? ...pro sociálně slabé rodiny? ...pro
studující mládež? ...pro posílení komunity? …? Vyzdvihněte vaše nejdůležitější cíle.
• pokud máte vytvořenou strategii knihovny, využijte ji při formulaci “výsledků” a
také při formulaci “dopadů”. Pro “dopady” využijte i návaznost regionální či
národní strategie.
• vezměte svoje činnosti a akce a jednotlivě nebo v tematických blocích je vypište do
“aktivit”.
• U každé aktivity nebo jejich tematického bloku si odpovězte na otázku:
Čím by měla tato aktivita končit / co by mělo vzniknout / kdo by se jí měl účastnit,
abychom považovali její průběh za úspěšný? Odpovědi doplňte do “výstupů”.
• U každé aktivity nebo tematického bloku se zamyslete nad nutnými “vstupy”, které
musíte mít, aby bylo možné kvalitně pracovat.

13. • Nakonec procházejte políčka s texty a doplňujte logické vazby:
Když budeme mít…, tak uděláme…
Když uděláme…, tak vytvoříme…
Když uděláme a vytvoříme..., tak tím způsobíme, že….
Když způsobíme, že… , tak tím přispějeme k...
• Teorie změny je stále jen teorie - na závěr si shrňte nutné předpoklady
k tomu, aby to takto fungovalo v praxi a zamyslete se, jaké faktory by
to mohly ohrozit.
Co je potřeba, aby bylo, aby “to” takto šlo?
(předpoklady/externí faktory)

14. Obrázkem práce s TZ nekončí: analýza a zjištění
• vytvoření grafiky (ideálně na jeden list papíru) umožňuje snadnou
orientaci
• ukáže vám, jestli vaše teorie dává smysl, jestli ty aktivity které děláte,
skutečně mají šanci vést k výsledkům, které očekáváte.
• uvidíte, kde máte kritická místa
• pravděpodobně budete nuceni zpřesňovat formulace očekávaných
výsledků
• Pozor! Nesnažte se násilím všechno spolu „nějak“ propojit.

15. Co možná díky TZ zjistíte?
• že děláte i činnosti a akce, na které utrácíte kapacity, čas a peníze, ale které
nevedou k žádoucím výsledkům a nepřispívají k dopadům (...takže, co s nimi?)
• že chcete pro nějakou cílovou skupinu dosáhnout určité změny (žádoucího
výsledku), ale neděláte žádné akce ani činnosti, které by k ní přičitatelně vedly
(...takže, co s tím?)
• že máte naplánováno tolik akcí a činností, že vám na ně nestačí zdroje (vstupy)
(...takže, jak to řešit?)
• že máte akce nebo děláte činnosti, u kterých si nejste jistí, jaký přínos pro
účastníky nebo pro knihovnu by měly mít (...tak co s tím?)
• že máte akce, nebo děláte činnosti zaměřené na určitou cílovou skupinu, ale
většinově ji využívá zcela jiná cílová skupina (...proč?)
• že vám chybí partnerství s někým, kdo má odbornost / kapacity / prostředky,
které potřebujete k funkční realizaci určité akce (...s kým se domluvíte?)
• že vytváříte výstupy, ale nejste si jistí jak přesně přispívají k žádoucímu výsledku
(...jak to ověříte?)
• ...

16. Krok za statistikou ve vykazování přínosů
knihovny: teorie změny
• Když víte, čeho chcete akcí dosáhnout (výsledky) a k čemu přispět
(dopady), budete moci snadněji vyhodnotit, jestli obsah a rozsah akce,
počet účastníků (výstupy) a jejich složení (cílové skupiny) mohli k cíli vést.
• například, než uvést:
“Na naše vzdělávací akce v loňském roce přišlo 305 návštěvníků.”
• bude za všech okolností zajímavější moci uvést:
“Společně s Nízkoprahovým klubem Jitrocel u nás v knihovně děláme
vzdělávací akce cílené na sociálně slabší žáky místní ZŠ, chceme jim pomoci
úspěšně projít přijímacím řízením na SŠ, i když to mají doma obtížné. Podařilo
se nám do těchto akcí opakovaně zapojit už 53 mladých lidí (12-16 let).
Dále pořádáme…. pro…, protože…, certifikát získalo...”

17. Krok za teorií změny ve vykazování přínosů
knihovny: evaluace
• Pokud to myslíte s vyhodnocením přínosů vážně, můžete si po dokončení TZ
připravit evaluaci akcí vaší knihovny.
Jak na evaluaci akce v knihovně vám může poradit evaluátor, nebo evaluační
metodiky (např. jeden z výstupů projektu organizujícího tuto konferenci).
• Pokud byste měli hotovou evaluaci, váš popis přínosu knihovny by místo “Na naše
vzdělávací akce v loňském roce přišlo 305 účastníků.” mohl vypadat i takto:
“Společně s Nízkoprahovým klubem Jitrocel u nás v knihovně děláme vzdělávací akce cílené na
sociálně slabší žáky místní ZŠ, chceme jim pomoci úspěšně projít přijímacím řízením na SŠ, i když to
mají doma obtížné. Podařilo se nám do těchto akcí opakovaně zapojit už 53 mladých lidí (12-16 let). Na
základě výzkumu mezi těmito žáky jsme si ověřili, že 42 z nich si skutečně podalo u nás připravenou
přihlášku na SŠ, napsali požadovanou motivační esej a přišli na testy. 31 jich bylo přijato ke studiu.
Téměř polovina současných SŠ studentů uvedla, že bez podpory v knihovně by přihlášku nepodali.
Většina navíc uvádí, že díky přípravě na naší vzdělávací akci věděli, jak přijímací řízení proběhne, co si
mají vzít s sebou, kdy a kam přijít. Podle statistik naší partnerské ZŠ se za poslední dva roky, kdy tuto
akci děláme, zvýšil počet žáků podávajících si přihlášku na SŠ o 21 %, přičemž nárůst nebyl způsoben
prostým nárůstem počtu žáků. Touto aktivitou knihovna přispívá k naplňování strategického cíle
rozvoje města “zvýšit vzdělanost v sociálně rizikových lokalitách podporou vzdělávání mládeže.”

18. Závěrem…
• Pro demonstraci potřebnosti knihoven pro společnost je skvělé mít
pravidelný a metodicky podchycený celostátní monitoring (sbírat
statistická data / počty).
• Schopnost evaluačně myslet, popsat za statistikami stojící logickou
linku popisující proč naši činnost děláme zrovna takto, umožňuje
každé knihovně šetřit zdroje, lépe prospívat svému okolí a prezentovat
svůj přínos především místním partnerům (včetně zřizovatele).
• Investice do evaluačních výzkumů zatím není v knihovnách obvyklá,
ale přinesla by jim důkazy o dopadech jejich akcí a přínosech
knihovny jako instituce.