Monitoring zamereny na vysledky a evaluace
•Descargar como PPT, PDF•
1 recomendación•864 vistas
This is a presentation from workshop on results-oriented monitoring and evaluation of Czech development cooperation projects. The workshop was held primarily for the Czech Development Agency by the Czech Evaluation Society. Please mention the source if you plan to share any slides further. Thank you.
Recomendados
Recomendados
Más contenido relacionado
Similar a Monitoring zamereny na vysledky a evaluace
Similar a Monitoring zamereny na vysledky a evaluace (20)
Más de Inka Pibilova
Más de Inka Pibilova (18)
Monitoring zamereny na vysledky a evaluace
- 1. Monitoring zaměřený na výsledky a evaluace projektů Workshop pro Českou rozvojovou agenturu 19. – 20. 2014 Inka Píbilová / Daniel Svoboda
- 2. 2 Ve skupinách Proč tu skutečně jsme? 2
- 4. 4 Ve skupinách Co je to nejlepší, co už děláme v PME ZRS ČR? Jak by vypadalo ideální PME ZRS ČR? Co bychom tedy měli udělat? 4
- 5. Analýza zainteresovaných aktérů - matice http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 5
- 6. Power / Interest / Attitude KEEP SATISFIED INFLUENCE & ENGAGE KEEP INFORMED MONITOR Interest Policy makers CSO s Fishing families Attitude Analýza zainteresovaných aktérů 6
- 7. Analýza zainteresovaných aktérů - Vennův diagram http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 7
- 9. Analýza problémů - strom 1) brainstorming 2) klíčový problém 3) souvislosti 4) kompletní hierarchie http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 9
- 10. Analýza problémů - SWOT http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 10
- 11. 11 Připravte analýzu problémů a aktérů vašeho projektu dle vybraného nástroje
- 12. Analýza cílů a strategií http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 12
- 13. 13 Logický model - teorie změny Jak realizované aktivity povedou v konkrétním kontextu k vytvoření výstupů, naplnění cílů a záměru Bez teorie změny (pochopení kauzalit) nelze vysvětlit, PROČ byly nebo nebyly cíle dosaženy Součástí monitoringu a evaluací musí být pochopení logického modelu projektu, případně jeho revize Inputs Activities Outputs Outcomes Impacts Black box Political Environment (Governance, etc.) Public Attitudes EnvironmentAid Players Macro-economic Picture Policy Context
- 14. Logický model - matice http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 14
- 15. 15•15 Logický model - příklad znečištěné řeky
- 16. 16 Zrevidujte teorii změny vašeho projektu výstup 2:výstup 1: záměr: cíl: výstup 3: aktivita 1.1: aktivita 3.1: aktivita 2.1: aktivita 1.2: aktivita 3.2:
- 17. Quantitative - SMARTER Specific / Simple (to understand, collect) Measurable Attainable/Available at cceptable costs Relevant to project / stakeholders Time-bound Využívejte kvantitativní i kvalitativní indikátory http://www.smarttoolkit.net/?q=node/391 http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm Qualitative – SPICED Subjective Participatory Interpreted and communicable Cross-checked and compared Empowering Diverse / disaggregated (by gender) V rámci indikátorů lze použít různých druhů srovnání: trendy (např. zvýšení), omezení (např. min. 30%), cíle (např. strategie do 12/Y1) Min. 30 % účastníků zahájí vlastní projekt týkající se lokálního problému. Důvody, proč účastníci ne/realizovali projekt týkající se lokálního problému. 17
- 18. 18 Zrevidujte indikátory vašeho projektu
- 19. 19 Příklady indikátorů – DFID či BOND UK
- 20. 20 Aktivity de facto na všech úrovních projektu žádné výsledky aktivity = školení, výstup = školení, cíl = vyškolení, záměr = vzdělání Chybí přenos know-how projekt není replikovatelný místně příklad: veškeré počítačové/modelové zpracování prováděno v ČR Chybí změna nejsou zajištěny skutečné dopady (So what?) záměr = demonstrace moderních postupů / PROČ? UPLATNÍ JE? záměr = zlepšení přístupu na trh / ZLEPŠÍ TO ŽIVOT? JAK? Chybí vztah s cílovou skupinou minimální či nulové dopady příklad: místní farmáři neví o existenci poradenského centra Cíle, výstupy a aktivity nejsou propojeny chybí strategie příklad: jak souvisí studijní cesta do ČR s rozvojem komunity v Mali? Chybí udržitelnost po skončení projektu přínosy končí příklad: není zajištěno vlastnictví a další financování farmy příklad: nejsou k dispozici náhradní díly a lokální servis Typické chyby logického modeluTypické chyby logického modelu
- 21. 21 Indikátory shodné pro různé úrovně nejedná se o jiné úrovně výstup = 50 vyškolených farmářů, cíl = 50 farmářů má lepší povědomí Indikátor formulován jako cíl nelze prokázat jeho dosažení příklad: zlepšení postavení drobných zemědělců / JAK SE POZNÁ? příklad: míra zkvalitnění produkce / CO TO ZNAMENÁ? LZE OVĚŘIT? Indikátor není upřesněn jak se pozná změna? příklad: zvýšení produkce / JAKÉ? O KOLIK? OD KDY DO KDY? KDE? příklad: rozloha zpracovaného území (ha) / 0,1 ha nebo 1000 ha? Indikátory zcela chybí jak se pozná úspěch? příklad: cíl = zavedení principů hospodaření / CO TO ZNAMENÁ? příklad: záměr = udržitelný rozvoj / JAKÉ JSOU HLAVNÍ FAKTORY? Předpoklad na úrovni managementu chybí garance realizace příklad: předpokladem je dostatečná kapacita hlavního realizátora Předpoklad je předem splněn nemá vliv na realizaci projektu příklad: předpokladem je existence objektu z dřívějšího projektu Typické chyby logického modeluTypické chyby logického modelu
- 22. 22 Logický rámec je nelogický neexistuje logická provázanost příklad: přemíra nepříliš souvisejících aktivit bez jasného výsledku ! Logický rámec je nepřehledný neumožňuje řízení projektu příklad: na 5 - 12 stranách nelze sledovat souvislosti a návaznosti ! Doporučení: Matice logického rámce není formulář (vyplňovaný po napsání projektu), ale nástroj pro přípravu a řízení projektu! Typické chyby logického rámceTypické chyby logického rámce
- 24. 24 Rizika a opatření k jejich minimalizaci
- 25. 2525
- 29. 29 Monitoring projektu Průběžné posuzování realizace projektu ve vztahu k plánovaným aktivitám a výstupům, kontrola harmonogramu, rozpočtu, dosažitelnosti cílů a záměru Cílem je efektivní řízení a případná modifikace projektu v závislosti na měnících se podmínkách a zkušenostech. etapové monitorovací zprávy a zpráva závěrečná Monitoring zaměřený na výsledky (ROM) Průběžné posuzování relevance, efektivnosti, efektivity, potenciálních dopadů a pravděpodobné udržitelnosti Rychlá, často externí alternativa / komplementární k evaluacím Cílem je zlepšit kvalitu projektu a dosáhnout udržitelných výsledků / dopadů Evaluace projektu Periodické posuzování relevance, efektivnosti, efektivity, dopadů a udržitelnosti dopadů projektu ve vztahu k definovaným výsledkům / cílům Většinou externí hodnocení Cílem jsou nápravná opatření (průběžná evaluace), poučení, ovlivnění dalších rozvojových projektů a politik, skládání účtů (závěrečná evaluace) hodnotící/evaluační zprávy
- 30. 30 Zvažte výhody a nevýhody monitoringu ČRA a alternativ
- 31. 31 Doporučení pro ČRA: Zrevidujte monitorovací plán vašeho projektu
- 33. Kontext Účel Využití výstupů Zaměření Evaluační kritéria a otázky Metodologie Harmonogram Rozpočet Lidské zdroje – zodpovědnosti, požadovaná expertíza Příručky: UNDP Handbook (p. 194 - 200) ttp://web.undp.org/evaluation/handbook/ EC/EuropeAid Project Cycle Management Guidelines (p. 126 - 136) http://ec.europa.eu/europeaid/multimedia/publications/documents/tools/europeaid_ad m_pcm_guidelines_2004_en.pdf New Zealand Guide http://dmeforpeace.org/sites/default/files/NZAID_ToR %20Guideline.pdf Zadání evaluace 33
- 35. 35 Evaluační otázky Vstupy (zdroje) Vstupy (zdroje) AktivityAktivity Výstup y Výstup y Krátkodob é cíle Krátkodob é cíle Střednědob é cíle Střednědob é cíle Dopady (dlouhodob é) Dopady (dlouhodob é) Interní kontrola v organizaci Výstupy - zapojení příjemců Oblast externích vlivů Externí faktory Jaká je povaha a rozsah problémů při získávání porodních asistentek a dalšího vyškoleného personálu pro nové venkovské kliniky? Jak dlouho se čeká na nejvíce požadované služby? Nakolik byl projekt úspěšný pro udržení vyškoleného personálu v klinikách? Jak kliniky pomohly zlepšit zdravotní stav obyvatel po třech letech provozu? Formativní evaluace Závěrečná evaluacea/nebo
- 36. 36 Úspěch = pozitivní změna A) zahájení projektu B) konec projektu C) dva roky až pět let po ukončení projektu neudržitelný projekt dobrý projekt špatný projekt bez projektu neudržitelný projekt dobrý projekt špatný projekt bez projektu
- 37. 37 Navrhněte evaluační otázky pro svůj projekt Brainstorming – ptejte se na cokoliv (důležitého). Následně seskupte otázky a vyberte otázky klíčové. Koho se budete ptát? Kde získáte odpovědi? Jak se budete ptát? Jak získáte odpovědi? Otestujte si, zda jde otázka odpovědět. Otestujte, zda vám odpověď pomůže. Upravte otázky či metody, nezapomeňte na triangulaci.
- 38. 38 Příklady z projektové praxe - cvičení Riskantní projekt: - chybí odborný dozor (nejsou známy přírodní podmínky, není upřesněna výstroj vrtů, není řešena jakost a vydatnost vod ap.) projekt může negativně ovlivnit hydrogeologické poměry - není zajištěn provoz, údržba a ochrana nových vodních zdrojů Technický trénink Investice Zlepšený přístup k vodě 5 nových vrtů Projekt: Vybudování nových vodních zdrojů Vrtné práce
- 39. 39 Příklady z projektové praxe - cvičení Negativní dopady, neproveditelnost: - selekce „obdarovaných“ rodin rozděluje komunitu - nelze zapůjčit „člena rodiny“ a po roce ho zase odebrat - není řešeno uživení skotu ani možnost jeho ustájení - možnost ponechání přírůstků není mj. vztažena k připuštění býka (majitel býka by se stal nejdůležitějším členem komunity) Roční zapůjčení krávy Projekt: Podpora nejchudších rodin v uprchlickém táboře Dostatek mléka pro děti Zemědělské návyky Možnost přírůstků Zlepšení zdraví dětí Zlepšení životních podmínek
- 40. Nejdůležitější evaluační otázky • Proč chceme evaluaci konkrétního projektu? • No a co? / So what? Opravdu je to úspěch? • Přinesla hodnocená intervence očekávanou změnu? Proč a jak? • Jakou změnu má přinést sama evaluace? Jak bude naloženo s jejími výsledky? 40
- 41. 41 Otázky pro výběr otázek • Kdo využije informace? Kdo chce vědět odpovědi? Komu by vadilo, že by odpovědi nedostal? • Sníží odpověď nejistoty? Ovlivní běh událostí? • Přinese odpověď důležitou informaci? Ovlivní běh událostí? • Chceme odpověď vědět nebo ji potřebujeme vědět? • Změnil by se výsledek evaluace, kdyby tato otázka nepadla? • Je možné na tuto otázku odpovědět (ve vztahu k financím, kapacitám, času, metodám a technikám)?
- 42. 42 Doporučení pro výběr otázek • Začněte s identifikací hlavních problémů • Každá otázka se musí zaměřit jen na jeden problém • Otázky musí řešit hlavní problémy • Je vhodné kombinovat všechny tři typy otázek • Otázky musí mít jasný vztah k účelu evaluace • Ověřte, zda se dají otázky odpovědět • Používejte rozumný počet otázek ve vztahu k času určenému pro evaluaci • Otázky musí odpovídat časovému průběhu programu
- 43. 43 Plán evaluace zahrnuje • Otázky a podotázky pro každý hlavní problém • Typy evaluačních otázek • Indikátory a cílové hodnoty (nebo standardy) • Vstupní hodnoty (baseline data) • Evaluační metody • Zdroje dat a informací • Požadovaný vzorek • Metody a nástroje sběru dat a informací • Způsoby vyhodnocení • Způsoby prezentace dat
- 44. 44 Typy otázek - deskriptivní Odpovědi popisují „co se děje“ Charakteristika: • snaží se pochopit nebo popsat program, postupy nebo přístupy k programu • odpovědi mají poskytnout obrázek o tom, co je • otázky jsou většinou jednoduché (kdo? co? kde? kdy? jak? kolik? jak moc?) • většinou se týkají vstupů (zdrojů), aktivit a výstupů • často jsou využívány pro zjištění názoru cílových skupin
- 45. 45 Typy otázek - deskriptivní / příklady • Jaké jsou cíle programu z pohledu různých aktérů? • Jaké jsou hlavní aktivity programu? • Kde je program realizován? • Kdo dostává jaké služby? • Jaké se při realizaci objevily překážky? • Jaké je průměrné hodnocení výsledků od cílových skupin? • Do jaké míry program využil zkušenosti z podobných programů? • Jaké jsou hlavní rozdíly při realizaci programu na různých lokalitách?
- 46. 46 Typy otázek - normativní • Porovnávají „co je“ s tím „co mělo být“ • Podobné otázky jsou požívány při auditu • Porovnávají výsledky ve vztahu k předem stanoveným kritériím • Často jsou používány při monitoringu a při schvalování výsledků programu
- 47. 47 Typy otázek - normativní / příklady • Odpovídaly náklady schválenému rozpočtu? • Byly náklady využity účelně (tak, jak měly být)? • Bylo očkováno 80% dětí, jak bylo stanoveno? • Podařilo se zavlažit 100 000 ha území, jak bylo plánováno? • Byl proces výběru účastníků programu spravedlivý a nediskriminační? • Do jaké míry program reflektoval rovnoprávnost žen a mužů?
- 48. 48 Typy otázek - kauzální • Sledují změnu, kterou intervence přinesla • Ptají se, zda byly dosaženy požadované výsledky a zda byly dosaženy díky programu • Srovnávají stav před programem a po programu a s programem a bez programu • Evaluace dopadů se zaměřují na příčiny a následky
- 49. 49 Typy otázek - kauzální / příklady • Pomohla spolupráce tří zemí ochránit biodiverzitu a současně udržet zaměstnanost v regionu? • Získali absolventi školení lepší pracovní uplatnění, které by jinak získat nemohli? • Pomohly založené malé podniky snížit míru chudoby v dané oblasti? • Přispěla vyšší daň z pohonných hmot ke snížení znečištění ovzduší? • Pomohly zákonné pokuty ke snížení zneužívání dětské práce v oděvním průmyslu?
- 50. 50 Typy otázek - kauzální / doporučení • Při kauzálních otázkách je zásadní teorie změny • Je nutné sledovat časové souslednosti • Je nutné sledovat korelace různých dat • Je nutné eliminovat alternativní vysvětlení
- 51. 51 Evaluační metody Metody pro deskriptivní a normativní otázky (většinou bez „pokusů“ - neexperimentální design): • jednoduché zjišťování průřezových parametrů • jednorázové zjišťování dat • zjišťování dat před a po intervenci • přerušované časové série dat • průběžné (dlouhodobé) zjišťování dat • případové studie Normativní otázky vždy srovnávají výsledek s předem stanovenými kritérii (cílovými hodnotami, normami).
- 52. 52 Evaluační metody Metody pro kauzální otázky: Experimentální design: • srovnává 2 kontrolní skupiny - jedné přímo zapojené do programu a druhé programem neovlivněné • výběr obou skupin je náhodný Kvazi-experimentální design: • nepoužívá náhodný výběr • využívá přirozeně existující srovnávací skupiny • potřebuje více dat k vyloučení alternativních vysvětlení
- 53. 53 Evaluační metody Metody pro kauzální otázky: Neexperimentální design: • nesrovnávají se různé skupiny • musí podrobně vysvětlit vztahy mezi intervencí a jejími dopady • evaluátor musí použít reprezentativní vzorky • může analyzovat existující data a informace • musí identifikovat charakteristiky, četnost a vztahy různých dat a informací
- 54. 54 Evaluační metody Kauzální otázky - možné postupy: • před a po programu s/bez srovnávací skupiny • před a po programu u neekvivalentních skupin • po programu s neekvivalentní srovnávací skupinou • přerušované časové srovnávací studie • průběžné (dlouhodobé) srovnávací studie • panel - stejná skupina lidí je sledována delší dobu • korelační statistický design • analýzy dopadů programu u srovnávacích skupin • neexperimentální metody: zjišťování průřezových parametrů, jednorázové metody, sledování kauzalit, případové studie
- 55. 55 Evaluační postupy • participativní metody (setkání, mapování, procházky) • rešerše existujících dat a informací • pozorování (nápadné či nenápadné) • průzkumy a rozhovory (strukturované nebo ne) • fokusní skupiny (skupinové diskuse) • deníky (nebo „měsíčníky“), dotazníky • odborné posudky (experti či panel expertů) • technika „Delphi“ (posudky nezávislých expertů centrálně zpracované) • další nástroje (přímá měření, analýzy, testy, karty spokojenosti, celostátní průzkumy…)
- 56. 56 Evaluační postupy - doporučení Neexistuje žádný nejlepší postup! Evaluace se nesmí odvíjet od metod, naopak je potřeba vybrat nejvhodnější metodu pro konkrétní evaluační otázky a pro konkrétní účel evaluace! Vždy je nutná triangulace - kombinace několika metod a několika zdrojů dat! Nejdůležitějším faktorem je využitelnost a využití výsledků evaluace – musí být jasné od začátku!
- 57. 57 Nástroje sběru dat Při „vzorkování“ je třeba zvážit: • rozsah potřebných dat - reprezentativní vzorek podle velikosti sledované populace nebo souboru dat • náhodné, stratifikované či cílené vzorky (konkrétní skupiny, metoda sněhové koule - kontakty přes jednotlivé respondenty, pohodlnost - např. lidé, kteří přijdou na jedno místo) • účel evaluace - typické (průměrné) hodnoty, extrémy, rozdílnost dat, pravidla a výjimky… • kombinaci kvalitativních a kvantitativních dat
- 58. 58 IPDET © 2009 Conversation with Concerned Individuals Community Interviews Field Visits Reviews of Official Records (MIS and admin data) Participant Observations Key Informant Interviews Focus Group Interviews Panel Surveys Censuses Field Experiment s Informal/Less Structured Methods Formal/More Structured Methods One-Time Surveys Direct Observations Surveys Nástroje sběru dat
- 59. Evaluability -Are clear why we do the evaluation? -Do we have an (updated) logical framework? -Do we have sufficient (baseline, monitoring) data available? -Do we have accessible reliable information sources? -Do we have sufficient funds for an internal/external evaluation? Will the evaluation be cost-effective, will it bring reasonable benefits vs. costs? -Is it likely that it will be used to improve actions in future? Can stakeholders influence the evaluation decisions? Will they accept and use the findings? Is there a strong leadership to put the recommendations in practice? -Are there no major factors hindering the evaluation? Are staff members or other stakeholders overloaded due to other priorities? Are there any tendencies that would affect impartiality? Source: UNDP Handbook, Road to Results, Making evaluations matter •59 Můžeme projekt evaluovat ? 59
- 60. 60 Připravte plán evaluace pro konkrétní otázky: Otázky a jejich typ (deskriptivní, normativní, kauzální): Vstupní a cílové hodnoty (u normativních otázek): Evaluační metody (experimentální, neexperimentální…): Zdroje dat a informací (kdo, co, kde): Požadovaný vzorek (rozsah požadovaných dat): Metody a nástroje sběru dat a informací (kdy, kde, jak): Způsoby vyhodnocení (kvantitativní, kvalitativní): Způsoby prezentace dat (zpráva, workshop, média): Otestujte si pravděpodobný výsledek (odpovědi)!
- 61. 61 Příklad Cíl projektu: Dostat kuřata na druhou stranu frekventované silnice Hodnotící otázky: Jaké bylo zvoleno technické řešení - přechod, podchod, nadchod, semafory, kladkostroj, balón, prak nebo např. výcvik v létání? Nakolik bylo zvolené řešení efektivní (finančně, časově, humánně)? Nakolik bralo zvolené řešení ohled na cílovou skupinu a její priority - dočkala se ho např. kuřata vůbec? Mají kuřata na druhé straně zajištěnu potřebnou infrastrukturu - dostatečný prostor, péči, bezpečnost, vodu, zrní? Budou jejich podmínky na druhé straně lepší než byly předtím nebo lepší než u srovnávací skupiny, která nikam nešla? A proč vlastně kuřata chtějí na druhou stranu - neexistuje nějaká lepší strategie řešení jejich problémů a potřeb?
- 62. 62 Zpracování dat - doporučení Již před zahájením evaluace musí být jasná strategie zpracování kvantitativních a kvalitativních dat i způsob jejich propojení. Způsob zpracování musí být uveden v evaluační zprávě, včetně stanovení míry věrohodnosti výsledků a nejistot. Je nutné rozlišit konkrétní výsledky od jejich výkladu (interpretace). Je vhodné použít konkrétní příklady a citace. Nezbytná je kategorizace a triangulace výsledků.
- 63. 63 Zpracování dat Evaluační otázka: Byli rodiče spokojeni se školením? IPDET © 2009
- 64. Příklad kvantitativní analýzy dat 64
- 65. Zpráva a prezentace – dle použití a uživatele •65 Přípa dová studie 65
- 66. DoporučeníDoporučení 33 36 24 16 18 20 9 11 17 22 28 13 29 0 5 10 15 20 25 30 35 40 13 12 11 10 9 8 7 6 5 4 3 2 1 Obrázek je lepší, než 1000 slov, ale hodně „dobrých věcí“ škodí! 66
- 67. Doporučení pro ČRA: Co plánuji o zítřka dělat jinak: 67
Notas del editor
- When to use logframe? Problem Analysis and Objective Setting Analysis of causes and effects / prioritisation Shows relevance to policies / context Checks risks and accountability for results Establishes measurement systém and data collection Implementation Provides framework for Results Oriented monitoring Evaluation Provides framework for evaluation as per OECD/DAC criteria Observed Issues Too complicated, too many objectives / indicators Too ambitious objectives Indicators difficult to measure / data not collected or difficult to collect Logframe not used for internal monitoring / evaluation and decision making
- Examples of qualitative and quantitative indicatorshttp://www.smarttoolkit.net/?q=node/391 Quantitative indicators for the ‘accessibility’ of an information service’:- Distance of rural communities from a low-cost telecentre with a helpdesk - Percentage change in the number of visitors to the telecentre over a defined period Qualitative indicators for the ‘improved knowledge’ resulting from an information service:- The telecentre is close enough to a range of communities for them to use it when they need to - Positive and negative experiences of the users of the information in solving the problem for which information was sought - Ability of the users to discuss the problem in question Reference points for comparison 1. Trends (e.g., a consistent increase or decrease in requests for support; increasing feedback from readers of a publication) 2. Thresholds (e.g., at least three districts covered by a database; the minimum number of students on a course) 3. Targets (e.g., the number of documents distributed by a stipulated deadline; the proceedings of a conference available in printed form by a given date)
- What do we want to evaluate? (scope, focus) What would we like to get out of the evaluation? (purpose) Who would use the evaluation and how? (stakeholders, utilisation) Are we ready and able to do it? (readiness)