Este documento presenta una guía para la evaluación de programas y políticas públicas de discapacidad. Explica los conceptos clave de la evaluación como objeto, encargo, metodologías, diseño, fuentes de información, criterios de evaluación e informes. Describe los tipos de evaluación como de procesos, impacto y eficiencia, así como los enfoques basados en el ciclo del programa y criterios. Detalla cómo diseñar una evaluación incluyendo preguntas, indicadores e información para medir el grado de consecución de objetivos

1. Guía para la evaluación
de programas y políticas
públicas de discapacidad
Ana Ballesteros Pena Jorge Calero Martínez Xavier
Fontcuberta Estrada Ángela García Martínez Jurgen De
Wispelaere

2. 2
I. Introducción a la evaluación
II. El objeto de la evaluación
III. El encargo de la evaluación
IV. Metodologías y tipo de evaluaciones
V. El diseño de la evaluación
VI. Fuentes e instrumentos
VII. Enjuiciamiento en la evaluación
VIII. El informe de evaluación
IX. Instituciones que evalúan

3. 3
Capitulo II. Marco teórico
2.1. Función. Características,
objetivos. Motivos
Que es …
“un proceso integral de observación, medida, análisis e
interpretación, encaminado al conocimiento de una
intervención —norma, programa, plan o política— que
permita alcanzar un juicio valorativo, basado en evidencias
respecto a su diseño, puesta en práctica, resultados e
impactos” (AEVAL, 2010, p. 13)

4. “Llevar a cabo un proceso encaminado a determinar sistemática y
objetivamente la pertinencia, eficiencia, eficacia e impacto de todas
las actividades a la luz de sus objetivos. Para mejorar las
actividades todavía en marcha y ayudar a la administración en la
planificación, programación y toma de decisiones futuras” (ONU, 1984).
“Valorar las intervenciones de los organismos
públicos según sus productos y sus impactos, en
relación con las necesidades que pretenden
satisfacer, orientando esta valoración a proporcionar
información rigurosa, basada en pruebas, para la
toma de decisiones” (Comisión Europea, 2007).

5. Motivo o propósito de la evaluación
1. En la toma de decisiones - Participación del ejecutor
2. Contribuir al aprendizaje de la organización (Conceptos, alternativas,
información se difunda)
3. Como instrumento de gestión (detección, corrección y prevención de
errores, señalar éxitos)
4. Rendir cuentas (ajeno a ejecutores)
5. Generar conocimiento sobre intervenciones (contrastar teorías)
6. Cumplir requisito (normatividad)

6. Objeto y lógica de la intervención
Que se va a evaluar
Que se va a enjuiciar
- Intervenciones (pública y privada
- Política, plan, programa, proyecto
- Teoría del cambio
- Lógica causal de la intervención (hipótesis)
- Recursos - acciones – productos -
beneficios – efectos

7. Es evaluableo no ?
Wholey et al. 2004
I. Varias versiones sobre objetivos- impactos-acciones
II. Acciones y productos son muy diversos e inestables
poco concretos
III. Lógica de la intervención incoherente, poco realista
IV. No claro el uso de la evaluación
V. Recursos disponibles insuficientes

8. Metodología y tipos de evaluación. Enfoques
a. El papel que cumple
b. Situación del equipo de
evaluación
c. Momento de la evaluación
d. Según paradigma
Tipología

9. Enfoques del trabajo
evaluativo
1. Basado en el ciclo del programa

10. 2. Basado en criterios de
evaluación
Criterio de pertinencia
Criterio de coherencia
Criterio de complementariedad
Criterio de eficacia
Criterio de eficiencia
Criterio de sostenibilidad
Criterio de participación y transparencia

11. Tipología y enfoques
Ciclo
Criterios
Necesidades Diseño Implemen-
tación
Impacto Eficiencia
Pertinencia Ex ante/Ex post Ex ante / Ex
post
Coherencia Ex ante / Ex post Ex ante / Ex
post
Ex ante / intermedia
/ Ex post
Complementa
riedad
Ex ante / Ex
post
Ex ante / intermedia
/ Ex post
Eficacia Intermedia / Ex post Ex ante / Ex post
Efectividad Ex ante / Ex post
Eficiencia Ex ante / intermedia
Ex post
Sostenibilidad Ex ante / intermedia
Ex post
Participación y
transparencia
Ex ante / Ex post Ex ante / Ex
post
Ex ante / intermedia
Ex post
Ex ante / Ex post Ex ante / Ex post

13. Evaluación de Procesos/implementación
- Lo que hace VS diseño
- Valora operación

14. Evaluación de impacto
- Grado de consecución objetivos
- Atribuir cambios al programa
- Factores y relaciones
Evaluación de eficiencia
- Recursos VS resultados e impactos
Evaluación de Procesos/implementación
- Lo que hace VS diseño
- Valora operación

15. V. EL DISEÑO DE UNA EVALUACIÓN.
Matríz de evaluación
b. Que evaluar (enjuiciar) Y como hacerse

16. V. EL DISEÑO DE UNA EVALUACIÓN.
Enjuiciamiento objetivo
a. Características estructurales de la evaluación
¿En qué consiste exactamente el diseño?
b. Que evaluar (enjuiciar) Y como hacerse
Ex-ante, intermedia, ex post
El foco (que evaluar)
Ámbito (donde evaluar)
Alcance (limitar aspectos a evaluar)
Enfoque (positivista, participativo)

17. Explicar. Preguntas, indicadores, información

18. ¿En qué medida podría haberse reducido los costes sin socavar
los resultados obtenidos? (eficiencia)
— ¿En qué medida la intervención ha generado recursos que
permitan sostenerla en el tiempo? (sostenibilidad)
¿En qué medida se han implementado mecanismos de participación
para el tercer sector? (participación)
— ¿En qué medida se ha comunicado los resultados y los efectos
producidos por la intervención? (transparencia)
Precisar las preguntas

19. Preguntas
Conceptos
Variables
Indicadores
Información
- Que deseamos enjuiciar
- Aspectos a medir
- Que medir
- Forma de medirlo
- Con que medirlo
Variables, magnitudes, hechos o sucesos observables, que permiten responder las
preguntas; “mucho” o “poco” (“sí” o “no”) y medir el grado de intensidad con que
se alcanza (o cumple) el criterio en cuestión
Indicadores

20. Pregunta
“¿en qué medida se han alcanzado los
objetivos de la intervención?” (eficacia)
Indicador
“porcentaje de participantes que
han encontrado un trabajo”
= 95% = se alcanzaron los objetivos
“casi totalmente”

21. Indicadores
CualitativosCuantitativos
- Eficacia
- Efectividad
- Eficiencia
- Sostenibilidad
Juicio interpretativo
Refuerzan y/o explican
- Pertinencia
- Coherencia
- Complementariedad
- Participación
- Transparencia
Directos IndirectosMiden lo que se
desea medir
Miden aspecto distinto pero similar

22. Ejemplo
ObjetivoLograr que 10% de la población con discapacidad encuentre empleo
“¿en qué medida se han alcanzado los objetivos de la intervención?
Pregunta
“porcentaje de participantes que han encontrado un trabajo”
Indicador
Conclusión
indicador = 95% = Alto grado de alcance del objetivo

23. Criterios de evaluaciónConceptos que
incluyen un juicio
de valor en
positivo, deseable
- Pertinencia
- Eficiencia
- Eficacia
- Impacto
- Viabilidad
- Sostenibilidad

24. Fuentes e instrumentos de recogida
de información
Elección, diseño y
utilización
de técnicas de análisis
cuantitativas y
cualitativas