El documento presenta los pasos clave de la Evaluación Orientada al Uso (EOU) propuesta por Michael Quinn Patton, la cual busca garantizar que la evaluación de políticas sea útil, factible, precisa y apropiada. La EOU involucra 17 pasos que van desde valorar la disposición de los involucrados y definir los usuarios primarios, hasta diseñar la evaluación considerando la teoría de cambio, asegurar el entendimiento de los hallazgos y realizar una metaevaluación. El objetivo es maximizar el uso de los resultados de la evaluación para mejorar las

1. USOS DE LA EVALUACIÓN
Hugo Chavarría
Especialista en Análisis Estratégico
CAESPA
Proyecto Competitividad y Sustentabilidad de Cadenas Agrícolas
IICA – Sede Central
Taller: Buenas prácticas para la evaluación de políticas para la agricultura
Montevideo, Uruguay, 13 y 14 de Junio 2017
Luis Morán
Especialista en Agronegocios
Representación del IICA en Perú

2. Pensando en la política evaluada: ¿Cuándo
son útiles los resultados de la evaluación?
• Cuando NO forman parte de
auditorias o vigilancias
• Cuando NO son vistos como
ejercicios de control o
intervención
LOS NO LOS SI
• Cuando se basan en una cultura
de rendición de cuentas
• Cuando retroalimentan las
políticas
• Cuando contribuyan a evaluar
riesgos y construir acciones
correctivas

3. El diseño de políticas públicas basadas en
evidencia (Bardach)
1. Definir el problema público
2. Recopilar información:
3. Construir alternativas
4. Seleccionar criterios para evaluar los resultados de cada alternativa
5. Proyectar resultados
6. Confrontar costos
7. Decidir
8. Contar la historia

4. El diseño de políticas públicas basadas en
evidencia (Bardach)
• ¿Por qué no sucede? Críticas desde la ciencia
• Las políticas públicas no son necesariamente racionales
• Cuando se habla de evidencia se piensa en experimentos controlados RCT
• La investigación científica no es la única fuente de evidencia
• Pero además:
• Tomadores de decisión carecen de autonomía
• Instituciones incipientes: rotación, falta de capacidades, poca influencia
• Poca institucionalización de la evaluación: baja demanda
• Falta de insumos para investigación y evaluación (estadísticas)

5. El diseño de políticas públicas basadas en
evidencia (Bardach)
• Pero también hay condiciones que las promueven:
• Crisis económicas o políticas
• Incertidumbre, búsqueda de alternativas, momentos de riesgo, etc.
• Transiciones políticas
• Presiones internas y externas
• Desarrollos de nuevas tecnologías de información y análisis
• Difícil clamar falta de conocimiento

6. ¿Qué encontramos en la investigación del IICA?
El uso de los resultados de la evaluación dependerá de:
a) La participación de los evaluados en la evaluación
b) La calidad de la información generada
c) El convencimiento de los beneficios de la evaluación
d) La generación de recomendaciones de utilidad
e) El uso de metodologías de evaluación de utilidad para la institución rectora
f) La consideración de la diversidad socioeconómica y cultural

7. Las Evaluaciones Orientadas al Uso – Patton -
• Desarrollada por Michael Quinn Patton (sociólogo presidente de
AAE), bajo el argumento de que evaluación debe ser:
• Útil: relevante y de utilidad
• Factible: realista, prudente y alcanzable
• Preciosa: técnicamente adecuada para lo que se quiere
• Apropiada: respetuosa y ética
• Lleva 5 ediciones: cada edición actualiza considerando desarrollo de
la teoría y evidencia empírica
• La presente edición fue implementada de manera estricta en proceso
de políticas públicas en Asia y cuenta con casos documentos

8. ¿En qué consiste la EOU?

9. Paso 1: valorar la disposición
del proyecto
Facilitación
participativa
-Clarificar el enfoque
-Comunicar su valor
y requerimientos
-Explicar y proveer
un análisis de actores
-Preparar a los
participantes
-Planear, facilitar y
negociar mejoras
¿Cómo?
Valorar
compromiso:
-enfoque
Determinar
disposición
-Tiempo
-Recursos
-Participación
Determinar
mejoras
¿Qué hacer?
Asegurar
entendimiento e
interés en la EOU
¿Para qué?
Preparación de la
evaluación

10. Paso 2: valorar la idoneidad
del evaluador
-Sincerar el nivel de
conocimiento
-Orientar y mantener
el foco en el uso de
la evaluación
-Desarrollar
destrezas de
facilitación
-Autorreflexión
honesta
¿Cómo?
Valorar
-Conocimiento
-Compromiso
-Habilidades
Asegurar
preparación
respecto a cómo
será evaluado
¿Qué hacer?
Garantizar que el
facilitador de la
evaluación
cuente con las
habilidades
requeridas.
¿Para qué?
Preparación de la
evaluación

11. Paso 3: identificar el usuario primario
de la evaluación
Facilitación
participativa
-Determinar
-Generar
-Incrementar
Las características
que contribuyan al
proceso
¿Cómo?
Identificar y
seleccionar
-Interés , apertura
-Conocimiento de la
organización
-Experiencia previa
-Comprensión EOU
-Relaciones
-Credibilidad y
autoridad
-Disponibilidad para
estar y aprender
¿Qué hacer?
Conocer quiénes
son los usuarios
primarios, sus
objetivos y sus
necesidades con
fines de
involucramiento
y desarrollo
.
¿Para qué?
Preparación de la
evaluación

12. Paso 4: análisis situacional
-Examinar experiencias
previas
-Identificar factores
favorables y posibles
barreras de uso
-Elaborar estrategias
-Incorporar al pto y
cronograma
-Fortalecer y equilibrar
liderazgos , equipos
-Pensamiento de
contingencia
-Repasar 1 a 4
-Aumentar capacidades
¿Cómo?
Identificar, valorar,
y entender los
factores
situacionales que
puedan afectar el
uso de los
hallazgos, y actuar
con base en ellos.
¿Qué hacer?
Favorecer el uso
de la evaluación
a partir de tener
en cuenta
factores
situacionales
claves
.
¿Para qué?
Preparación de la
evaluación

13. Paso 5: definir los usos primordiales
de la evaluación
-Ayudar a entender
los tipos de
evaluación, las
opciones de uso y la
importancia de
priorizar
-Ayudar a establecer
prioridades y
resolver conflictos
-Evitar la tentación
de jugar con un poco
de todo
¿Cómo?
Identificar y
priorizar los usos
primordiales
mediante la
determinación de
los objetivos
prioritarios
¿Qué hacer?
Garantizar que
los usuarios
asuman el
control de los
propósitos de la
evaluación
.
¿Para qué?
Preparación de la
evaluación

14. Paso 6-7-8: ajustar el enfoque y
prioridades de la evaluación
-Tener en cuenta
objetivos y
beneficiarios
-Ofrecer un menú de
opciones de enfoque
-Escuchar y ayudar a
identificar preguntas
relevantes , enfocadas
-Confrontar con la
acción
-Asegurar que se han
considerado
implementación,
resultados y
atribuciones.
¿Cómo?
Traducir usos en
temas y preguntas
claves de
evaluación
cuidadosamente
formuladas
Mejorar o ajustar
las preguntas clave
en el proceso
Verificar áreas
fundamentales
¿Qué hacer?
Ayudar a los
usuarios a revisar
y confirmar los
usos que se le
dará a la
evaluación,
establecer
prioridades y
asegurar el buen
direcciona-
miento
.
¿Para qué?
Diseño de la
evaluación

15. Paso 9: Determinar la teoría
de cambio que está siendo
evaluada
-Ayudar a comprender y
utilizar la teoría de
cambio en la EOU
-Diseñar una evaluación
para probar hipótesis
de atribución causal
-Seleccionar
herramientas y
métodos apropiados
-Fabricar hallazgos
cercanos a la realidad
para generar
aprendizaje
-Mantener a los
usuarios informados
¿Cómo?
Vincular diseño y
teoría de cambio
Tomar decisiones
de diseño de la
evaluación
Simular los datos y
su potencial uso
Mejorar o ajustar
las preguntas clave
en el proceso
¿Qué hacer?
Garantizar que la
selección de los
métodos y el
diseño de la
evaluación
genere hallazgos
útiles para los
usos pretendidos
.
¿Para qué?
Diseño de la
evaluación
Paso 10: Diseño de la evaluación
Paso 11: Asegurar que los usuarios
entiendan posibles transcendencias
de las controversias
Paso 12: Simulación del uso

16. Desempeño de la evaluación
•Facilitación
del uso
•Seguimiento
con los
usuarios
• Análisis de
datos
• Recolección
de datos
13 14
1516
 Trabajar con el usuario aprendizajes para
usar los hallazgos a lo largo del proceso
 Examinar los usos potenciales y los
posibles usuarios más allá de los definidos
al inicio
 Seleccionar los mecanismos y medios de
diseminación (usos definidos y adicionales)
 Identificar posibles usos inapropiados y elaborar
un plan para que los usos sean los apropiados
 Permanecer involucrado más allá de la
elaboración formal de los informes

17. Paso 17: Metaevaluación
-Mantenerse abierto
al aprendizaje
-Encontrar el tiempo
y los recursos para el
trabajo de campo
necesario
-Ayudar al usuario a
ser abierto y
reflexivo
¿Cómo?
Seguimiento
-grado en el que se
lograron los usos
deseados
-Nuevos usos y
usuarios
-Usos inapropiados
o consecuencias
indeseables
¿Qué hacer?
Aprender algo
nuevo de cada
evaluación
.
¿Para qué?