1. “Evaluación de políticas y
programas de Salud”
Natalia Yavich
Departamento de Economía y Gestión en Salud
Maestría de Gestión en Sistemas y Servicios de Salud
Firmat, 20 y 21 de Julio de 2007

2. Evaluación
Proceso de determinar el valor o
significación de una actividad, política
o programa. Es una apreciación tan
sistemática y objetiva como sea
posible de una intervención planeada,
en curso o concluida.
Development Assitence Committee. (DAC) Organización para la Cooperación y el
Desarrollo (OECD) (2002) Glosario de los principales términos sobre evaluación y gestión
basada en resultados.

3. Primos hermanos
Monitoreo
Investigación

4. Monitoreo
Función continua que utiliza una
recopilación sistemática de datos sobre
indicadores especificados para
proporcionar a los administradores (…)
indicaciones sobre el avance y el logro
de los objetivos así como de la
utilización de los fondos.
Development Assitence Committee. (DAC) Organización para la Cooperación y el Desarrollo
(OECD) (2002) Glosario de los principales términos sobre evaluación y gestión basada en
resultados.

5. Investigación
Realización de actividades intelectuales y/o
experimentales de modo sistemático con el
propósito de aumentar los conocimientos
sobre una determinada materia.
Real Academia Española. Diccionario de la Lengua Española

6. Trabajo en grupo:
Diferencias entre
E&M y E&I

7. Diferencias entre E & M
Monitoreo Evaluación
Intervención en marcha Previo, durante o luego de la
implementación.
Actividad continua Tarea situada en un tiempo
específico.
Actividad interna Actividad interna, externa o
participativa
Feedback continuo Feedback periódico
El uso de resultados es
responsabilidad del gerente,
generalmente
El uso es responsabilidad
conjunta del evaluador y
actores involucrados en la
implementación

8. Diferencias entre E & I
Investigación Evaluación
Pura o aplicada Aplicada
Usuarios no necesariamente definido Usuarios definidos
Tiempos académicos Tiempos definidos por las necesidades
de los usuarios y el timing de la
intervención
Estándares de evaluación: académicos
(metodológicos y éticos, principalmente).
Estándares de evaluación:
utilidad,
factibilidad (realista, “diplomática”)
apropiada (ética, legalmente),
adecuada (técnicamente adecuada para
determinar el valor de una intervención)
Objetivo y forma de la diseminación:
dirigida a la comunidad académica y
comunicada en formatos académicos
Objetivo y forma de la diseminación:
dirigida a usuarios predefinidos y en
formatos adaptados a las necesidades
del usuario.

9. Objetos de evaluación
 Proyectos: una intervención puntual.
 Programas: conjunto de proyectos.
 Políticas: conjunto de programas alineados en el
marco de un conjunto de normas o estándares.
 Organizaciones: intervenciones múltiples
desarrolladas por una misma organización.
 Sectores: intervenciones relativas a un determinado
campo de acción: salud, educación, etc.
 Temáticas: temas particulares que cruzan distintas
políticas o intervenciones: equidad de género,
pobreza, etc.
 Otras: asistencia a países, etc.

10. Propósitos de la evaluación
 Éticos: generación de reportes dirigidos a tomadores de
decisiones y ciudadanos. Rendición de cuentas,
transparencia.
 Gerenciales: mejorar el manejo de los recursos
financieros y humanos.
 Toma de decisiones: Proveer evidencia para decidir
sobre la continuación, finalización o cambio de una
política.
 Capacitación y motivación: mejora organizacional;
diálogo y cooperación entre actores. Capacitación y
motivación de los actores vinculados con una política,
para lograr un mayor involucramiento y/o comprensión de
la relación entre los procesos de trabajo y el logro de los
objetivos.

11. Información provista por
las evaluaciones
 Sobre la estrategia elegida: ¿Es nuestra
estrategia la mejor opción? (justificación
del diseño).
 Sobre el desempeño de nuestra
estrategia: ¿Está siendo nuestra
estrategia implementada en la forma
adecuada?
 Lecciones aprendidas: ¿Hay otras formas
mejores de lograr el mismo objetivo?

12. Usos pragmáticos de la
evaluación Asignación de recursos.
 Replanteo de las causas de un problema.
 Identificar problemas emergentes.
 Apoyar toma de decisiones para
seleccionar las mejores alternativas o
elegir entre alternativas competitivas.
 Apoyar decisiones de procesos de
reforma o innovaciones.
 Construir consenso sobre las causas de
un problema y los modos de respuesta.

13. Evaluación focalizada en la utilización
Requerimientos:
 Compromiso de los usuarios con la evaluación
 Articulación de evaluadores y usuarios principales
desde la etapa inicial
 Orientación de la evaluación en función de las
necesidades de los usuarios.
De lo contrario es una pérdida de tiempo y
dinero.

14. Tipos de Evaluación según
responsable de su conducción
 Evaluación interna
 Evaluación externa
 Evaluación participativa: evaluador externo +
stakeholders (decisores y beneficiarios)
coordinan acciones durante todo el proceso
de evaluación.

15. Trabajo en grupo
Ventajas de las
evaluaciones interna y
externa

16. Ventajas de las evaluaciones
internas y externas
Interna Externa
Mejor conocimiento del programa Desnaturalización del programa o política
(soluciones o problemas invisibles para un
miembro de la organización)
Mayor conocimiento de la historia
del programa
Mirada más global de la organización
Preguntas más relevantes y
pertinentes
Menos susceptible a presiones e
influencias de los tomadores de decisiones
Se sabe qué está pasando
“realmente”
Mayor credibilidad y percepción de
objetividad
Habilidades especializadas, ausentes en la
organización

17. Tipos de evaluación
 Ex ante o prospectiva: evaluación de
programas o datos previos.
 Evaluación formativa: dirigida a mejorar el
desempeño de una intervención.
 Evaluación sumativa: orientada a
determinar el grado en el cual los alcances
deseados fueron alcanzados por la
intervención.

18. Prospectiva E. Formativa E. Sumativa
Propósito
de la
evaluación
Proveer información
sobre evaluaciones
previas para
determinar las
chances de éxito de
una nueva
intervención
Feedback inmediato
para mejorar el
desempeño
Proveer información sobre el
valor o impacto de una
intervención.
Objetivo
de la
evaluación
Determinar si vale la
pena la inversión.
Determinar la
coherencia entre la
“lógica operativa” y el
funcionamiento real y
sus consecuencias
inmediatas.
Determinar el grado en el
cual el alcance o impacto
anticipado fue realizado.
Momento de
ejecución
Antes Durante la
implementación
Al final
Foco Planificación Implementación y
mejora
Obtener información
(Consecuencias o
resultados) que ayude a
decidir sobre la creación,
continuación o ampliación
de una intervención.

19. Pasos básicos de una evaluación
A. Planificación de la evaluación
o front-end analysis
B. Diseño
C. Recolección de datos
D. Análisis
E. Diseminación de resultados

20. Proceso no lineal

21. A. Planificación de la evaluación
o front-end analysis
1. Comprensión de la relación entre las etapas
de la intervención y la pregunta general de
evaluación general.
2. Comprensión del contexto político de la
intervención. Identificación de stakeholders
3. Construcción de la Teoría o Lógica
Subyacente del programa.
4. Balance de costos y beneficios de la
Evaluación.

22. A. 1. Comprensión de la relación entre las etapas de la
intervención y la pregunta general de evaluación
Etapas de desarrollo de la
intervención
Preguntas Identificación
Planificación
Evaluación necesidades y del
problema social
¿A qué nivel están siendo las
necesidades de la población cubiertas?
Determinación de objetivos ¿Qué debería hacerse para satisfacer
esas necesidades?
Análisis de intervenciones
alternativas
¿Qué servicios deberían brindarse para
producir los cambios deseados?
Selección de una alternativa ¿Qué abordaje es más apropiado?
Programación de la
Implementación
¿Cómo debería el programa ser puesto
en marcha?
Implementación ¿Está la intervención funcionando de
acuerdo con lo planeado?
Resultados ¿Está el programa produciendo los
resultados deseados?
Eficiencia, eficacia, costo-efectividad, etc.
√

23. Identificación de
stakeholders
Interés en el proyecto Capacidad
de influencia
(A, B, C)
Estrategias potenciales para
obtener apoyo o reducir
obstáculos
Gerente de la
intervención
Del buen desempeño del
proyecto depende su
crecimiento político personal,
fuente de ingreso.
A Involucramiento en el proceso
de evaluación desde etapas
tempranas.
Beneficiarios Beneficios del proyecto B Organización de talleres de
consulta con la población e
informativos.
Gerente de otras
intervenciones
relacionadas
Busca el cese de la
intervención dado que es
competitiva con su proyecto
A Involucramiento en ciertas
instancias del proceso de
evaluación.
Población objetivo
no beneficiario, etc. …… ….. ……
Management Sciences for Health (MSH) and UNICEF “Stakeholder Analysis” http://erc.msh.org/quality/ittools/
itstkan.cfm
A. 2. Comprensión del contexto
político: Identificación de stakeholders

24. Trabajo en grupo
15’
 Conformación de grupos en torno
a una intervención
Consigna
 Relación entre las etapas de la intervención y la
pregunta general de evaluación.
 Comprensión del contexto
político: Identificación de stakeholders.

25. A. 3. Comprensión de la intervención:
teoría del programa
Recolección de evidencia
documental y científica
• a. evaluaciones y análisis
de otros programas similares
y
• b. documentos del
programa en cuestión.
Recolección de evidencia
empírica
Cadena de acciones (quien
provee recursos, quien los
recibe, cómo se usan, cuáles
son los obstáculos para
alcanzar los efectos se busca
generar, efectos deseados)
Teoría de cambio

26. A. 3. Teoría de cambio: Modelos lógicos o teoría de programas
 Caja Negra
 Teoría o lógica del
programa
Explicación sistémica y
causal de la influencia del
contexto y de la interacción
de componentes al interior
del sistema.≠
Caja Negra OutcomesInputs
Inputs Outputs
 Evaluación de
productos (outputs)
Contexto

27. 3. Teoría de Cambio
 Modelos: técnicas visuales que ayudan a establecer
una teoría de cambio.
Ejemplos:
 Teoría del Programa
 Modelos lógicos
 Modelo de Efectos del Programa
 Marco lógico, etc.
Teoría de cambio: es la explicitación de las relaciones de causa efecto de
una intervención.
Ventajas:
•Muestran los lazos entre una cadena de eventos que explican las
relaciones entre causas y efectos.
•Ayudan a pensar cómo medir los distintos componentes y comprender su
interacción.
•Ayudan a identificar gaps en las cadenas de relaciones.
•Ayudan a identificar aspectos críticos de la cadena de relaciones.

28. Teoría del programa (Program Theory)
Descripción del programa que combina:
 Teoría normativa (lo que debe hacerse)
 Teoría de los stakeholders (lo que ocurre)
en un modelo causal de relaciones (entre el problema, la
intervención y los efectos deseados).
Utilidad:
 Evaluar la relevancia del programa.
 Evaluar la lógica del programa.
 Confrontar el programa con resultados de
investigaciones.
Etc.

29. Teoría del programa (Program Theory)
Visitas domiciliarias de enfermeras
a padres de recién nacidos
Enfermeras y padres se conocen
comparten visiones e información
Las enfermeras comprenden
la cultura de los padres
Los padres reciben información
sobre la disponibilidad de vacunas
y servicios ofrecidos en el CS
Las enfermeras identifican problemas
en el hogar (violencia, uso de
drogas, padres con discapacidades)
Aumento de < de un año inmunizados
y con esquema de vacunación completo
Consejería con psicólogos,
trabajadores sociales, ayudas
especiales para padres
discapacitados
Conciencia de la importancia
de la vacunación y controles,
humanización de la
relación profesionales / población
Reconocimiento de necesidades
Especiales y humanización de la
relación prof. población

30. Modelo de Efectos del Programa
(Program Outcome Model)
Establece una relación entre:
 Recursos invertidos,
 Actividades desarrolladas con esos recursos
 Servicios provistos a partir de esas actividades
(outputs),
 Cambios generados a partir de los outputs
(outcomes o efectos)
 Cambios de largo términos generados por la
intervención (impacto).
Utilidad: construcción de sistemas de M & E basadas
en resultados.

31. Modelo de Efectos del Programa
(Program Outcome Model)
Ejemplo relativo a un programa de capacitación

32. Modelo lógico (Logic Model)
 Se centra en la comprensión de la relación entre el
programa y sus efectos deseados. Ayuda a identificar
presupuestos críticos.
Componentes:
Básicos: actividades, productos (outputs), resultados
(outcomes)
 Otros componentes: target (grupos o clientes a los
cuales se dirigen las activiades), recursos (inputs),
resultados (cambios) inmediatos, intermedios (outcomes)
y finales (impacto).
 Las relaciones entre cuadros se grafican con flechas que
deben leerse como:  = “si (…) entonces (…)”
 Utilidad: planificación, gestión, evaluación y
comunicación.

33. Watson, Diane (2002) “Atención Primaria de Salud (APS): Marco de Rendimiento, Medida & Evaluación” CHSPR.
Contextos sociales, culturales, políticos legislativos-regulatorios, económicos y físicos, características
poblacionales y participación pública
Productos y servicios APS: volumen, tipo (ej. referencias, prevención, curación, paliativas) y cualidades (ej. respuesta, comprensión
continuidad, coordinación, comunicación interpersonal y efectividad técnica)
Recursos de Salud Humana
Sistema de Salud Sostenible
Actividades y Decisiones a Nivel de Política y Gobernanza
EficaciadeAPS
Ingresos
Actividades
(Permite
entrega de
APS)
Egresos
(Productos y
Servicios)
Resultados
Inmediatos
Mejorar y/o mantener funcionamiento,
resiliencia y salud para individuos
Recursos Materiales
Nivel y distribución mejorada de
salud y bienestar poblacional
Actividades y decisiones en el ámbito de gestión de la atención de salud
Actividades y Decisiones Clínicas
Recursos Fiscales
Reducir riesgos y
efectos de condiciones
sanitarias continuas
Resultados
Finales
Resultados
Intermedios
Mantener o mejorar vida laboral
de trabajadores en APS
Incrementar conocimiento
acerca de la salud y atención
a la salud en la población
Equidad del sistema
de salud
Eficacia del sistema de
salud
Adecuación de lugar
y proveedor
Aceptabilidad
Reducir riesgo, duración y
efectos de condiciones
episodios sanitarios agudos
EfectividaddeAPS
Contextos y
factores
externos

34. Sitios web
 CDC Evaluation Working Group: Logic Model Resources
http://www.cdc.gov/eval/resources.htm#logic%20model
 Community Toolbox. A Framework for Program Evaluation: A Gateway to Tools.
http://ctb.lsi.ukans.edu/tools/EN/sub_section_main_1338.htm
 International Development Research Centre (2004). Evaluation Planning in Program Initiatives Ottawa,
Ontario, Canada. Online:
http://web.idrc.ca/uploads/user-S/108549984812guideline-web.pdf
 Carolien Klein Haarhuis (2005). Promoting anti-corruption reforms: Evaluating the implementation of a
World Bank anti-corruption program in seven African countries. Available online at:
http://igitur-archive.library.uu.nl/dissertations/2005-0714-200002/full.pdf
 Management Sciences for Health (MSH) and the United Nations Children’s Fund (UNICEF), “Quality
guide: Stakeholder analysis” in Guide to managing for quality.
http://bsstudents.uce.ac.uk/sdrive/Martin%20Beaver/Week%202/Quality%20Guide%20-%20Stakeholder
%20Analysis.htm
 Porteous, Nancy L., Sheldrick, B.J., and Stewart, P.J. (1997). Program evaluation tool kit: A blueprint for
public health management. Ottawa, Canada: Ottawa-Carleton Health Department. Available online at
http://www.phac-aspc.gc.ca/php-psp/tookit.html (English) or
http://www.phac-aspc.gc.ca/php-psp/toolkit_fr.html (French)
 Taylor-Powell, Ellen (2005). “Logic models: A framework for program planning and evaluation”. Madison
WI: University of Wisconsin-Extension, Program Development and Evaluation.
http://www.uwex.edu/ces/pdande/evaluation/pdf/nutritionconf05.pdf
 University of Ottawa Program Evaluation Toolkit. Program Logic Model:
http://www.uottawa.ca/academic/med/epid/excerpt.htm
 University of Wisconsin-Extension (UWEX). Logic Model:
http://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html
 University of Wisconsin-Extension examples of logic models.
http://www.uwex.edu/ces/pdande/evaluation/evallogicmodelexamples.html
 W.K. Kellogg Evaluation Logic Model Development Guide:
http://www.wkkf.org/pubs/tools/evaluation/pub3669.pdf

35. Pasos básicos de una evaluación

36. B. Diseño
1. Definición de preguntas.
2. Selección del diseño.

37. B. Diseño. Preguntas.
Propósito: Dan sentido / dirección a la
evaluación.
Requerimientos: Claras, realistas,
medibles, centradas en lo importante, consideración
del ciclo político de la intervención (enfocadas en el
uso).

38. B. Diseño. Preguntas.
Tipo de preguntas:
Descriptivas:
- Qué? Quién? Cómo? Cuánto? Cuándo? Dónde?
- Foco en descripción de inputs, actividades, outputs y
opiniones.
Normativas:
- Comparación entre lo que ocurre y lo que debería ocurrir
(target u objetivo específico).
- Foco en medición de inputs y outputs.
Causa-Efecto:
- Qué cambios ocurrieron como resultado de la
intervención?
- Foco en medición Outcomes e impactos.

39. B. Diseño. Tipos.
¿Qué diseño se requiere para responder a las preguntas planteadas?
P. Descriptivas P. Normativas P. Causa – Efecto
Transversal: X O1 Transversal Estudios experimentales
Control de la intervención (Ético?)
- Estudios controlados randomizados:
 Caso control Ex ante – Ex post:
O1 O3 On
X
O2 O4 On
Cross-sectional: X O1
(respuestas de X O2
distintos sub-grupos) X On
Cross-sectional
Ex ante – Ex post: O1 X O2 Ex ante – Ex post:
Series temporales: (con el mismo tipo
de población o con la misma
población -longitudinal)
O1 X O2 On (antes y después)
ó
X O1 O2 On (después)
Series temporales Estudios cuasi-experimentales
(Asignación de casos y controles no
aleatoria)
Control de variables
-Casos controles
-Cross-sectional, etc.
Estudio de caso: Análisis profundo +
información contextual
O1
O2
On
Estudio de caso Estudios no experimentales
Control de variables
-Estudio de caso
-Ex ante – Ex post
X = Intervención; O = Observación
Contexto + intervención

40. Campbell Collaboration
 Información para toma de decisiones sobre
efectos de intervenciones no médicas.
 Información evaluaciones y diseños.
 Diseminación de revisiones sistemáticas y
estudios para su uso por decisores,
practicantes y investigadores.
http://campbellcollaboration.org

41. C. Recolección de datos

42. C. Recolección de datos
Sitios Web
 Dunham, Randall B. (1998). The Delphi Technique, from Organizational Behavior, University
of Wisconsin School of Business:
http://instruction.bus.wisc.edu/obdemo/readings/delphi.htm
 Evaluators' Instruments Exchange. Online: http://141.218.173.232:120/xchange/default.htf
 Harrell, A. Evaluation Strategies for Human Services Programs: A Guide for Policymakers
and Providers. Online:
http://www.bja.evaluationwebsite.org/html/documents/evaluation_strategies.html
 Carter McNamara, MBA, PhD, General guidelines for conducting interviews. Online at:
http://www.managementhelp.org/evaluatn/intrview.htm#anchor615874
 Nielsen, J. (1997). The use and misuse of focus groups. Online:
http://www.useit.com/papers/focusgroups.html
 Porteous, Nancy L., Sheldrick, B.J., and Stewart, P.J. (1997). Program evaluation tool kit: A
blueprint for public health management. Ottawa, Canada: Ottawa-Carleton Health
Department. Available online at
http://www.phac-aspc.gc.ca/php-psp/tookit.html (English) or
http://www.phac-aspc.gc.ca/php-psp/toolkit_fr.html (French)
 The Measurement Group: Evaluation/Research Tools. Online:
http://www.themeasurementgroup.com/evalbttn.htm

43. Matriz de diseño de la evaluación
Tipo de
evalua-
ción (P,
F, S)
Preguntas Tipo
(D, N, C-E)
Tipo de
diseño
Métodos de
recolección de
información
Fuentes
(P, S)
Variables /
Categorías
(Outcomes)
S
¿Qué factores están
impidiendo o
facilitando la
continuidad de la
atención?
D Transversal Encuesta a
beneficiarios
Entrevistas con
proveedores
Observaciones
en CS
P
P
P
Continuidad
de la
atención
¿Qué cambios en la
coordinación inter e
intra institucional
produjo el programa
x en el sistema Y?
C-E Estudio de
caso
Entrevistas
Revisión de
documentos
Análisis de
bases de datos
P
S
S
Mecanis-
mos de
Coordina-
ción inter e
intra
Orga-
nizacinal

44. E. Análisis de información
 Análisis cualitativo:
- Análisis de contenido
 Ethonograph website at:
http://www.qualisresearch.com/default.ht
m
 Qualpro website at:
http://www.qualproinc.com/
 Hperqual website at:
http://home.satx.rr.com/hyperqual/
 Atlas-ti website at:
http://www.atlasti.com/
 QSR Software, for N^ (formerly
NUD*IST) website at:
http://www.qsr.com.au/
 Loughborough University Department of
Social Sciences. New methods for the
analysis of media content. CAQDAS- A
primer.
http://www.lboro.ac.uk/research/mmetho
ds/research/software/caqdas_primer.htm
l#what
 Análisis cuantitativo:
- Estadística descriptiva (frecuencias,
porcentajes, promedios, moda, desvío
estándar, etc.)
- Estadística inferencial (medidas de
asociación y correlación)
•Porteous, Nancy L., Sheldrick, B.J., and Stewart, P.J. (1997). Program
evaluation tool kit: A blueprint for public health management. Ottawa,
Canada: Ottawa-Carleton Health Department. Available online at
•http://www.phac-aspc.gc.ca/php-psp/tookit.html (English) or
•http://www.phac-aspc.gc.ca/php-psp/toolkit_fr.html (French)
•StatSoft, Inc. (2001). Electronic Statistics Textbook. Tulsa, OK:
StatSoft.
•http://www.statsoft.com/textbook/stathome.html
•Statistics at Square One
•http://bmj.bmjjournals.com/collections/statsbk/index.shtml
•Stat Primer
•http://www2.sjsu.edu/faculty/gerstman/Stat Primer
•Statistics Computer Programs
•SPSS (free 30 day download)
•http://www.spss.com
•Online tutorials for SPSS
•Tutorial for SPSS v. 11.5
•http://www.datastep.com/SPSSTraining.html/
•Getting Started with SPSS for Windows
•http://www.indiana.edu/~statmath/stat/spss/win/
 Métodos mixtos:
-Triangulación de fuentes P y S
-Triangulación de técnicas
-Triangulación de datos
Para corroboración, informar una
técnica con otra, complementar

45. E. Diseminación de resultados.
Feedback continuo y audiencia en mente: mejoran las
chances de apropiación de resultados y relevancia de la
evaluación.
Estructura “clásica” de un informe final
 Informes parciales
 Antecedentes y contexto de la evaluación.
 Propósito de la evaluación.
 Alcance de la evaluación y metodología.
 Resultados (hallazgos).
 Lecciones aprendidas / Recomendaciones (basadas en los
hallazgos)