Este documento presenta información sobre la evaluación de proyectos sociales. Cubre temas como los instrumentos de recolección de información primaria y secundaria, así como métodos tradicionales y complementarios para la recolección de datos. También describe el proceso de construcción de instrumentos y la importancia de las pruebas previas. Explica técnicas de análisis de datos e incluye ejemplos de categorías, subcategorías e instrumentos utilizados para evaluar un programa social.
1. EVALUACIÓN
DE PROYECTOS
SOCIALES
S E S I Ó N 6 / S E P T I E M B R E 2 0 2 2
T R A B A J O S O C I A L
D O C E N T E S : R O M I N A P A R I S I V .
4. RETOMANDO LA LÓGICA GENÉRICA DEL DISEÑO DE UNA EVALUACIÓN
PLAN, PROGRAMA, PROYECTO DE INTERVENCIÓN SOCIAL (MIRADA GENÉRICA)
Diagnóstico
Plan de
Intervención
Intervención Evaluación
Evaluación Ex Ante
-DE DISEÑO
-EFICIENCIA
Evaluación intermedia
-SEGUIMIENTO Y
MONITOREO
Evaluación Ex Post
-IMPACTO
-RESULTADOS
Universo de
Estudio
Unidades de
análisis
Hipótesis
Diseño
muestral
Plan de análisis
Contexto y
formas de
recoger
información
Instrumentos Procesamiento
5. LOS INSTRUMENTOS DE RECOLECCIÓN DE
INFORMACIÓN
Información Secundaria Información Primaria Triangulación de Información
(Berumen,
2010)
6. LOS INSTRUMENTOS DE RECOLECCIÓN
DE INFORMACIÓN
MÉTODOS TRADICIONALES
a) Recopilación de mediciones
b) Observación directa: la observación participativa
c) Cuestionarios y encuestas Se llama en forma genérica, a los instrumentos para
la recolección de información aplicables a cualquier tipo de unidad de análisis
que contienen variables relevantes para la evaluación
d) Entrevistas: Estructuradas / Semiestructuradas / Entrevistas temáticas /
Entrevistas informales / Entrevistas a informantes clave
e) Grupos focales
MÉTODOS COMPLEMENTARIOS
i. Análisis de acontecimientos críticos
ii. Caminata transversal participativa
iii. Diarios / Bitácoras
iv. Monitoreo fotográfico o de video
v. Reportes del proyecto
(Berumen,
2010)
8. CONSTRUCCIÓN DE INSTRUMENTOS
Si bien existen múltiples estrategias para la construcción de instrumentos, siempre
deberá tener un orden lógico y coherencia interna, esto surge de los objetivos y lo que
nos interesa evaluar.
Ob. general Ob. Específicos Variable/Categoría Sub categoría Pregunta
9. EJEMPLOS
Cuantitativo
Escala Likert clásica
Muy alto / no
opina
Cualitativo
Preguntas abiertas
que derivan de las
categorías y sub
categorías
Evaluar la
percepción que
poseen las y los
vecinos con
respecto a una
intervención x en
una comuna x
Conocer el grado
de
satisfacción/insati
sfacción que
poseen las y los
vecinos con
respecto a la
intervención
Variable/Categoría
s
- Nivel de
satisfacción
Ob. general Ob. Específicos Variable/Categoría Sub categoría Pregunta
Sub Categorías
-Utilidad
-Pertinencia
11. • Teoría de sistemas https://www.youtube.com/watch?v=QbBy20GPlqc
12. A CONSIDERAR CON LA CREACIÓN DE
INSTRUMENTOS
La evaluación de un proyecto se inicia con una descripción del mismo y con la
presentación de las hipótesis centrales que permitan verificar la eficiencia
el impacto y los efectos producidos como resultado de su implementación. Para la
verificación de las hipótesis se recurre a los instrumentos de recolección de
información, que deben acompañarse de las instrucciones para su uso, para que los
datos obtenidos posean los niveles de validez y confiabilidad deseados. Por otro lado, el
diseño de los instrumentos debe realizarse teniendo en cuenta los pasos más
directamente vinculados a la estructura formal del procesamiento de la
que se ha recogido (codificación y graboverificación (Data Entry).
13. LA PRUEBA PREVIA
La prueba previa es un paso para determinar la viabilidad y
adecuación de los instrumentos y del personal que tiene a su
cargo el relevamiento de la información. Al mismo tiempo
mostrar la correspondencia que existe entre la relevancia
teóricamente asignada a las variables seleccionadas y los
resultados de su aplicación.
Para cumplir con estos objetivos se obtiene una muestra de la
muestra previamente seleccionada. Esta submuestra debe ser
diseñada tratando de cubrir todo el campo de variación de las
unidades de análisis y de los valores de las variables que se
intentan medir.
La prueba previa también puede llevar a efectuar cambios en
los instructivos y en el entrenamiento del personal que llevará
cabo el relevamiento de la información. Con base en la prueba
14. LAS FORMAS Y PASOS DEL
PROCESAMIENTO
Después de efectuada la recolección, hay varios pasos que usualmente se realizan
para el procesamiento de la misma información. Ellos son:
a La codificación
b El análisis de consistencia de las
variables
c/ Análisis de la
distribución y de la
relación existente entre
variables
15. A LA CODIFICACIÓN
• Es la tarea de asignar números a las variables y a los valores que éstas puedan asumir
dentro de su rango de variación
Esta asignación de
códigos o números a
las variables, nos
permite agrupar los
elementos asociados
a las variables y
ordenarlos para su
posterior análisis.
16. Estos análisis tiene por objeto determinar el agrupamiento de los valores de la
variable según la distribución que ellos presenten en la muestra (puntos de quiebre).
A partir de aquí es posible aplicar el plan de análisis ya diseñado, complementándolo
con las nuevas hipótesis que surjan de explorar los datos.
b El análisis de consistencia
de las variables
c/ Análisis de la distribución
y de la relación existente
entre variables
17. TÉCNICAS DE ANÁLISIS
Análisis FODA Análisis de las partes interesadas Cambio más significativo:
Se discuten en grupo las fortalezas y
dificultades (internas), así́ como las
oportunidades y amenazas
en relación con un proyecto o un
proceso.
Lluvia de ideas para analizar a los
actores relacionados con el
proyecto: quiénes son
quiénes lo implementan y quiénes
toman decisiones que pueden
afectarlo, entre otros.
Identificar cambios significativos o
críticos (tanto positivos como
negativos) en relación con los
objetivos del proyecto
(Berumen,
2010)
18. TÉCNICAS DE ANÁLISIS
Diagrama de Venn
Es una herramienta em- pleada
para ilustrar las relaciones entre
diversos actores, organizaciones,
proyectos, servicios o
vinculadas con la intervención
TÉCNICAS DE JERARQUIZACIÓN
•Matriz de puntuación
•Matriz de doble entrada
•Escalas de valoración o de preferencias:
•Evaluación Multicriterio
(Berumen,
2010)
19. EJEMPLOS
Pregunta Investigación Hipótesis Objetivo General Objetivos Específicos
¿En qué medida
los Dirigentes de los
Consejos Vecinales de
Desarrollo que el
de Recuperación de
Vulnerables “Quiero Mi
Barrio” interpretó las
expectativas de los vecinos
y cumplió con sus
objetivos, en relación a su
implementación y logros, y
a las proyecciones que se
generaron en el barrio con
posterioridad a la
intervención?
• Los dirigentes de los CVD hacen una
evaluación positiva del Programa,
principalmente debido a que la inversión de
recursos realizada por éste en la
recuperación de su barrio es algo que ellos
tienen escasas posibilidades de alcanzar
sus propios medios.
• Los dirigentes de los CVD valoran más los
avances materiales del Programa que los
beneficios referidos a la integración social
los vecinos. En relación a esto último, ellos
consideran que por sobre la integración
social del barrio, el principal logro fue el
fortalecimiento de su rol como dirigentes.
• A pesar de ello se juzga que el
fortalecimiento de las capacidades de
gestión de los dirigentes de los CVD, por
parte del Programa, fue insuficiente para
darle continuidad y proyección al desarrollo
material y social del barrio.
Comprender el
significado y valoración
que dirigentes de los
Consejos Vecinales de
Desarrollo tienen de la
implementación, logros
proyecciones materiales
sociales para sus barrios,
de la versión piloto del
Programa “Quiero Mi
Barrio”, en cuatro
comunas de la Región
Metropolitana.
• Recoger la percepción de la
implementación y los logros
materiales y sociales, alcanzados
por el Programa para el
desarrollo del barrio, desde la
perspectiva de los dirigentes de
los CVD.
• Valorar el proceso de
transformación que generó el
Programa en los barrios según la
opinión de los dirigentes de los
CVD.
• Conocer la importancia y
significados que le atribuyen los
dirigentes de los CVD al
Programa y a su barrio después
de la intervención de éste.
“Quiero Mi Barrio” ¿una experiencia positiva de
recuperación de barrios?: evaluación ex post desde la
perspectiva de dirigentes de los Consejos Vecinales de
Desarrollo (Igor, 2015)
20. EJEMPLOS
Categorías Sub-Categorías Propósito Instrumentos Análisis Información
Contexto
Histórico
Conformación del barrio
Construcción de viviendas
Actividades comunitarias que se
hacían
Dinámica comunitaria a la llegada
del QMB
Conocer desde el relato de los dirigentes
cuál es la historia del barrio, pero también
cuál es la historia de ellos, como parte del
contexto que determina la intervención del
Programa
a. Historias
de barrio
b. Diagnóstic
os
c. Entrevistas
semi-
estructura
as
i. Análisis según
categorías
ii. Correspondencias
y diferencias
intra-barrios e
inter-barrios
iii. Otras categorías
que instalan los
actores
iv. Elementos
transversales a
todos los actores
y en todos los
barrios
Proceso de
implementaci
ón
Llegada y expectativas
Participación
Actividades realizadas
Proyectos ejecutados
CVD
Los dirigentes hacen una valoración del
Programa, de las acciones que éste realizó
su intervención y de lo que significó todo el
proceso.
Logros y
valoración del
Programa
Cuáles fueron los logros del
Programa
Importancia de la intervención de
éste
Qué transformaciones se
Qué faltó
Los dirigentes indican los logros alcanzados,
la importancia de estos, que
transformaciones identifican en el barrio, y
que adecuaciones o mejoramiento a la
intervención del Programa harían.
Valoración del
barrio y
proyecciones
Participación
Compromisos y solidaridad
comunitaria
Calidad del barrio y de las
Luego de la intervención del Programa los
dirigentes hacen una valoración de su
de lo que hoy ahí sucede, las relaciones
vecinales, actividades comunitarias y desde
“Quiero Mi Barrio” ¿una experiencia positiva de
recuperación de barrios?: evaluación ex post desde la
perspectiva de dirigentes de los Consejos Vecinales de
Desarrollo (Igor, 2015)
21. C Ó M O
M E J O R A R L A
C A L I D A D D E
L A
I N F O R M A C I Ó N
(Berumen,
2010)
22. CÓMO MEJORAR LA CALIDAD DE LA
INFORMACIÓN
Recoger únicamente la información que será́ útil y que
podrá́ emplearse.
Realizar una planeación adecuada
Reunir datos fiables, válidos y creíbles
Validación de la información
Triangulación de las fuentes
Combinar datos cuantitativos con información cualitativa
Participación de beneficiarios
Capacitación y preparación de quienes participan en la
recolección
Flexibilidad en la revisión de indicadores
(Berumen,
23. REFERENCIAS
BIBLIOGRÁFICAS
• Berumen Milburn, Jaqueline (2010). Monitoreo y Evaluación de
Proyectos. Escuela Latinoamericana de Cooperación y Desarrollo.
Medellín-Colombia.
• Canales Cerón, Manuel (2006). Metodologías de investigación social.
Santiago. Lom Ediciones. 408 p.
• Cohen Ernesto y Franco Rolando (2012). Evaluación de proyectos
sociales. Editorial siglo XXI. México.
• Pérez Serrano, Gloria (2016). Diseño de proyectos sociales:
aplicaciones prácticas para su planificación, gestión y evaluación.
Editorial Narcea. Madrid, España.
• Nirenberg, Olga ( 2017). Evaluar para la transformación :
Innovaciones en la evaluación de programas y proyectos sociales.
Editorial Paidos, Buenos Aires, Argentina.
• Hernández Sampieri, Roberto, Fernández Collado, Carlos y Baptista
Lucio María del Pilar (2010). Metodología de la investigación. México
D.F.: Mcgraw-Hill.