Como evaluar proyectos sociales

1. REPÚBLICA BOLIVARIANA DE VENEZUELA
UNIVERSIDAD PEDAGÓGICA EXPERIMENTAL LIBERTADOR
VICERRECTORADO DE INVESTIGACIÓN Y POSTGRADO
SUBPROGRAMA EDUCACIÓN PARA LA GESTIÓN COMUNITARIA
EVALUACIÓN DE PROYECTOS SOCIALES COMUNITARIOS
Participantes:
Prof. Tulio Anzola
Prof. Nelly Chiquito
Prof. Maylett Castillo
Prof. Elizabeth Guerrero
Facilitadora:
Dra. Mélida Bermúdez
Maracaibo, junio 2012

3. Se podría decir que la evaluación es un proceso que
facilita la identificación, la recolección y la
interpretación de informaciones útiles a los
encargados de tomar decisiones y a los
responsables de la ejecución y gestión de los
programas (Abdala, 2002).
Por lo tanto la evaluación es el proceso que se lleva
a cabo mediante observación directa, seguimiento,
monitoreo y registro de las acciones, y gestión,
antes y durante la ejecución del proyecto así como
de su resultado.

6. COHERENCIA, donde se analiza en función del grado
de integración lógica de los distintos componentes del
proyecto (Objetivos, actividades, recursos, indicadores,
factores externos y otros )
PERTINENCIA, donde se analiza la capacidad del proyecto para dar
respuesta a las necesidades o problemas reales de los grupos y sujetos
involucrados. En esta instancia debemos considerar también los
recursos disponibles para lograr los objetivos.
RELEVANCIA, donde analizamos el grado de significado de las
acciones y resultados para los sujetos involucrados en el proyecto. Se
entiende así que un proyecto es relevante cuando resulta ser
significativo para las personas hacia quienes están dirigidas las
acciones de cambio.

7. Costo- beneficio
Basado en un principio económico que en
términos generales, sostiene que un proyecto es
exitoso si el beneficio que genera la inversión en
un período determinado, es mayor que la que se
puede obtener con otra alternativa durante el
mismo período. Por otra parte considera que un
proyecto es más efectivo cuando logra sus
productos con un menor costo y los beneficios
sociales obtenidos son mayores que la inversión
realizada.

8. Eficiencia
La evaluación de la eficiencia de los proyectos tiene
como objeto el análisis de los recursos o insumos
utilizados para realizar las actividades y obtener los
resultados o productos esperados. Un proyecto es
eficiente si ha tenido un adecuado gasto y no ha
producido déficit en su operación. Es decir, si ha
optimizado el uso de los recursos materiales y humanos
de los que dispone.

9. En función del momento de realización
y los objetivos que persigue
Evaluación Ex - Ante
Se realiza previo al comienzo del proyecto, tomando en
cuenta factores anticipados en el proceso decisorio.
Tiene por finalidad proporcionar criterios racionales
para una decisión crucial cualitativa: si el proyecto debe
o no implementarse.
Evaluación Ex - Post
Se lleva a cabo cuando el proyecto ya está en ejecución
o ha concluido y las decisiones se adoptan a base de
los resultados efectivamente alcanzados. En este ultimo
caso busca ver el uso futuro de la experiencia realizada.

10. DIAGRAMA PROCESO DE EVALUACION
EX-ANTE
ADMISIBILIDADADMISIBILIDAD
ADMISIBLEADMISIBLE
NO ADMISIBLENO ADMISIBLE
EVALUACION
TÉCNICA
(Coherencia,
pertinencia,
relevancia )
EVALUACION
TÉCNICA
(Coherencia,
pertinencia,
relevancia )
Técnicamente elegibleTécnicamente elegible
Técnicamente no elegibleTécnicamente no elegible

11. Evaluación en función de quien la realiza
Evaluación Externa
La realizan personas ajenas a la organización,
generalmente son evaluadores con mayor experiencia en
actividades de esta especie. Se considera una evaluación
más objetiva por ser realizada por alguien que no pertenece
a la organización.
Evaluación Interna
El evaluador es una persona parte del proyecto. Tiene un
aspecto positivo porque debería existir colaboración del
equipo, pero puede ser poco objetiva debido a que el
evaluador no seria imparcial.

12. Evaluación Mixta
Se combina la evaluación externa y la evaluación interna.
Esto permite que evaluadores externos realicen su trabajo en
estrecho contacto y con la participación de los miembros del
proyecto a evaluar.
Evaluación Participativa
En esta evaluación también son consultados los
beneficiarios(población objetivo). El objetivo es minimizar la
distancia que existe entre el evaluador y los beneficiarios. Se
utiliza particularmente para pequeños proyectos.

13. Criterios de rigor en evaluación de
proyectos
Se debe reducir la subjetividad individual, mediante el
apoyo en la intersubjetividad
(diversos sujetos con diferentes puntos de vista).
Podemos utilizar la “triangulación”, entre:
Abordajes cuantitativos
y cualitativos
Técnicas
Actores

14. Modelo experimental clásico.
Exige seleccionar aleatoriamente una muestra que se
divide, también aleatoriamente, en dos submuestras, el
grupo con proyecto o población beneficiaria (grupo
experimental) y el grupo sin proyecto (grupo de control).
Estas submuestras se seleccionan antes de iniciarse la
operación del proyecto (en la situación de línea de base)
y deben diferir sólo en que la primera recibe los bienes o
servicios del proyecto y la segunda no.
Tomando en cuenta la selección aleatoria de ambos
grupos, las diferencias iniciales entre ellos, si las hay,
debieran ser mínimas. Es decir, entre X e Y no deben
existir diferencias estadísticamente significativas.

15. La lógica de este modelo es idéntica a la del experimental clásico. Se
efectúan mediciones en las líneas de base (LB) y de comparación (LC) y
luego se comparan las diferencias. La distinción radica en que la
pertenencia al grupo con o sin proyecto no se determina aleatoriamente.
La selección se realiza en función de las variables de mayor relevancia en
relación al objetivo de impacto perseguido.
Este modelo es útil cuando se desea evaluar un proyecto durante su
operación y ya se han elegido los "beneficiarios" y los "no beneficiarios".
Si se quiere evaluar un programa de alimentación escolar que está en
funcionamiento, se pueden comparar los niños que asisten a los
comedores escolares con los que, teniendo las mismas características
de déficit nutricional y nivel socio-económico, no asisten, sea por
automarginación, sea porque en su escuela no opera el programa.

16. Este diseño no permite eliminar el efecto del contexto y, por tanto,
tampoco es posible determinar en qué medida los cambios registrados
son imputables al proyecto.
Es posible aumentar la confiabilidad de la estimación a través de la
incorporación de variables de control. Es decir, hacer que los dos
grupos sean los más parecidos posible en todas las variables externas
al proyecto que pudieran incidir en el impacto
Series temporales
Si se cuenta con información sobre indicadores de cambio en un
conjunto de períodos previos y posteriores al proyecto, es posible
hacer un análisis de series temporales, para extraer conclusiones sobre
los efectos imputables al mismo.
Para ello, se construyen curvas sobre la base de mediciones periódicas
efectuadas "antes", "durante" y "después" de la realización del
proyecto. Según las formas que éstas adopten se trata de determinar la
magnitud del impacto que el proyecto produjo.
La siguiente gráfica ilustra un ejemplo de las series temporales.

18. Caso 1. La función de la variable objetivo (x) es monótonamente
creciente y el proyecto no la ha modificado en absoluto.
Caso 2. La curva (+) indica que hubo cambios durante el
proyecto, pero lo mismo ocurre antes y después de éste, lo que
implica que el proyecto no puede ser considerado como la causa
de los mismos.
Caso 3. Es el único (o) donde los cambios son, en principio,
atribuibles al proyecto.
En términos estrictos, con este modelo no es posible aislar los
efectos imputables al proyecto. Es el clásico problema de
establecer la causalidad sin disponer de instrumentos que
controlen los diferentes tipos de variables que la afectan. En el
caso 3, sin embargo, cabe asumir que el proyecto es la causa del
impacto porque ni antes ni después del proyecto se produjeron
cambios, pero no se prueba que el impacto no haya sido
producido por una o más variables exógenas.

19. En ocasiones, es posible definir un grupo de control, que
permite la comparación de los resultados del proyecto
("después"), sin que sea posible contar con información
sobre la línea de base.
Este modelo no controla la posibilidad de que hubiesen
diferencias significativas entre los grupos en la línea de
base. Este efecto se puede disminuir incorporando
variables de control para generar dos grupos que sólo se
diferencien en su pertenencia o no al proyecto.

20. Cuando se evalúa un programa (que incluye un conjunto de
proyectos con iguales objetivos de impacto), el análisis
incluye:
1 La comparación de sus impactos reales (de cada uno),
utilizando su posición en una distribución de frecuencias
(como se indica en el capítulo de monitoreo) y
2 El estudio de la asociación observada entre distintas
variables independientes y el impacto (como dependiente).
Esto permitiría conocer el grado en que cada una influye en el
impacto alcanzado.
Como variables independientes se pueden incluir: costo
(unitario y por tipo de recurso), focalización, cobertura, tipo y
calidad de los productos, ejecutor o tipo de población objetivo,
por ejemplo.

21. Diagrama de flujo del proceso de monitoreo
Evaluación
Ex-antes
Asignación
de Proyecto
y
supervisión
Cierre del
Proyecto
Evaluación
Impacto
Desembol
sos
Operación
(informe)
Ejecución
(informe)
Formali
zación
Visitas
en
terreno
Proyecto
terminado?
Aprobación
informe
Informe
me de
cierre
Infor
mes de
visitas
en
terreno
si
no
no
si

22. En términos metodológicos se caracteriza por estudiar
aquellos fenómenos observables y susceptibles de
medición. El rigor y credibilidad científica se basan en la
validez interna. Los procedimientos más utilizados son el
control experimental, la observación sistemática del
comportamiento y la correlación de las variables.
En general se atribuye este enfoque a los estudios
realizados en las ciencias físico –naturales, puesto que, por
diferentes que sean sus objetos de estudio, generalmente
utilizan procedimientos de naturaleza cuantitativa, aptos
para ser formalizados matemáticamente. En ciencias
sociales, la particularidad del objeto de estudio es la que
impone la consideración cuantitativa y la impide en otros.
Desde esta perspectiva,
resulta necesario desarrollar la objetividad para alcanzar
resultados válidos, sistemáticos y confiables.

23. Ha sido el modelo que muestra mayor utilización.
Por lo general se emplea cuando los beneficios de
un proyecto son fácilmente identificables. Se basa
en la cuantificación de
los costos y beneficios monetarios actualizados a
precios de mercado de un proyecto específico, esto
como resultado de la integración de los beneficios
en una sola unidad de medida que en este caso es
monetaria. En este sentido, este análisis compara
los beneficios y los costos de un proyecto
particular, es por ello que se ha utilizado con gran
éxito en los proyectos económicos.

24. El modelo costo – efectividad, es una variación del modelo
anterior que intenta superar las dificultades constatadas en el
modelo costo – beneficio, sin embargo, ambos análisis buscan
maximizar el logro de los objetivos de un proyecto. La
diferencia más notoria respecto del modelo anterior es que
vincula una variable nueva cual es, el impacto. Así, la
efectividad se relacionada con aquella en la medida que importa
mucho más detectar si el proyecto tiene efectos o no sobre la
población objetivo y selecciona la alternativa más adecuada.
En este modelo se espera que los beneficios logrados con un
proyecto sean económicamente menos costosos, por tanto su
finalidad es comparar las alternativas, según sus costos
unitarios o totales, y luego seleccionar la solución de menor
costo, esto es lo que se denomina Criterio de Mínimo Costo.

25. Se basan en paradigmas interpretativos o comprensivos,
cuyo propósito es “establecer el significado de las acciones
y actividades que se desarrollan dentro del proyecto; su
enfoque es global, holístico, sin referencia a factores
causales ni a variables particulares. Estos últimos utilizan
preferentemente información cualitativa.
Sin duda, la aplicación de estos modelos al momento de
evaluar no es lineal, puesto que en la dinamicidad de la
realidad social, no siempre será posible ceñir lo que
teóricamente se propone en su formulación. Por ello, algunos
modelos de evaluación incorporan elementos de ambos
modelos, básicamente dependiendo de los objetivos que
persiguen. Dentro de estos modelos es posible distinguir los
siguientes.

26. (Contexto, Insumo, Proceso, Producto)
En este modelo se define la evaluación como “un proceso
destinado a delinear, obtener y proporcionar informaciones
útiles para el juzgamiento o ponderación de decisiones
alternativas”10, es decir, es un proceso generador de
información útil para la toma de decisiones, desde el
planeamiento de la idea (proyecto), pasando por la
estructuración relativa a la puesta en marcha y también
decisiones de reciclaje. A su vez, este modelo está formado
por el conjunto de cuatro tipos de evaluación: evaluación
contextual, de insumos, de procesos y del producto.

27. Este modelo fue desarrollado por Michael Quinn Patton11
plantea la superación de la oposición existente entre un
paradigma que privilegia los diseños experimentales con
mediciones cuantitativas y otro que privilegia un diseño
holístico y el uso de datos cualitativos, señalando que el
debate entre paradigmas debiera ser reemplazado por un
paradigma de elecciones, que permita reconocer el uso del
método más adecuado para la situación específica. En este
modelo, la evaluación se inicia con la identificación y
organización de las personas que toman las decisiones
importantes de un proyecto, como también de las personas
que utilizarán la información obtenida por la evaluación. La
focalización está referida a la definición de preguntas
relevantes y la decisión sobre los métodos de recolección y
análisis de datos.

28. Modelo que fue propuesto por Elliot W. Eisner, quién afirma
que “sólo un experto que ha pasado toda una vida en el
campo puede proporcionar evaluaciones mediante el uso
sistemático de la sensibilidad perceptiva, la organización de
la experiencia previa y la refinación de ideas perspicaces o
intuiciones que serían imposibles de obtener de otra forma”.
Utiliza una metodología que combina la experiencia con la
crítica; la experiencia constituye el medio a través del cual
“las cuestiones de confiabilidad y validez pueden manejarse
por la corroboración estructural (validación mutua de una
parte de los datos por el resto, siendo sustentada la
totalidad por las partes que la constituyen); y por la
adecuación referencial (la existencia de una relación entre lo
que dice el crítico educativo y el objeto de su crítica)”

29. El modelo de la evaluación iluminativa, fue desarrollado por M.
R. Parlett y D. E. Hamilton en 1976, planteándose como un
enfoque alternativo al paradigma cuantitativo, privilegiando los
métodos naturalistas centrados en la descripción y la
interpretación.
Representa un enfoque cultural, etnográfico y holístico,
centrado fundamentalmente en realizar una interpretación
“mediante los significados que tales procesos (conductas
personales, interacciones, etc.) tienen para los autores que
participan en un proyecto”.

30. Luego de definir el problema y objetivo, es necesario conocer los
productos. Se entiende por estos los bienes y servicios finales que
son entregados a los beneficiarios (un hospital, plan de
alimentación, etc.). La tecnología desde la cual se va a producir va a
definir los insumos necesarios para esta producción (humanos,
materiales y tecnológicos) y la organización racional de los insumos
para alcanzar sus fines son los procesos. Finalmente, dentro del
mismo proceso de producción aparecen efectos, que son las
reacciones de la población ante la aparición del producto, permiten
medir el grado de producción y conocer el impacto, todo de forma
parcial.
Para lograr que los productos tengan el impacto esperado,
estos deben ser sustentables (existencia de insumos bien
instalados para la producción) y sostenibles (que los
impactos perduren en el tiempo).

31. El impacto es entendido en el texto como la magnitud del
cambio en el problema detectado gracias a la implementación
del proyecto. Este se mide comparando la situación inicial (LB
[línea de base]) con la situación actual (LC [línea de
comparación) y no siempre resulta ser una relación lineal (más
inversión no significa mejores condiciones).
Hay que recordar que los proyectos sociales intentan
intervenir en la situación de equidad, entendiendo esta como
la entrega de beneficios a una población que no podía acceder
a estos por su propia cuenta como producto de una situación
de desigualdad.
La población a la que va orientado el proyecto es la población
objetivo. Por esta se entiende el subconjunto de la población
que será beneficiada. Los datos mínimo que hay que saber de
ésta son el rango de edad de las personas, su estrato
socioeconómico y su localidad geográfica.