Reflexiones sobre criterios y procedimientos para evaluar proyectos de investigación

1. Evaluación de la Investigación
Métodos evaluativos aplicados en investigación con
consideración de aspectos científicos y éticos
La evaluación es más un proceso ético que técnico
Manuel González Ávila
Universidad Mariano Gálvez
Octubre de 2012

2. Evaluación en investigación
¿Por qué profundizar en los métodos de la evaluación?
 Estas reflexiones se guían por el criterio de que los
métodos de la evaluación, al igual que los de la
planificación, deben ubicarse frente a las condiciones
históricas y el futuro deseado por los países
latinoamericanos.
 En nuestros pueblos un problema importante es cómo crear
posibilidades para los cambios congruentes con la
construcción de la paz y la democracia, en condiciones de
vida que reconozcan la dignidad humana.

3. Evaluación en investigación
Epistemología de la evaluación1
 La evaluación es una actividad que todas las personas
realizan constantemente para juzgar si algo está adecuado
o inadecuado, satisfactorio o insatisfactorio, bueno o malo.
 La naturaleza de la evaluación está fundamentalmente
vinculada a nociones éticas, valorativas o morales acerca
de lo que se evalúa.

4. Evaluación en investigación
Epistemología de la evaluación
 El ente evaluado es conocido por medio de observaciones
(comunes o científicas), entrevistas, diálogos, discusiones
en grupo, mediciones y, ocasionalmente según la
naturaleza de lo que se evalúa, experimentos y pruebas.
 Con los datos obtenidos de los procedimientos evaluativos
construimos los juicios evaluativos.
 A veces diseñamos escalas evaluativas (de 0 a 10, de la A
a la F, distribuciones estadística y otras) como paso previo
de la elaboración de los juicios.

5. Evaluación en investigación
Epistemología de la evaluación
 La naturaleza fundamental de los procedimientos propios
de una evaluación refleja, por lo general, una importante
carga de subjetividad que reproduce los intereses del
evaluador, o quien encarga una evaluación, pero pocas
veces indica los juicios o pareceres de los que son
directamente interesados o afectados.

6. Evaluación en investigación
Epistemología de la evaluación
 A diferencia de los métodos empiristas de la ciencia
(comúnmente basados en enfoques positivistas que se
preocupan por la objetividad, la confiabilidad y el carácter
lógico-racional de sus procedimientos y resultados) la
evaluación implica necesariamente el inherente aspecto
subjetivo.
 Contradictoriamente, a veces se escuchan las voces que
pretenden la "objetividad" de una evaluación determinada.

7. Evaluación en investigación
Epistemología de la evaluación
 La “objetividad” con respecto a la evaluación es ilusoria
porque supone que el sujeto evaluador es ajeno al juicio
evaluativo o asume que no se relaciona con el objeto
evaluado. Tiene una base positivista que es refutable.
 Sin embargo en la evaluación, el sujeto valora las
cualidades deseables que puede tener el objeto.
 En cambio, la pretensión de “imparcialidad” -en el sentido
de alejamiento de intereses espurios- sí es una condición
deseable en los métodos evaluativos.

8. Evaluación en investigación
Cuestionamientos al enfoque evaluativo tradicional
 El enfoque científico usado como base de muchos sistemas
evaluativos no es un remedio milagroso, suficiente por sí
solo para garantizar soluciones sociales efectivas.
 La ciencia puede ser un apoyo valioso en el proceso de
tomar decisiones en un grupo o institución.
 La falta de coordinación entre los evaluadores y quienes
toman las decisiones contribuyó a hacer infructuosos
muchos esfuerzos. Redujo la aplicabilidad y utilidad de los
resultados de las evaluaciones.

9. Evaluación en investigación
Cuestionamientos al enfoque evaluativo tradicional
 A partir de los años 60, el proceso evaluativo se
comprendió mejor. Sin embargo, persistió la escasa
utilización de los resultados para renovar las actividades de
planificación y orientar las acciones.
 La pretensión de sostener una visión "objetiva" de la
realidad y la existencia de una verdad "única" favoreció el
dogmatismo, la intolerancia y las desigualdades en la
apreciación del valor de proyectos, programas e
instituciones.

10. Evaluación en investigación
Cuestionamientos al enfoque evaluativo tradicional
 Las evaluaciones favorecieron a unos individuos a
expensas de otros y, así, incrementaron la asimetría en las
relaciones de poder entre los sectores.
 La falta de comunicación entre evaluadores, decisores y
miembros del grupo evaluado da lugar a abusos y
exclusiones en la intención, el producto y las acciones.
 Un exagerado énfasis en las técnicas cuantitativas no es
capaz de captar los efectos de las acciones sociales, ni
pueden medir el impacto del proceso estudiado.

11. Evaluación en investigación
Cuestionamientos al enfoque evaluativo tradicional
 La búsqueda de la pretendida "objetividad" ha justificado
la contratación de evaluadores externos, más ajenos aún a
las subjetividades (identidades, afinidades, ideología,
valores) que constituyen una importante parte de la riqueza
de los procesos sociales o institucionales. Probablemente
el principal aporte que puede ofrecer alguien ajeno es la
introducción de nuevas apreciaciones, valores y
conocimientos al proceso, y no su "objetividad."
 Más que la “objetividad”, en la evaluación tiene sentido la
equidad y la superación de las dominaciones de unos sobre
otros, de los abusos y despojos.

12. Evaluación en investigación
Concepto
 Evaluar es emitir un juicio valorativo basado en la
comparación de algo existente (situación, propuesta,
institución, relación, estructura o proceso) con un
conjunto de desiderata (valores, condiciones ideales,
deseables o necesarias) con el fin de tomar una
decisión o acción. El juicio evaluativo será tanto más o
menos favorable dependiendo de la proximidad o
distancia que separa lo real y lo deseable.

13. Evaluación en investigación
Figura 1. Elementos de la Evaluación1

14. Evaluación en investigación
Concepto
 La evaluación es esencial para la educación y para el
avance en un determinado proceso organizacional, si
forma parte indisoluble de una unidad constituida por
conocimiento pertinente, deliberación, evaluación,
decisiones y acciones. La unidad de estos elementos es
imprescindible si se espera que el proceso resulte fructífero
y apoye procesos democráticos.

15. Evaluación en investigación
Concepto
 En síntesis, el juicio evaluativo es una apreciación de la
distancia que hay entre las cualidades reales que presenta
el objeto evaluado, con respecto al conjunto de cualidades
que la entidad evaluadora (persona o institución) establece
que son deseables, sean alcanzables o no.
 Tiene sentido si se comprende que el juicio evaluativo está
ligado a conformar decisiones y acciones.

16. Evaluación en investigación
Un nuevo enfoque
 La evaluacìón puede ser transformada para dejar de ser un
acto puntual impuesto sobre una colectividad escéptica,
para convertirlo en un proceso constante que se fortalece y
legitima por la inclusión de perspectivas de los
interesados.
 Basados en el pluralismo, los métodos evaluadores
alternativos aprovechan simultáneamente lo objetivo y lo
subjetivo para crear juicios evaluativos colectivos.
 Los participantes en el proceso son quienes tienen puestos
sus intereses en la evaluación: los protagonistas, los
beneficiarios, los patrocinadores y otros involucrados.

17. Evaluación en investigación
Un nuevo enfoque
 Los componentes críticos de una manera democrática
(humanística) de evaluar son la aceptación de un nuevo
papel para los evaluadores, la deliberación, la aplicabilidad
en la definición de métodos y técnicas, la interacción con
el proceso de toma de decisiones, y una orientación
constante hacia la acción. Las nuevas funciones del
evaluador incluyen nuevas responsabilidades éticas y
políticas, así como también tareas funcionales y
cualitativamente diferentes, más coherentes con los
procesos democráticos.

18. Evaluación en investigación
Un nuevo enfoque
 Algunas sugerencias para desarrollar conceptos
más efectivos sobre la evaluación incluyen la
necesidad de enfocarnos en la coherencia entre los
propósitos del proceso (objeto, técnica, expresión
o acción) con respecto a cómo son los
procedimientos, la organización (en las
instituciones) y los productos de dicho proceso.

19. Evaluación en investigación
Figura 2. Modelo Para Evaluar2,3
A
B
C
D

20. Evaluación en investigación
Un nuevo enfoque
 En el caso particular de la evaluación en la
investigación científica, conviene distinguir entre
las condiciones científicas y técnicas del proyecto
o acción, con respecto a las condiciones éticas del
mismo.

21. Evaluación en investigación
Características del modelo propuesto para evaluar
proyectos de investigación4: Requisitos de
Ingreso
Opinión
SI
SI favorable
SI
SI
SI
SI
 Escala nominal
Objeto,
SI
SI
pregun
ta o
proble Base
SI
SI
ma teórica
Valor SI
SI
social y
 Número de dimensiones reducidas
NO
NO científi Congru
SI
SI
co encia
Congru
de
NO
NO encia
Objetiv SI
SI
de
os y/o
diseño,
hipótes Aspect
NO
NO método
is os
,
éticos,
técnica
método
Incluye la dimensión ética
NO s,

NO s éticos
materia Factibil
les y idad
NO
NO progra
ma
NO
NO
NO
NO
ral u m of e R
 Evaluación integral del proyecto
r
 Resultado no requiere interpretación (no es numérico)
 Evalúa la relación y congruencia entre los elementos del
proyecto
 Evaluación como proceso deliberativo y reiterativo

22. Evaluación en investigación
Características del modelo propuesto para
evaluar proyectos de investigación en los
aspectos científicos4: Requisitos de
Ingreso
SI
SI SI
SI
Opinión favorable
SI
SI
Objeto,
pregunta SI
SI
o
problema Base
SI
SI
teórica
Valor SI
SI
social y
NO
NO científico Congrue
SI
SI
ncia de
Congrue
Objetivos
NO
NO ncia de
y/o SI
SI
diseño,
hipótesis
método,
Aspectos
NO técnicas,
NO éticos,
materiale
métodos
s y
éticos
NO program
NO
a Factibilid
ad
NO
NO
NO
NO
NO
NO
r a u m of e R
l r
 Todas las cualidades requeridas deben ser cumplidas
satisfactoriamente.
 No es aceptable que el proyecto cumpla sólo algunas de las
condiciones deseables.

23. Investigación Científica
Aspectos metodológicos a evaluar en un proyecto
Requisitos de
Ingreso
Opinión
SI favorable
SI
SI
Objeto,
pregunta SI
o SI
problema Base
teórica SI
Valor Congruenci
NO
social y a de Congruenci SI
científico objetivos e a (diseño,
Aspectos SI
hipótesis método,
NO técnicas, éticos del
materiales proyecto,
NO Factibilidad
y programa) antecedente
NO s de los
NO responsable
NO s
NO
r a u mo e R
l r f

24. Evaluación en investigación
Características del modelo propuesto para
evaluar proyectos de investigación en aspectos
éticos5: Requisitos de
Ingr eso
SI
SI
SI
Opinión bioét ica
favorable
Revisió
n SI
Indepe
n-
diente Valor SI
SI
Validez
NO científ i
ca Selecci SI
ón
NO Relació
Imparci n SI
al de favor a
sujetos Conse
NO ble n-
riesgo/ t im ient
Benefic Respet
o o por
NO io infor ma los
do y sujetos
NO compr e de
ndido es tudio
NO
NO
r a u mo eR
l r f
 Todas las cualidades requeridas deben ser cumplidas
satisfactoriamente.
 Asegurar el cumplimiento de los principios de no
maleficencia, beneficencia, autonomía y justicia, y la
protección de los valores de la vida, la salud, la dignidad y
el respeto.

25. Investigación Científica
Aspectos éticos a evaluar en un proyecto
Requisitos de
Ingreso
Opinión
SI bioética
SI favorable
SI
Revisión
Indepen- SI
diente
Valor SI
SI
Validez
NO científica Selección SI
Imparcial Relación
NO
de favorable SI
riesgo/ Consen-
sujetos timiento
NO Beneficio Respeto
informad
o y por los
NO
compren sujetos
NO dido de
estudio
NO
NO
r a u mo e R
l r f

26. Investigación Científica
Aspectos éticos a evaluar en un proyecto
En conclusión
 La evaluación se basa en supuestos ideológicos,
cognoscitivos y éticos que deben ser explícitos.
 Los juicios de la evaluación deben vincularse a las
decisiones y acciones para que tengan sentido y valor.
 Si el objeto evaluado es científico, su evaluación debe
incluir todos los necesarios elementos científicos
propiamente, y además, los éticos.
 Se presentan las bases de una propuesta sobre estas
bases.

27. Referencias bibliográficas
1. González Avila, M. (1998). La evaluación en las instituciones democráticas: discusión sobre
la ciencia y la ética de sus procedimientos. Ciencia, Tecnología y Sociedad. Organización de
Estados Iberoamericanos. Consultado el 3 de octubre de 2012.
2. Testa, M. (1986) Planificación en Salud: Las Determinaciones Sociales. En: Ciencias Sociales
y Salud en la América Latina. Tendencias y Perspectivas. Ed. por Everardo Duarte Nunes.
OPS/OMS-CIESU, Montevideo,
3. González Avila, M. (1994). ¿Qué universidad queremos? ¿Cuál necesitamos? (2). El debate
sobre los propósitos. Cuadernos de Extensión No. 2 (Universidad y crisis: textos para un
debate). Programa de Discusión y Debate. Universidad de San Carlos de Guatemala. pág 8-
10.
4. González Ávila, M. (1983). Instrumentos de evaluación inicial de proyectos de investigación
en la Universidad de San Carlos de Guatemala. Perspectiva Número 1. Págs. 3-8
5. Basado en: Emanuel, E. (1999). ¿Qué hace que la investigación sea ética? Siete requisitos
éticos. En: Investigación en sujetos humanos: experiencia internacional. Pellegrini Filho, A.
y Macklin, R. (eds). OPS/OMS. Washington, D.C.