Presentación de la lectura de la tesis doctoral: Evaluación cualitativa y cuantitativa de las propuestas de investigación : el caso del área ANEP de Ciencias Sociales en el Plan Nacional de I+D+i 2004-2007 Disponible en: http://hdl.handle.net/10016/19346

1. Evaluación cualitativa y cuantitativa de
las propuestas de investigación: El caso
del área ANEP de Ciencias Sociales en el
Plan Nacional de I+D+i 2004-2007
Autora: Susana Sánchez-Gil
Directores: Elías Sanz Casado y José Antonio Moreiro González
Dpto. Biblioteconomía y Documentación
Universidad Carlos III de Madrid
Getafe, 21 de Julio 2014

2. Índice
1. Introducción
2. Hipótesis y objetivos
3. Metodología
4. Resultados
5. Conclusiones
6. Recomendaciones y perspectivas de futuro

3. Introducción

4. Evaluación de la Actividad
Científica

5. Evaluación de la Actividad Científica
en Ciencias Sociales y Humanidades

6. Agencia Nacional de Evaluación y
Prospectiva (ANEP)
Fuente: ANEP

7. Hipótesis y objetivos

8. Hipótesis
 Existencia de relación entre la calificación favorable de las
propuestas de investigación, en la evaluación científico-técnica
de la ANEP, y una mayor competitividad de los
currículos de los Investigadores Principales (IPs) que
lideraron las mencionadas propuestas.
 La existencia de diferencias en la actividad científica
reflejada en el currículo (CV) cuando el IP es una mujer o un
hombre, influyen en calificación ANEP y en la financiación
de propuestas de investigación.

9. Objetivos Generales
 Analizar las propuestas de investigación presentadas en la
convocatoria del Plan Nacional de I+D+i 2004-2007 y que
fueron evaluadas por la ANEP en el área de Ciencias Sociales
y los currículos de los investigadores que lideraron dichas
propuestas para determinar sus perfiles de actividad
científica.
 Comparar los resultados del análisis bibliométrico, con los
resultados de la revisión por expertos, es decir, si una
calificación más elevada de la ANEP coincide con mejores
indicadores de actividad científica.

10. Objetivos Específicos
 Aplicar una metodología para conocer las características
de las propuestas de investigación y los patrones de
actividad científica de los IPs.
 Determinar el comportamiento de la actividad científica
en el área ANEP de Ciencias Sociales.
 Determinar el grado de liderazgo femenino.
 Identificar líneas de investigación.

11. Metodología

12. ©Susanasgil

13. Propuestas de investigación
21
121
(3,3%)
120 383
(18,7%)
(18,6%)
(59,4%)
Sociología Ciencia Política
Geografía Otras Áreas

14. Currículos (CV)

16. Resultados

17. Propuestas de investigación según la calificación ANEP y por
el número total de las solicitadas por subárea
9.52
5.79
9.17
10.97
38.10
39.67
39.17
43.86
33.33
48.76
33.33
30.55
19.05
5.79
17.50
14.36
0.00 20.00 40.00 60.00 80.00 100.00
OTRAS AREAS (21 NP)
GEOGRAFIA (121 NP)
CIENCIA POLITICA (120 NP)
SOCIOLOGIA (383 NP)
EXCELENTE BUENA ACEPTABLE CUESTIONABLE

18. Propuestas de investigación financiadas (tasa de éxito) según la
calificación ANEP
2.30
10.76
57.20
70.97
100.00
80.00
60.00
40.00
20.00
0.00
CUESTIONABLE ACEPTABLE BUENA EXCELENTE

19. Nº Proyectos públicos competitivos y Nº Proyectos con
empresas según la calificación ANEP
409
1,746
1,206
407
232
984
383
188
2000
1800
1600
1400
1200
1000
800
600
400
200
0
EXCELENTE BUENA ACEPTABLE CUESTIONABLE
Nº P. PUBLICOS Nº P. EMPRESAS

20. Nº de proyectos públicos competitivos y con empresas por
Investigador Principal (IP) según la calificación ANEP.
6.04 6.1
7.71 7.86
2.81
1.83
3.69
4.46
8
7.5
7
6.5
6
5.5
5
4.5
4
3.5
3
2.5
2
1.5
CUESTIONABLE ACEPTABLE BUENA EXCELENTE
Nº P. PUBLICOS / IP Nº P. EMPRESAS / IP

21. Promedio de estancias por IP según la calificación ANEP
1.49
1.85
2.01
2.77
3
2.5
2
1.5
1
CUESTIONABLE ACEPTABLE BUENA EXCELENTE

22. Media duración estancias según la calificación ANEP (meses)
15.61
15.02
7.71
9.03
16
14
12
10
8
6
4
2
0
EXCELENTE BUENA ACEPTABLE CUESTIONABLE

23. Movilidad internacional por regiones del mundo y subáreas
ANEP (Excelente)
2.03
30.41
1.35
30.41
6.76
7.43 6.08
1.35
OTRAS AREAS
GEOGRAFIA
CIENCIA POLITICA
SOCIOLOGIA
0.00 10.00 20.00 30.00 40.00 50.00 60.00 70.00 80.00 90.00 100.00
UNION EUROPEA AMERICA DEL NORTE
AMERICA CENTRAL AMERICA DEL SUR
AUSTRALIA Y NUEVA ZELANDA

24. Promedio de tesis doctorales dirigidas por IP según la calificación
ANEP
1.69
1.82
2.62
4.4
4.5
4
3.5
3
2.5
2
1.5
1
CUESTIONABLE ACEPTABLE BUENA EXCELENTE

25. Promedio de documentos por IP según la calificación ANEP
16.65
19.65
24.75
29.63
30
25
20
15
CUESTIONABLE ACEPTABLE BUENA EXCELENTE

26. Análisis de correspondencias. Tipo de documentos por
subárea y calificación ANEP
(ejes F1 y F2: 70,85 %)
CPOL_ACEP
AR
CL
MG
AC
OT
SOC_EX
CPOL_EX
GEO_EX
OTRAS_EX
SOC_BU
CPOL_BU
GEO_BU
SOC_ACEP
OTRAS_BU
GEO_ACEP
OTRAS_ACEP
SOC_CUEST
CPOL_CUEST
GEO_CUEST
OTRAS_CUEST
0.6
0.4
0.2
0
-0.2
-0.4
-0.6
-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1 1.2
F2 (30,01 %)
F1 (40,84 %)
Tipo Documento Subárea - Calificación

27. Perfil de actividad científica según género: Femenino
• Lideran el 24% del total de las
propuestas excelentes.
• 25% de las propuestas excelentes
lideradas por mujeres captaron
financiación.
• Geografía: El doble de propuestas
aprobadas con calificación excelente (4).
• Se concentran en la categoría Titular de
Universidad en todas las subáreas y
calificaciones.
• Buena: 8,53 proyectos públicos
competitivos por IP.
• 20% de las tesis doctorales dirigidas.

28. Perfil de actividad científica según género: Masculino
• Lideran más propuestas y captan más
financiación.
• Captaron financiación en propuestas de
investigación con calificación
cuestionable (2).
• Ciencia Política: Participación
exclusivamente masculina en las
propuestas de calificación excelente.
• Se concentran en la categoría
Catedrático de Universidad en todas las
subáreas y calificaciones.
• Excelente: participan en el doble
proyectos con empresas por IP (5,03).

29. Puntuación ANEP según género del IP
46.468
37.768
27.658
18.445
45.933
37.359
28.596
16.826
60
45
30
15
0
EXCELENTE BUENA ACEPTABLE CUESTIONABLE
M F

30. Nº de documentos por IP agrupados por calificación ANEP y
según género del IP
17.23
20.95
25.11
32.32
14.50
16.20
23.76
22.36
35.00
30.00
25.00
20.00
15.00
10.00
CUESTIONABLE ACEPTABLE BUENA EXCELENTE
M F

31. Volumen de actividad científica por IP según la calificación de
las propuestas de investigación
Nº PROYECTOS PUBLICOS /
30
25
20
15
10
5
0
IP
Nº PROYECTOS EMPRESAS /
IP
Nº DOCS / IP
Nº ESTANCIAS / IP Nº TESIS DIRIGIDAS / IP
EXCELENTE BUENA ACEPTABLE CUESTIONABLE

32. P-valores para prueba de U-Mann-Whitney entre pares
de valores
ACTIVIDAD CIENTIFICA CALIFICACION EXCELENTE BUENA ACEPTABLE CUESTIONABLE
PROYECTOS PUBLICOS
CUESTIONABLE 0,0335 0,0144 0,3384 −
ACEPTABLE 0,1004 0,0224 − −
BUENA 0,4476 − − −
EXCELENTE − − − −
PROYECTOS EMPRESAS
CUESTIONABLE 0,2138 0,0301 0,7528 −
ACEPTABLE 0,1271 0,0013 − −
BUENA 0,4998 − − −
EXCELENTE − − − −
MOVILIDAD
INTERNACIONAL
CUESTIONABLE 0,0369 0,0951 0,4243 −
ACEPTABLE 0,0257 0,0589 - −
BUENA 0,1354 − − −
EXCELENTE − − − −
TESIS DOCTORALES
CUESTIONABLE 0,0002 0,0476 0,2252 −
ACEPTABLE 0,0002 0,0774 − −
BUENA 0,004 − − −
EXCELENTE − − − −
PRODUCCION CIENTIFICA
CUESTIONABLE 0,0000 0,0000 0,0199 −
ACEPTABLE 0,0007 0,0006 − −
BUENA 0,0983 − − −
EXCELENTE − − − −

33. Conclusiones

34.  Paralelismo entre una mejor valoración
cualitativa y un mayor volumen de actividad
científica.
 Correspondencia entre la evaluación de una
propuesta excelente y buena, con unos
valores más elevados de los indicadores
bibliométricos.
 La capacidad para obtener financiación
disminuye respecto a una menor
calificación de la ANEP (70,97% excelentes).
 No se producen sesgos en la puntuación
cuando el IP es un hombre o una mujer.

35.  Sociología representa el 60% del total de las
propuestas evaluadas. Ciencia Política y
Geografía no superan el 20%.
 IPs de propuestas con calificación excelente
dirigen, como mínimo, el doble de tesis que
los IPs de propuestas buenas, aceptables y
cuestionables.
 Sociología supone el 72% del la producción
científica en las propuestas calificadas como
excelentes y entre el 50% y el 60% tanto en
las calificadas como buenas y aceptables.
 Publicación de documentos es el principal
output de actividad científica de los IPs
analizados, seguida de la participación en
proyectos públicos competitivos.

36. Recomendaciones y
perspectivas de futuro