El documento discute los criterios para evaluar la investigación en humanidades y ciencias sociales en España. Explica que los campos científicos son heterogéneos y que los criterios de evaluación deben adaptarse a las diferencias entre disciplinas. Revisa los indicadores utilizados actualmente para evaluar publicaciones, proyectos de investigación, formación de investigadores y actividades de comunicación científica. Finalmente, analiza opiniones sobre los criterios más adecuados para valorar la calidad de libros, revistas científicas, tesis doctorales y otros resultados de

1. Criterios de evaluación de la actividad investigadora Humanidades y Ciencias Sociales en España Universidad Pública de Navarra Pamplona, 20 de mayo de 2008 Emilio Delgado López-Cózar Profesor de Metodología de la Investigación Facultad de Comunicación y Documentación Universidad de Granada

4. Hetereogeneidad de la ciencia los campos científicos J U R Í D I C A S Juicios de valor Impacto Evaluación trabajos ex post CONSENSO COGNITIVO ¿Peer review? Peer Review Evaluación trabajos ex ante Descriptivos / Cualitativos Exprimentales Métodos de investigación Cualitativas Cuantitativas Técnicas análisis datos Realidad humana (Subjetiva / contextual) Realidad natural (Objetiva / universal) Objeto de investigación Lenguaje natural Matemático Lenguaje Individuo Grupo Organización Libros Revistas Medio publicación Humanidades Sociales CyT Inglés Lengua vernácula Lenguaje publicación

5. Los hábitos de comunicación científica Los medios de publicación Experimentales Sociales Humanidades

6. Biomedicina Ingenierías Psicología Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004

7. Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004 Derecho Psicología

8. Porcentaje citas a revistas Revistas españolas de Humanidades y Ciencias Sociales (1999-2001) Román & Alcaín 2005 * * 27 revistas Economia 1999-2001 (Velazquez 2003)

9. Hábitos de publicación Porcentaje de profesores que publican en revistas españolas y extranjeras (2001-2002) Alcaín 2002, 2003; Román 2003

10. Valoración relevancia de las revistas españolas y extranjeras Porcentaje de profesores (2001-2002) Alcaín 2002, 2003; Román 2003

11. Revistas que consideran más relevantes los profesores de Derecho (2003) Porcentaje de revistas (españolas y extranjeras) usadas por los profesores de Derecho para publicar sus tres últimos trabajos (2003) Revistas españolas Revistas extranjeras Alcaín 2004

12. Porcentaje citas a revistas españolas y extranjeras Revistas españolas de Humanidades y Ciencias Sociales (1999-2001) Román & Alcaín 2005 28,2 52,3 13,9 17,6 15,7 18,5 12,2 % citas rev. Ext. /total citas 13 6,9 7,9 9,0 11,5 12,1 21,5 % citas rev. esp./total citas Promedio Psicología C. Política Sociología Geografía Educación Derecho Sociales 14,3 13,5 Promedio 21,3 2,8 Filosofía 13,2 8,1 Antropología 15,0 7,7 Filología 7,6 15,2 Arte 11,8 15,9 Historia % citas rev. Ext. /total citas % citas rev. Esp./total citas Humanidades

13. ANECA Criterios evaluación actividad investigadora profesorado Profesor Contratado Doctor Profesor Universidad Privada Acreditación Profesor Titular de Universidad

14. ANEP / FECYT 2007 Criterios de calidad de la investigación en Humanidades

16. ANEP / FECYT 2007 Criterios de calidad de la investigación en Ciencias Sociales y Jurídicas

18. Opinión científicos españoles criterios de evaluación de la actividad investigadora para la acreditación Muestra: 401 Profesores TU y Catedráticos con 1 o 2 tramos ( Buela y Sierra 2007 ) Humanidades Sociales Juríd. 25 4,70 15 4,70 Miembro de consejo editorial en revista ISI 12 6,01 18 4,49 Libro en editorial sin reconocido prestigio 15 5,51 19 4,31 Otros artículos de revista 14 12 11 10 9 8 7 6 5 3 2 1 Posición 4,78 5,40 5,72 5,85 6,11 6,13 6,28 6,41 6,42 6,87 7,39 7,40 Puntuación 16 5,40 Contribución a congreso nacional 11 6,12 Dirección académica de trabajos (tesinas, DEA…) 14 5,84 Director de revista en ISI 8 6,86 Contribución a congreso internacional 9 6,56 Participación proyectos de investigación con financiación externa 5 6,97 Capítulo de libro en editorial de reconocido prestigio 10 6,42 Dirección de tesis doctorales defendidas 7 6,86 Estancias docentes y de investigación en el extranjero 6 6,92 Artículos de revista en listados nacionales similares al JCR 2 7,38 Dirección de proyectos de investigación con financiación externa 4 7,14 Artículos de revista en Journal Citation Reports (JCR) del ISI 1 8,48 Libro en editorial de reconocido prestigio Posición Puntuación Indicadores

19. Indicios de calidad de los libros CNEAI, ANECA, ANEP HUM Obras de referencia imprescindibles en los estudios grado y postgrado  Inclusión en bibliografías independientes del autor y su entorno  Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias PCD  Traducciones de la propia obra a otras lenguas    Riguroso proceso de selección y evaluación de originales     ANECA JURID.     CNEAI Poseer ISBN (imprescindible) Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho) Que no estén publicados por la misma institución en la que trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1  Reseñas en las revistas científicas especializadas CCSS Prestigio de la editorial, los editores, la colección en la que se publica la obra  Número de citas generadas (cantidad y calidad) ANEP Criterios

23. Indicios calidad revistas científicas CNEAI, ANECA, ANEP    Satisfacer criterios de calidad editorial Sociología, Política, Educación, Economía, Geografía, Psicología, Derecho, Historia, Filosofía, Filología, Lingüística  Clasificación alta en los listados del European Reference Index for the Humanities (ERIH) de la ESF Filosofía, Filología Lingüística   ANECA   CNEAI  Inclusión de las revistas en bases de datos internacionales Sociología, Política, Educación, Economía, Geografía, Psicología: BD a determinar por el comité asesor, Econlit, Catálogo Latindex Historia: FRANCIS, International Bibliography of the Social Sciences (IBSS), Arts and Humanities Citation Index y Social Science Citation Index, Bibliography of the History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstracts of Music Literature, etc). Filosofía, Filología, Lingüística : Arts and Humanities Citation Index y el Social Science Citation Index y otras BD a determinar por el comité asesor, Library and Information Science Abstracts, Philosopher’s Index, Répertoire Bibliographique, International Bibliography of Periodical Literature in Humanities and Social Sciences (IBZ), Bibliographie Linguistique/Linguistic Bibliography  Se valorarán preferentemente los artículos incluidos en revistas recogidas en los “Journal Citation Reports del Social Science Citation Index” y el Science Citation Index (Institute for Scientific Information, -ISI-, Philadelphia, PA, USA) Sociología, Política, Educación, Economía, Psicología ANEP Criterios

24. Criterios calidad revistas científicas CNEAI, ANECA, ANEP I   Cuenta con un Consejo de Redacción efectivo   Cuenta con un Consejo Asesor efectivo    Informa sobre el proceso que emplea para la evaluación y selección de manuscritos    Declara la periodicidad y la cumple    Utiliza el arbitraje científico en la evaluación de originales y lo cumple    Declara emplear doble anonimato en la revisión externa y lo cumple   Comunica a los autores la decisión editorial de forma motivada    ANEP    ANECA    CNEAI Traduce el Sumario de cada número al inglés así como el título de los artículos, las palabras clave y los resúmenes Cuenta con Instrucciones a Autores detalladas Identifica los miembros de los Comités Editoriales y Científicos Criterios

25. Criterios calidad revistas científicas CNEAI, ANECA, ANEP II   Está recogida en la base de datos española del CSIC que le corresponda por su especialidad (ISOC, ICYT, IME)  Al menos el 80% de los autores son ajenos a los Comités Editoriales   Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista    Está indexada en los JCR de las bases de datos de la Web of Knowledge de Thompson Scientific (SCI, SSCI  La tasa de aceptación de trabajos es igual o menor al 60%    Está recogida en la principal base de datos internacional de su especialidad (por ejemplo. CAB Abstracts, Sociological Abstracts, Historical Abstracts, Econlit, PsycINFO, Philosopher`s Index, MLA, ERIC…), o en catálogo Latindex, DICE   Al menos el 50% de los artículos son trabajos que comunican resultados de investigación originales ANEP ANECA CNEAI Criterios

29. ÍNDICES DE IMPACTO REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS

31. Producción española en Ciencias Sociales y Humanidades ISOC versus ISI 1980-2004

32. Las cifras de IN-RECS/IN-RECJ 2001- 1994- Periodo cubierto 40.888 154.608 195.496 Artículos citables 11.563 43.949 55.512 Citas 297 627 924 Revistas con impacto calculado 65 (32) 130 195 Revistas fuente IN-RECJ IN-RECS Total

36. La Ley de Bradford en ISI ( SCI 1988) Distribución citas-revistas

39. Servidor EC3 Linux Suse 9.2, base datos postgres, apache, php, ... Tablas BD Selección de revistas fuent e por especialidades Introducción de los artículos citables Título, Autor…. Cindoc, Dialnet, Compludoc Psicodoc, revista... Carga en BD Introducción de la producción de la revista por años Cindoc, Dialnet, revista electrónica o en papel Carga en BD Obtención e introducción de las citas ISI de las revistas Carga de citas Introducción de las citas nacionales de las revistas Una vez al año Una vez al año Una vez al año Sistemático Carga de citas Cálculo de impactos e indicadores Resultados en web http://ec3.ugr.es/in-recs/ http://ec3.ugr.es/in-recj / Sistemático

43. Revistas españolas de Ciencias Sociales y Humanas: Valoración integrada e índice de citas

45. 1. Años de vida de la revista 20 años o más = 10 puntos de 10 a 19 años = 5 puntos de 5 a 9 años = 3 puntos 2. Cumplimiento de la periodicidad Sí cumple = 13 puntos No cumple = 0 puntos 3. Criterios Latindex 25 criterios o más = 13 puntos de 20 a 24 criterios = 9 puntos de 15 a 19 criterios = 5 puntos menos de 15 criterios = 0 puntos 4. Revisores externos Sí cuenta con revisores externos = 16 puntos No cuenta con revisores externos = 0 puntos 5. Índice A + B (Índice A+B x 16)/100 Ej.: Iv A+ B = 81,16 (81,16 x 16) /100 = 12,96 puntos 7. Bases de Datos 100 Total 16 BBDD 7 16 IIM 6 16 Índice A + B 5 16 Revisores externos 4 13 Criterios Latindex 3 13 Cumplimiento de la periodicidad 2 10 Años vida de la revista 1 Puntuación máxima Parámetros de calidad 0,75 1,5 3 6 Multidisciplinar 0,35 0,75 1,5 3 Especializada en otra área 0,75 1,5 3 6 Especializada del área SD C B A Tipo de base de datos

46. Las cifras de RESH 939 Revistas valoradas 208 Revistas citantes 1999-2003 Período cubierto para las citas Total

47. Subproducto de RESH elaborado para la ANECA Indicadores: Bases de Datos, Periodicidad, Evaluadores externos, Apertura consejo editorial, Apertura revista

48. Futuro Plan Nacional I+D+I (2007-2009). SEJ2007-68069-CO2-01/SOCI Sistema de evaluación integrada de revistas españolas OPINIÓN PARES CALIDAD EDITORIAL ÍNDICES DE IMPACTO CNEAI ANEP Agencias autonómicas ANECA

49. Catálogo Latindex Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal Selección de revistas que han sido clasificadas conforme la aplicación de una serie de criterios de calidad editorial probados y convenidos por el Sistema Latindex

50. Las cifras del Catálogo Latindex 1.962 Ciencias Sociales 511 Arte y Humanidades 2002- Período cubierto 3.098 Revistas incluidas 1.077 Revistas españolas Total

51. Criterios y metodología de evaluación Para ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los restantes parámetros listados. Globalmente cada revista debe cubrir 25 parámetros. Estas características son certificadas mediante revisión de los tres últimos fascículos publicados de cada revista Mención de la Dirección 8 Mención del Director 7 Entidad editora 6 Lugar de edición 5 Identificación de los autores 4 Antigüedad mínima 1 año 3 Contenido 2 Mención del cuerpo Editorial 1 Características básicas Recepción y aceptación de originales 17 Afiliación de los autores 16 Afiliación institucional de los miembros del consejo editorial 15 Miembros del consejo editorial 14 Membrete bibliográfico en cada página 13 Membrete bibliográfico al inicio del artículo 12 Tabla de contenidos (Indice) 11 Mención de periodicidad 10 Páginas de presentación 9 Características de presentación de la revista

52. Criterios y metodología de evaluación II Palabras clave en dos idiomas 33 Palabras clave 32 Resumen en dos idiomas 31 Resumen 30 Exigencia de originalidad 29 Elaboración de las referencias bibliográficas 28 Instrucciones a los autores 27 Contenido original 26 Características de los contenidos Cumplimiento de periodicidad 25 Servicios de información 24 Apertura editorial 23 Autores externos 22 Evaluadores externos 21 Sistema de arbitraje 20 Definición de la revista 19 ISSN 18 Características de gestión y política editorial

56. European Reference Index for the Humanities Algunos resultados UK (16,7), USA (15,7), Holanda (14,7), Dinamarca (12,7) 3,6 11 Filosofia UK (20,5), USA (18,1), Holanda (13,9) 4,2 8 Hª y Filosofia de la ciencia Italia (26,3), Dinamarca (13,5), Francia (9,6) 9,1 23 Estudios clásicos UK (20%), Finlandia (10,5), Dinamarca (10) 2,4 10 Arqueología Principales paise España

59. España en el Web of Science

61. Universidades públicas Distribución porcentual de los profesores numerarios por tramos de investigación y grandes áreas (1989 – 2005) Fuente de datos: CNEAI 42 11 31 NACIONAL 56 10 46 TECNOLOGÍA E INGENIERÍA 40 13 27 CIENCIAS DE LA SALUD 24 7 17 CIENCIAS EXPERIMENTALES 53 14 39 CIENCIAS SOCIALES Y JURÍDICAS 32 10 22 HUMANIDADES Total sin tramos Evaluado y no concedido Nunca presentado

62. Universidades públicas Distribución porcentual de los profesores numerarios por tramos de investigación y campos científicos (1989 – 2005) Fuente de datos: CNEAI 30 10 20 FILOSOFÍA, FILOLOGÍA Y LINGÜÍSTICA 29 9 20 HISTORIA Y ARTE 29 11 18 DERECHO Y JURISPRUDENCIA 64 14 50 CIENCIAS ECONÓMICAS Y EMPRESARIALES 56 18 38 CIENCIAS SOCIALES, POLÍTICAS, DEL COMPORTAMIENTO Y DE LA EDUCACIÓN 55 10 45 INGENIERÍAS Y ARQUITECTURA 23 10 13 CIENCIAS DE LA NATURALEZA 41 14 27 CIENCIAS BIOMÉDICAS 5 3 2 BIOLOGÍA CELULAR Y MOLECULAR 10 5 5 QUÍMICA 37 8 29 MATEMÁTICAS Y FÍSICA Total sin tramos Evaluado y no concedido Nunca presentado