1. Vicerrectorado de Formación Permanente e Innovación Servicio de Formación del Profesorado Universidad de Huelva Huelva, 1 de abril de 2011 Evaluación de la investigación en Ciencias Sociales

2. presentación http://ec3.ugr.es http://ec3noticias.blogspot.com Emilio Delgado López-Cózar Universidad de Granada

3. Introducción: Filosofía y criterios generales

5. - Evaluación para la contratación - Acreditación nacional para el acceso a los cuerpos docentes universitarios CNEAI ANECA Evaluación de la actividad investigadora de los profesores universitarios y de las escalas científicas del CSIC Agencias autonómicas Otras agencias estatales Las Agencias de Evaluación en España

6. Una evaluación integral de la actividad académica

8. Para entender los criterios que se utilizan es conveniente no olvidar los fundamentos de las evaluaciones de la actividad investigadora Filosofía y objetivos en que se fundamentan las evaluaciones y los criterios de evaluación FILOSOFÍA DE LA EVALUACIÓN El sistema planteado se inspira en la tradición académica de la evaluación por pares : comisiones de expertos y requerimiento de informes a especialistas en la disciplina de cada candidato Evaluaciones formales, NO sobre contenidos . Utilización de indicadores de objetivación formal Difusión e Internacionalización de la ciencia española Evaluación sobre resultados de investigación. Publicaciones

11. ANECA. Peso de las publicaciones por campo científico y categoría profesional Humanidades Experimentales y Ciencias Salud Técnicas Ciencias Sociales

14. La cuestión de la autoría de los trabajos

15. LA AUTORÍA. CNEAI-ANECA ¿Qué dice CNEAI de la autoría?

16. LA AUTORÍA. CNEAI-ANECA ¿Qué quieren evitar?

17. LA AUTORÍA. CNEAI-ANECA ¿Cuál debe ser el número de autores? Categoría Categoría Agricultura 4 Matemáticas 2 Ciencias de la Alimentación 4 Ing. Mecánica, naval, … 3 Ingeniería Civil y Arquitectura 3 Medicina 5 Ciencias Computación / Informática 3 Bioquímica y Biología Molecular 5 Ciencias Sociales 2/3 Psicología 3 Derecho 2 Química 4 Economía 2/3 Comunicaciones 3 Ing. Eléctrica y Electrónica 4 Farmacia y Farmacología 5 Filosofía, Filología 1 Ganadería y Pesca 5 Historia 1 Ciencias materiales 5 Número de autores (aprox.) en trabajos en revistas Web of Science (Principalmente internacionales y anglosajonas)

19. ¿Cuántas publicaciones? Ciencias sociales

20. ANECA. Número de publicaciones para obtener la puntuación máxima

21. CNEAI. Número mínimo de artículos en revistas científicas para obtener el sexenio

24. La búsqueda de los indicios de calidad

25. Indicios de calidad libros CNEAI, ANECA, ANEP HUM Obras de referencia imprescindibles en los estudios grado y postgrado  Inclusión en bibliografías independientes del autor y su entorno  Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias PCD  Traducciones de la propia obra a otras lenguas    Riguroso proceso de selección y evaluación de originales     ANECA JURID.     CNEAI Poseer ISBN (imprescindible) Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho) Que no estén publicados por la misma institución en la que trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1  Reseñas en las revistas científicas especializadas CCSS Prestigio de la editorial, los editores, la colección en la que se publica la obra  Número de citas generadas (cantidad y calidad) ANEP Criterios

27. LA AUTORÍA. CNEAI-ANECA Indicio: Número de citas Para localizar las citas en Web of Science bien buscamos directamente nuestro artículo en el menú convencional y vemos Times Cited o utilizamos la opción Cited Reference Search. Ojo son dos formas diferentes de localizar citas en una misma base de datos y puede dar resultados diferentes. La primera es exclusiva para revistas indexadas en WoS.

28. LA AUTORÍA. CNEAI-ANECA Indicio: Número de citas Y la segunda encuentra las citas a un artículo, libro, … (incluso si no está recogido en WoS) pero ha sido citado desde las revistas indizadas en WoS

29. LA AUTORÍA. CNEAI-ANECA Indicio: Número de citas SCOPUS

30. LA AUTORÍA. CNEAI-ANECA Indicio: Número de citas Google Scholar OJO Se alimenta de documentos en la Web: Son clave los REPOSITORIOS, Catálogos de Bibliotecas, Catálogos Comerciales de revistas, Productos propios de Google (google books, google patents) Existen programas y aplicaciones que nos pueden ayudar a trabajar con GS: • Publish or Perish de Anne-Wil Harzing: http://www.harzing.com/pop.htm • Citation-Gadget: http://code.google.com/p/citations-gadget/ • Tenurometer : http://tenurometer.indiana.edu/download.html

31. LA AUTORÍA. CNEAI-ANECA Libros y capítulos: Google Books Google Books, una herramienta interesante para buscar citas

32. LA AUTORÍA. CNEAI-ANECA Libros y capítulos: buscando en catálogos En REBIUN podemos ver en que biblioteca académica/ universitaria española está nuestro libro. A nivel internacional disponemos de otros catálogos colectivos como: - COPAC (Reino Unido) - World Cat (Mundial)

34. LA AUTORÍA. CNEAI-ANECA Indicio: Índices de Impacto ¿Qué productos ofrecen Índices de Impacto PRODUCTO ÁREA DOMINIO Cobertura Ciencias y Ciencias Sociales Mundial 1987-2008 Ciencias Sociales España 1996-2009 Ciencias Jurídicas España 2001-2009 RESH Ciencias Sociales y Humanidades España 1999-2004 Scimago Journal Rank Ciencias Mundial 1999-2008

35. LA AUTORÍA. CNEAI-ANECA El Universo Thomson WEB OF SCIENCE SCI Science Citation Index (7858) SSCI Social Science Citation Index (2553) A&HCI Art & Humanities Citation Index (1462) WEB OF KNOWLEDGE (WOK) JCR Journal Citation Reports ESI Essential Science Indicators Impact Factor (8200)

37. LA AUTORÍA. CNEAI-ANECA Indicio: Índice de Impacto El Journal Citation Reports (JCR)

38. LA AUTORÍA. CNEAI-ANECA Indicio: Índice de Impacto In-Recs e In-Recj Interesante también como Indicio

39. LA AUTORÍA. CNEAI-ANECA DICE LA AUTORÍA. CNEAI-ANECA Indicio: Índice de Impacto RESH

40. LA AUTORÍA. CNEAI-ANECA Indicio: Índice de Impacto SJR

41. Buscando citas de artículos

42. Buscar en SEARCH en el campo TITLE el título del trabajo El número de citas figura en el epígrafe TIME CITED Buscando las citas de un artículo Aprendiendo a busar citas de un trabajo o un autor en la Web of Science

47. LA AUTORÍA. CNEAI-ANECA Indicio: Número de citas En In-Recs e In-Recj también podemos buscar citas Bien en los rankings de autores Bien en el menú de búsqueda

48. Comparando nuestro trabajo

49. Con el resto de los artículos publicados en la revista ese mismo año

51. LA AUTORÍA. CNEAI-ANECA Indicio: Presencia en bases de datos INDICADOR VÁLIDO PARA TODAS LAS ÁREAS y AGENCIAS Antes de ingresar en una base de datos las revistas científicas deben someterse a una evaluación sobre su calidad formal y científica. Por ello una presencia mayor en bases de datos se considera un indicador de calidad al haberse superado más filtros.

52. LA AUTORÍA. CNEAI-ANECA Indicio: Presencia en bases de datos Vale, y ahora como sé en que base de datos está la revista: 1. La propia revista nos da está información

53. LA AUTORÍA. CNEAI-ANECA Indicio: Presencia en bases de datos Vale, y ahora como sé en que base de datos está la revista: 2. Existen productos especializados en ofrecer esta información PRODUCTO ÁREA DOMINIO ULRICH´S Todas las disciplinas Mundial LATINDEX Todas las disciplinas Iberoamericano DICE Sociales/Humanidades España

54. LA AUTORÍA. CNEAI-ANECA Indicio: Presencia en bases de datos Vale, y ahora como sé en que base de datos está la revista: 2. Existen productos especializados en ofrecer esta información

55. LA AUTORÍA. CNEAI-ANECA Indicio: Presencia en bases de datos Vale, y ahora como sé en que base de datos está la revista: 2. Existen productos especializados en ofrecer esta información

56. LA AUTORÍA. CNEAI-ANECA Indicio: Presencia en bases de datos Vale, y ahora como sé en que base de datos está la revista: 2. Existen productos especializados en ofrecer esta información

57. LA AUTORÍA. CNEAI-ANECA Indicio: Presencia en bases de datos Por ejemplo, éste es el de la Web of Knowkledge : WOS, SCI, SSCI, A&HCI, etc…

58. LA AUTORÍA. CNEAI-ANECA CNEAI. Revistas FECYT • En la última convocatoria para los campos de sociales y humanidades se contemplan las revistas acreditadas por la FECYT . ESTAS REVISTAS LAS PODEMOS LOCALIZAR EN LA WEB: http://recyt.fecyt.es/index.php/index/recyt/resolucion • Las revistas que han superado el primer proceso de evaluación de calidad de FECYT son las siguientes: TABLA 1 • Las revistas que solicitaron la evaluación y que ya indexa Thomson Reuters son las siguientes: TABLA 2 . Son un total de 43 revistas

59. LA AUTORÍA. CNEAI-ANECA CNEAI. Revistas FECYT

60. Criterios calidad editorial revistas científicas CNEAI y ANECA (I)   Cuenta con un Consejo de Redacción efectivo   Cuenta con un Consejo Asesor efectivo   Informa sobre el proceso que emplea para la evaluación y selección de manuscritos   Declara la periodicidad y la cumple   Utiliza el arbitraje científico en la evaluación de originales y lo cumple   Declara emplear doble anonimato en la revisión externa y lo cumple   Comunica a los autores la decisión editorial de forma motivada    ANECA    CNEAI Traduce el Sumario de cada número al inglés así como el título de los artículos, las palabras clave y los resúmenes Cuenta con Instrucciones a Autores detalladas Identifica los miembros de los Comités Editoriales y Científicos Criterios

61. Criterios calidad editorial revistas científicas CNEAI y ANECA (II)  Está recogida en la base de datos española del CSIC que le corresponda por su especialidad (ISOC, ICYT, IME)  Al menos el 80% de los autores son ajenos a los Comités Editoriales  Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista   Está indexada en los JCR de las bases de datos de la Web of Knowledge de Thompson Scientific (SCI, SSCI  La tasa de aceptación de trabajos es igual o menor al 60%   Está recogida en la principal base de datos internacional de su especialidad (por ejemplo. CAB Abstracts, Sociological Abstracts, Historical Abstracts, Econlit, PsycINFO, Philosopher`s Index, MLA, ERIC…), o en catálogo Latindex, DICE  Al menos el 50% de los artículos son trabajos que comunican resultados de investigación originales ANECA CNEAI Criterios

63. LA AUTORÍA. CNEAI-ANECA Indicio: Catálogo y Criterios Latindex PRODUCTO ÁREA DOMINIO LATINDEX Todas las disciplinas Iberoamericano

64. LA AUTORÍA. CNEAI-ANECA Indicio: Catálogo y Criterios Latindex Latindex

65. El proceso administrativo y evaluativo

66. LA AUTORÍA. CNEAI-ANECA Documentación

67. http:// www.educacion.es /horizontales/ministerio/organismos/ cneai /convocatoria- sexenios.html LA AUTORÍA. CNEAI-ANECA La aplicación informática CNEAI

68. LA AUTORÍA. CNEAI-ANECA Aplicación informática: datos básicos

69. LA AUTORÍA. CNEAI-ANECA Aplicación informática: el tramo

70. LA AUTORÍA. CNEAI-ANECA Aplicación informática: la aportación

71. Modo evaluación

72. Ejemplo de evaluación CNEAI

91. Muchas gracias por su atención Emilio Delgado López-Cózar [email_address] Evaristo Jiménez Contreras [email_address] Rafael Ruiz Pérez [email_address] http://ec3.ugr.es http://ec3noticias.blogspot.com