Workshop impartido por el grupo EC3 en el IV Seminario EC3 - Granada, 14 y 15 de marzo de 2013

1. Workshop IV Seminario
#giec3
Bibliometría en la práctica
Torres-Salinas // Cabezas-Clavijo // Robinson-García // Repiso-Caballero

2. Introducción a la
bibliometría:
Métodos e indicadores

3. 1. TEORÍA. CUESTIONES
BÁSICAS A TENER EN CUENTA

4. ¿Por qué es necesario estar familiarizado con la
bibliometría? (1/3)
Porque la mayor de las políticas científicas y la
evaluación del rendimiento científico a nivel
individual se articulan en torno a bases de datos y
productos de evaluación basados en la bibliometria
CNEAI

5. ¿Por qué es necesario estar familiarizado con la
bibliometría? (2/3)
El rendimiento en centros I+D se suele comparar a partir
de rankings basados en indicadores bibliométricos

6. ¿Por qué es necesario estar familiarizado con la
bibliometría? (3/3)
Gran parte de los recursos se asignan en la actualidad
teniendo en cuenta o con un peso importante de los
indicadores bibliométricos logrados.
Convocatoria Centros de Excelencia Severo Ochoa
Convocatoria Programa Nacional Contratación RRHH I+D

7. Por tanto la bibliometría es una herramienta de
diagnóstico

8. Presupuestos para realizar evaluaciones basadas
en indicadores bibliométricos
Al contar Todos los
publicaciones se firmantes de un
Los resultados Las citas son
asume que trabajo son
investigación se una medida
todas ellas responsables de
manifiestan a fiable y válida
portan la misma la investigación
través de de la
cantidad de expuesta y han
publicaciones repercusión de
conocimiento contribuido de
científicas. los trabajos
científico igual manera a
certificado. la misma.

9. Nivel de análisis o agregación
• Es la base de datos de referencia internacional para estudios
bibliométricos MACRO
• AGREGADO: países
• Cubre las mejores revistas de todas las áreas (10,000) y buena parte
de las actas de • FIABILIDAD: Máxima
congresos (100.000)
• La selección de las revistas se basa en la ley de Bradford y la
MESO
empresa selecciona según un protocolo muy conocido en el que las
citas y el prestigio juegan un papel esencial
• AGREGADO: regiones, instituciones, áreas
• La cobertura de las revistas es cover to cover y recoge las citas de
• FIABILIDAD: Moderada
todas las publicaciones indizadas así como los resúmenes de las
mismas aunque no en toda la extensión temporal de la base de
datos que llegaMICRO
hasta 1900.
• AGREGADO: personas, grupos, secciones
• Ofrece un variado conjunto de indicadores bibliométricos
“precocinados”• FIABILIDAD: Lectura con precauciones

10. Los métodos de recuento de las publicaciones
• A cada coautor • Se divide el • Todo el trabajo
se le da asigna trabajo entre el se asigna
igual el trabajo número de únicamente al
publicado. coautores primer autor
Total Completo 1º Autor
• Se le da más • Fracción
peso al primer decreciente
autor que al según orden de
resto. firma.
1º Autor + Decreciente

11. Diferentes comportamientos según disciplina (1/2)
Ritmos de envejecimiento y citación diferentes: ejm VIDA MEDIA
CLINICAL
NEUROPSYCHOL.
Vida Media
9 años
GENOME
RESEARCH
Vida Media
5 años
Fuente:
JCR 2010 ed.

12. Diferentes comportamientos según disciplina (2/2)
Volúmenes y promedios de citas diferentes
Datos: España | Categorías JCR | Período 2001-2010

13. Los indicadores bibliométricos son asimétricos
The skewness of science
Per O. Seglen
Seglen, P. The Skeeness of science. Journal of the American Society for
Information Science and Technology. V. 43, N. 9, pp. 628–638, 1992

14. 2. LA FUENTE DE DATOS:
WEB OF KNOWLEDGE

15. Introducción mínima a la Web of Knowledge

16. La Web of Knowledge, nuestra fuente de datos
PLATAFORMA: WEB OF KNOWLEDGE (WOK). INTEGRA:
WEB OF SCIENCE (WOS): ESI
aglutina 3 índices de citas Essential Science
Science
SCI SSCI A&HCI Watch
Indicators
Science Social Art &
Citation Science Humanida. JCR
Index Citation Citation Journal
(7858 Index Index Citation
revistas) (2553 (1462 Reports
revistas) revistas)
A PARTIR DE ESTAS BASES DE DATOS
THOMSON ELABORA OTROS PRODUCTOS
BIBLIOMÉTRICOS:

17. Los productos derivados de la Web of Science
Journal Citation Reports
Science Watch
Essential Science Indicators
• Tiene solo dos • Contiene datos • Es una web
ediciones de sobre gratuita donde
Ciencias y de instituciones, podemos
Ciencias Sociales países, disciplinas encontrar análisis
• Se calculan para • Podemos localizar específicas
un total de 8200 los artículos , los • Se analizan desde
revistas diferente investigadores y investigadores
• Las revistas están los frentes más , revistas hasta
clasificadas en un citados áreas y países
total de 235 • Contiene • Enriquecen la
categorías Baselines que nos información
científicas permite bibliométrica con
• En la web contextualizar la entrevistas, fotos,
tenemos impactos información comentarios, gráfi
disponibles desde bibliométrica cos, etc..
1996.

18. Web of Science, una selección de las mejores revistas
Web of Science
(SCI, SSCI, AHCI)
DIAN Revistas
Científicas
(importantes)
s
Todas las
Revistas
Científicas

19. ¿Qué tal es su cobertura en Ciencias de la Salud?
Cobertura WoS de las principales áreas y
su adecuación como fuente de evaluación
DIAN
> 80% 60-80% 40-60%
Biología Molecular y Física aplicada y química Matemáticas
bioquímica Ciencias s
Biológicas Ingeniería
(animales y plantas)
Ciencias Biológicas Economía
(humanos) Psicología y Psiquiatría
<40%
Ciencias Sociales
Medicina Clínica relacionadas con Medicina Otras Ciencias Sociales
Física y Astronomía Geociencias Arte y Humanides
Química
EXCELENTE MUY BUENA BUENA-MODERADA
Moed, 2005

20. El interfaz de consulta de la ISI - WOS
WEB OF
SCIENCE
DIAN
s
RECURSOS
OTROS

21. 3. LOS INDICADORES
BIBLIOMÉTRICOS

22. Tipos de indicadores bibliométricos
PRODUCCIÓN IMPACTO
Indicadores
s
Bibliométricos
NUEVOS
COLABORACIÓN
INDICADORES

23. Ejemplos de indicadores bibliométricos habituales
Existen cientos y cientos de indicadores, nos concentramos solo en unos pocos
Producción Impacto Colaboración
• Nº Total documentos • Promedio y suma del • Tasas de colaboración
• Nº Total documentos Impacto Factor • Índice de coautoría
citables • Factor de Impacto de general
• Nº de documentos por relativo • Índice de coautoría
investigador • Nº o % de documentos institucional
• Nº de documentos por cuartil (o bien decil • Análisis de Redes
según posición firma y tercil) s Sociales a partir firma
(inicial o final etc.) • Promedio de citas de la firma
• Índice de • Número de citas • Número de
Especialización • Tasa Autocitación Instituciones firmantes
Temática • Citas normalizadas: • Patrones de
• Índice de Actividad Crown Indicator, colaboración
temática Karolinska (interna, nacional, inte
• Índice H y derivados rnacionales)
* Habría que incluir los derivados de la combinación de este con los RRHH y económicos.

24. Indicadores recomendados
COLABORACÍÓN PRODUCCIÓN
Nº
CIENTÍFICA
Doc
(cit.)
Nº docs en
H-INDEX
1º Cuartil
Nº o
Prom
citas
IMPACTO IMPACTO
OBSERVADO ESPERADO

25. Ejemplos: Nº docs Citables
Evolución de la producción citable de la Universidad de Navarra

26. Ejemplos: Índice Actividad Temática
IAT de la Universidad Navarra comparado con España. 2005-2009
% España (E): 0,17
% Univ Navarra (N): 0,50
IAT: 0,50/0,17 = 2,94

27. Ejemplos: % Docs en el 1º Cuartil
% de docs en el 1º Cuartil por área para España. 2005-2009
OJO Con los indicadores basados en el IF: son promedios | el impacto de una revista
no equivale al impacto de un artículo | No es un valor comparable por área | Fácil de
manipular | Presenta problemas en el cálculo | Es un indicador de Competitividad

28. Ejemplos: Promedio de Citas
Nº y Promedio de Citas de la Universidad de Navarra comparado
con otras universidades españolas. 2005-2009
OJO Los promedios se citas por sí solos tienen poco significado siempre es preferible
tener algunos promedios de referencia como el del área o el páis

29. Ejemplos: Nº Docs. Citables VERSUS
Promedio de citas
Nº Docs Citables y Promedio de Citas de las universidades
españolas en Medicina Clínica y Farmacia.

30. Ejemplos: el indicador CROWN
CROWN INDICATOR del CITIC-UGR de la Universidad de Granada
para el período 2001-2010
Tomamos como referencia los promedios de citas del área de
Ingeniería disponible en los ESI

31. Ejemplos: El índice-H
Índice H para diferentes hospitales españolas con
diferentes cortes cronológicos
OJO El H-Index no sirve entre áreas diferentes | Favorece a los seniors | No elimina
autocitas | Penaliza a los autores selectivos

32. Ejemplos: % Colaboración Inter.
% de documentos firmados con instituciones extranjeras
por la Universidad de Navarra

33. Bibliometría en la práctica
Cabezas-Clavijo // Robinson-García // Repiso-Caballero

34. Web of Science en la práctica
Cuestiones previas de los análisis
bibliométricos
Búsquedas en Web of Science
Análisis básicos de resultados en WOS
Descarga de registros
Cálculo de indicadores

35. Cuestiones previas
• Objetivos del análisis bibliométrico
• Nivel de agregación (país, CCAA,
institución, departamento, grupo, individuo)
• Selección del marco temporal (normalmente
5 años es un periodo suficiente)
• Selección de la BBDD (habitualmente Web
of Science, pero también Scopus o Google
Scholar)

36. Web of Knowledge (WOS, JCR, ESI)

37. Búsqueda básica (17 campos de
consulta en la última versión)

38. Cuidado con la búsqueda por
fechas
• Year published: año de
publicación del artículo
• Timespan: años en que la
referencia ha sido
procesada por WoS

39. Búsqueda de autores:
precauciones
• Cuidado con la sintaxis de WoS
• Cuidado con los autores con dos apellidos
• Cuidado con los homónimos
• Cuidado con nombre regionales,
abreviaturas o “nombres artísticos”
• Cuidado con los errores de indización y los
cambios en la misma a lo largo del tiempo
• Extremo cuidado al limitar por los campos
“afiliación” o “categoría JCR”

40. Cuidado con la sintaxis de WoS
• No admite tildes ni eñes
• Sólo la(s) inicial(es) del nombre de pila
• Admite operadores booleanos en el
mismo cuadro de búsqueda
• Truncamiento con * para ampliar las
búsquedas

41. Cuidado con los autores con dos
apellidos
• El porcentaje de investigadores españoles que
aparecen bajo dos o más nombres diferentes
oscila entre un 20% y un 40% según los estudios
(Costas et al. 2006; Ruiz-Pérez et al. 2002).
• Los propios investigadores son responsables de
esta variabilidad en su forma de firma, ya que
utilizan distintas formas a lo largo de su
producción
• Además, las bases de datos bibliográficas
cometen con errores al transcribir la información
a su registro electrónico, sobre todo derivadas de
sus prácticas de indización adaptadas a las
estructuras de nombres ingleses

43. Cuidado con los homónimos
• Es complejo diferenciar entre autores
homónimos, apellidos comunes, etc (López
E, Rodriguez JM, Garcia A)
• En este caso hay que usar las opciones de
WoS para refinar los resultados, a sabiendas
de que podemos perder un pequeño
porcentaje de la producción del autor
• La mejor forma de evitar este fenómeno es
asesorar a los investigadores para que usen
firmas lo más distintivas posibles.

44. Cuidado con nombres regionales,
abreviaturas o nombres “artísticos”
• Ramón  Moncho
• José Luis  Koldo
• Javier  Xavier // Xabier
• Rosario  Charo
• Cuando hagamos búsquedas de autores es
conveniente visitar antes su web personal,
nos puede dar pistas sobre cómo firma, en
qué revistas publica, sus colaboradores, …

45. Cuidado con los errores de
indización de WoS
Autores
Instituciones

46. Extremo cuidado al limitar por
afiliación o categoría jcr
AFILIACIÓN
• Autores en estancias fuera de la institución a
veces no firman con su institución de origen
• Autores con doble filiación (hospital-universidad) a
veces no usan ambas
• La tipología Proceedings paper incluye a veces
sólo la institución del primer firmante
CATEGORÍA JCR
• Las revistas pueden estar asignadas a varias
categorías ISI
• Autores con investigación multidisciplinar

47. Para las instituciones
Para el caso de las instituciones
• Piensa todas las posibles
variantes de una institución
• WoS usa abreviaturas estándar y
elimina las preposiciones
• universidad = univ; hospital =
hosp
• Universidad de Murcia = Univ
Murcia
• Universidad Politécnica de
Valencia = ?

48. Para las instituciones
Para el caso de las instituciones
Ejemplo:
Universidad del
País Vasco
( UNIV PAIS VASCO OR UPV EHU OR EUSKAL
HERRIKO UNIBERTSITATEA OR UNIV BASQUE
COUNTRY OR UNIV PAIS VASCO EUSKAL
HERRIKO UNIBERTSITATEA OR UPV OR CSIC
UPV EHU OR CTR MIXTO CSIC UPV EHU OR
UNIV PAIS VASCO EHU OR UNIV BASQUE
COUNTRY UPV EHU OR EHU OR EUSKAL HERRIKO
UNIBERSITATEA OR UNIV PAIS VASCO UPV EHU
OR EHU UPV OR EUSKAL HERRIKO UNIV OR
EUSKAL HERRIKO UNIBERTSITATEA UPV EHU )

49. • Opciones de
• Historial de ordenación
búsquedas
• Opciones de análisis
de resultados e
informes de citación
• Opciones de
exportación,
• Opciones de filtrado de los resultados por impresión y
áreas, tipos de documentos, años, guardar en listas
instituciones, países, fuentes, autores, idiomas

50. Analyze Results

51. Create Citation Report

52. Cited Reference Search
• Encuentra las citas a un artículo, libro, … (incluso
si no está recogido en WoS) pero ha sido citado
desde las revistas indizadas en WoS
• Escasa normalización en las abreviaturas
• Usar truncamientos y búsquedas amplias
• Método ensayo-error
ejemplo

53. Cited Reference Search
• Es necesario filtrar manualmente
• No hay certeza de que estemos
recuperando todos los resultados

54. Cómo localizar las revistas
indexadas en la WoS
• Thomson cuenta con un listado maestro (master list)
donde aparecen las revistas recogidas en sus índices
de citas http://science.thomsonreuters.com/mjl/
¡Ojo! No confundir con JCR: No todas
las revistas incluidas en WoS tienen
factor de impacto JCR

55. Descarga de registros a
programas ofimáticos
• Aunque WOS proporciona herramientas de
análisis, es imprescindible la descarga de registros
para un análisis solvente (limitación: descarga de
500 registros como máximo por archivo)
• Esto permite el tratamiento de datos, la
normalización de registros, y la confección de
bases de datos en conjunción con otras
informaciones como las de revistas JCR o de
información interna de la institución (categoría
profesional, actividad científica, etc)

56. Práctica Instituciones
• ¿Qué producción tiene tu Universidad (sólo
articles y reviews) entre 2008 y 2012?
¿Cuál es su promedio de citas?
¿Qué país es su principal colaborador?
¿Cuál es su porcentaje de colaboración
internacional?
¿Qué promedio de citas tiene cuando publica
con Estados Unidos?
¿Y cuando publica sin colaboración de ningún
tipo?

57. Práctica Investigadores
• ¿Cuántos trabajos ha publicado Emilio
Delgado López Cózar (Univ Granada) en
su carrera profesional?
¿Cuántas firmas distintas has detectado?
¿Cuál es su índice h?
¿Quiénes son sus coautores más frecuentes?
¿Qué porcentaje de trabajos ha publicado en
revistas que no son de Biblioteconomía?

58. Práctica Descargas (AVANZADO)
• Descarga los trabajos de Emilio en un
formato compatible con Excel
• Abre el archivo en Excel
• Calcula el índice h y el promedio de citas
• Guarda el documento, en un rato
calcularemos su crown indicator

59. Journal Citation Reports (JCR)
• http://www.accesowok.fecyt.es/jcr/
• Base de datos que recoge los factores de impacto
de las revistas científicas seleccionadas por
Thomson Reuters
• Podemos delimitar la búsqueda por año, categoría
temática y países
• Recoge otros indicadores como posición de la
revista en su categoría, índice de inmediatez,
porcentaje de autocitas,

60. Información básica de una
revista
Factor de impacto de la revista
Categorías JCR a las que se adscribe
Posición de la revista
en dichas categorías

61. Práctica Búsquedas
• ¿Cuántas revistas españolas hay en JCR
(Social Sciences) en 2011?
• ¿Cuál es la revista más relacionada con la
Revista Española de Pedagogía?
• ¿En qué cuartil se sitúa Spanish Economic
Review?
• ¿Encuentras algo anómalo en la tendencia
de factor de impacto de la Revista de
Psicodidáctica?

62. Práctica Descargas (AVANZADO)
• Descarga la categoría Information Science
and Library Science
• Abre el archivo con el bloc de notas y
reemplaza los puntos por las comas
• Abre el archivo con excel, y ordena por
factor de impacto descendente
• Calcula los cuartiles de las revistas

63. Essential Science Indicators
(ESI)
• http://www.accesowok.fecyt.es/esi/
• Indicadores a nivel macro de producción y citación
• Nos proporciona un marco comparativo; podemos
confrontar los registros de un investigador o
institución con áreas / países, etc

64. Evolución anual Ránking de paises para la categoría
Papers más citados

66. Práctica ESI
• ¿En qué percentil de la distribución se encuentra
un autor del área de Ciencia de Materiales que
publicó un trabajo en 2008 y que ha recibido 30
citas hasta la fecha de hoy?
• ¿Cuál es el número mínimo de citas que necesita
un autor de Psicología para situarse dentro del
1% más citado en 2009?
• Qué impacto normalizado (CROWN INDICATOR)
tienen los papers de Emilio publicados en 2009?
(AVANZADO)

67. Cómo aprovechar los Rankings
I-UGR para hacer informes de mi
institución

68. Introducción
Se basan en los datos
de la WoS y los JCR
Ofrecen rankings por campos
y disciplinas científicas
Las universidades se ordenan de acuerdo al
IFQ2A-Index basado en 6 indicadores
Utiliza dos periodos
cronológicos de 5 y 10 años

69. Creación de campos y disciplinas

70. Creación de campos y disciplinas
AU C1
Campanario, JM; Coslado, MA [Miguel Campanario, Juan] Univ Alcala de Henares, Dept Fis, Madrid 28871, Sp
Campanario, JM Univ Alcala De Henares, Dept Fis, Madrid 28871, Spain
Campanario, JM; Carretero, J; Marangon, V; Molina, A; Ros, G Univ Alcala De Henares, Dept Fis, Madrid 28871, Spain; [Marangon, Vera] Univ A
Campanario, JM Univ Alcala De Henares, Dept Fis, Madrid 28871, Spain
Campanario, JM Univ Alcala De Henares, Dept Fis, Madrid 28871, Spain
Campanario, JM [Miguel Campanario, Juan] Univ Alcala De Henares, Dept Fis, Madrid 28871, Sp
Campanario, JM; Candelario, A [Miguel Campanario, Juan; Candelario, Antonia] Univ Alcala de Henares, Dept F
Campanario, JM Univ Alcala De Henares, Dept Fis, Madrid 28871, Spain
Campanario, JM; Molina, A [Miguel Campanario, Juan; Molina, Antonio] Univ Alcala de Henares, Dept Fis, M
Campanario, JM Univ Alcala de Henares, Dept Fis, Madrid 28871, Spain
Andrade, A; Gonzalez-Jonte, R; Campanario, JM [Andrade, Antonia] Univ Alcala de Henares, Dept Geol , Madrid 28871, Spain; [G
Campanario, JM; Acedo, E Univ Alcala De Henares, Dept Fis, Alcala De Henares 28871, Madrid, Spain
Gonzalez, L; Campanario, JM Univ Alcala de Henares, Dept Fi s, Madrid 28871, Spain
Coslado, MA; Campanario, JM Univ Alcala de Henares, Dept Fis, Madrid 28871, Spain
Campanario, JM; Gonzalez, L Univ Alcala de Henares, Dept Fis, Edificio Ciencias, Madrid 28871, Spain
Campanario, JM; Gonzalez, L; Rodriguez, C Univ Alcala de Henares, Dept Fis, Alcala De Henares 28871, Madrid, Spain

71. El IFQ2A-Index
Daniel Torres Salinas, Jose G. Moreno-Torres, Emilio Delgado-López Cózar, Francisco
Herrera A methodology for Institution-Field ranking based on a bidimensional analysis:
The IFQ2A-index. Scientometrics 2011, 88(3): 771-786
DIMENSIÓN CUANTITATIVA DIMENSIÓN CUALITATIVA
NDOC: Número de documentos TOPCIT: Porcentaje de
citables documentos altamente citados
NCIT: Número de citas 1Q: Porcentaje de documentos en
el primer cuartil de su categoría
H-INDEX: Índice H según
Hirsch PCIT: Promedio de citas

72. El IFQ2A-Index
1,0 Barcelona
Navarra
Autónoma de
0,8 Madrid Autónoma de
Barcelona
QUALITATIVE DIMENSION
Valencia
0,6 AVERAGE QLIF
0,4
AVERAGE QNIF
0,2
0,0
0,0 0,2 0,4 0,6 0,8 1,0
QUANTITATIVE DIMENSION

73. Los Rankings I-UGR
-12 campos científicos
-37 disciplinas

74. Los Rankings I-UGR

75. Prácticas Rankings I-UGR
• Date de alta en los Rankings I-UGR
• Busca las posiciones de tu universidad en
los distintos campos y disciplinas
• Observa la variación de posiciones según el
periodo analizado y según la edición y
analiza las diferencias
• Identifica en qué categorías JCR dentro de
Informática publica más tu universidad en el
periodo 2007-2011

76. Ejemplo de informe
La Universidad de Granada en los Rankings ISI