El documento discute el uso de la bibliometría y los indicadores bibliométricos en la evaluación científica. Explica diferentes tipos de indicadores como indicadores de producción, impacto y colaboración, así como sus fortalezas y debilidades. También analiza temas como el uso apropiado de los indicadores y métodos bibliométricos en la gestión y evaluación de la investigación.

1. Orlando Gregorio-Chaviano
Pontificia Universidad Javeriana
Dpto. Ciencia de la Información
Bibliometría y evaluación científica:
indicadores, métodos y mejores prácticas de
apoyo a la visibilidad y el impacto de la
investigación
Congreso Institucional de Investigación, Universidad El Bosque,
septiembre 18, 2019

2. Indice
 Importancia de la bibliometría, los indicadores y
los métodos bibliométricos en la evaluación
científica
 Tipologías de indicadores, metodologías,
fortalezas y debilidades
 Temas para un debate
 Ejemplos de aplicación

3.  En la evaluación y gestión de la investigación, en
general en los agregados científicos y el diseño de
políticas, debe intervenir la bibliometría, sus
métodos e indicadores
 Obtener indicadores, pero sobre todo leerlos, de
acuerdo a necesidades y contextos
 Fortalecer los métodos bibliométricos como
herramientas de éxito, planeación evaluaciones
periódicas
Introducción necesaria

4. Pareto A
Sociólogo y economista, describe la regla del
80/20 de la que algunas leyes bibliométricas son
casos particulares
Bradford SC
Bibliotecario que hacia 1934 formula “scattering
law” sobre la dispersión de la literatura científica
Garfield E
Científico de la información, autor de la ley de la
concentración de la citación y fundador del ISI
Historia

5.  Aporta información clave para la toma de decisiones:
qué, quién, cuándo, cómo (simples descriptivas)
 Medición del output y el impacto de la investigación
 Predicción de comportamientos futuros (tendencias)
 Correlación de indicadores con el éxito de la
investigación (publicación en buenas revistas)
 Valoración de proyectos y carreras, distribución de
fondos
¿Qué permite?

6.  WoS y el escaso cubrimiento de países, regiones y
disciplinas (ESCI y su valor actual)
 Cobertura de Scopus no es sinónimo de calidad, sus
indicadores difíciles de leer y replicar
 Las falencias, limitaciones y sesgos de los indicadores y
los índices de citas
 Las fuentes y sistemas regionales con poca aceptación
por las agencias de evaluación
 Falta de rigurosidad bibliométrica y aplicación en la
gestión de la investigación
Realidades

7.  Clasificaciones nacionales de revistas con metodologías
por mejorar, aún alejadas de las realidades nacionales
 Las bases de datos no son estadísticamente
representativas de la investigación que se hace en el
mundo
 Google Scholar mucho más cerca de esta
representatividad. ¿Qué ventajas tendría o podría ser un
inconveniente?
 ¿Tiene sentido mantener bases de datos regionales como
SciELO o Redalyc?
 ¿Son acertadas las evaluaciones nacionales de revistas e
investigadores?, ¿cumplen con las necesidades?
Realidades

8. El valor actual de la idea original de Eugene Garfield
 La forma de evaluar revistas de acuerdo a su
relevancia ya fue creada hace mucho tiempo: “Factor
de Impacto”.
 Las Ciencias Exactas y algún sector de CCSS,
consideran que la base de referencia es WoS (o su
metodología), donde están indizadas las mejores
revistas del mundo (Scopus sería una versión más
amplia pero no mejor)
 Las citas son una unidad de cuenta aceptable para la
evaluación
Precisiones

9.  Evitar la simplicidad y la automatización en los
procesos de evaluación donde intervienen
indicadores
 No hacer traducciones automáticas del
indicador en función de valores, posiciones de
revistas
 El mundo de la bibliometría se caracteriza por
distribuciones asimétricas
Trabajo con indicadores

10.  Indicadores de largo plazo (citas), con vidas medias
largas que necesitan más o menos tiempo para
aportar información relevante según la disciplina
analizada.
 Indicadores de corto plazo (medidas de uso), que
se recogen ya casi antes de la fecha de publicación
y ofrecen información rápida y se vuelven
obsoletos rápidamente
Métricas de corto plazo (altmétrics) como predictores de
las de largo plazo (citas)
Reflexiones breves: dos mundos

11.  La calidad y el impacto de la investigación utilizando una
combinación de revisión por pares e indicadores cuantitativos
 Uso de indicadores tradicionales con sus críticas y la aparición de
métricas alternativas
 Los méritos relativos de diferentes métricas en la evaluación de
las cualidades académicas e impacto de la investigación
 Creación de ambientes que permitan y alienten una investigación
excelente y con impacto, incluido el fomento de la investigación
inter y multidisciplinaria
 Ajuste de la evaluación de la investigación basada en métricas a
las misiones institucionales
The metric tide (Wilsdon)
Wilsdon, J. et al. (2016). The metric tide: Independent review of the role of
metrics in research assessment and management. Sage.

12.  Lo que no se mide o no se puede medir con métricas
cuantitativas (entorno, impacto social…)
 Los impactos diferenciales de la evaluación basada en métricas
en investigadores individuales, incluidas las implicaciones para
los investigadores de carrera temprana
 Las implicaciones que tienen las diferencias disciplinares en el
desarrollo de indicadores estandarizados en toda la base de
investigación
 Efecto del uso de los indicadores sobre las culturas y prácticas de
investigación, incluidas preocupaciones sobre gestión del
desempeño
 Hasta qué punto las métricas exacerban los problemas de los
juicios y enfoques estratégicos para evaluación de la
investigación
The metric tide (Wilsdon)

13.  Instrumentos y procedimientos que
cuantifican dimensiones conceptuales y que al
aplicarlos producen un número
 Cumplen una función básica en la
investigación: evaluación y descripción de los
resultados de la investigación
 Estiman el comportamiento y analizan la
actividad científica y su consiguiente
mejoramiento
Indicadores

14.  Los que miden la cantidad de las publicaciones
científicas (indicadores de producción - output)
 Los que miden la calidad y el impacto desde las
relaciones entre las publicaciones científicas
(indicadores de citación, impacto, basados en
citas)
Categorías
Las fuentes de citación dejan por fuera gran
parte de la producción científica de las disciplinas
de CSyH y de la región

15. PRODUCCIÓN (Output)
IMPACTO/VISIBILIDAD
(citas, factor de impacto,
posición en cuartiles, h
index..)
COLABORACIÓN
(patrones de
colaboración)
Categorías
Redes
Altmétrics

16. Se encargan del recuento y contabilización de la
producción (Número de publicaciones)
 No siempre la productividad es sinónimo de
relevancia y calidad científica
 La lectura de los mismos deja de lado aspectos de la
calidad de la ciencia (producción no es sinónimo de
calidad)
 Correlacionar con tamaños, inputs, benchmarking de
áreas y disciplinas
Indicadores de producción

17.  Contabilizan las citas recibidas y su aplicación como
medio de evaluación de las comunidades científicas
 A pesar que la cita se relaciona con el impacto y con la
importancia de los resultados de la investigación, no
debe verse esta como criterio de calidad de manera
categórica
Se encargan de realizar análisis de
segundo orden (citas como impacto)
Indicadores de impacto

18. Indicadores de impacto

19. Motivaciones
 Ahorro de recursos, mejora de la visibilidad y
el impacto de los resultados publicados
 La colaboración con científicos visibles ayuda a
mejorar la producción y el impacto
 Elevado número de coautores en los trabajos
tienen tasas de citación más altas
Colaboración científica

20.  Aumento de citas en trabajos con mayor colaboración
 Los colaboradores citan más que los no colaboradores
 Las citas concentradas en nichos (instituciones, revistas,
autores)
 Instituciones top se citan entre ellas y menos hacia las
de menor impacto (al igual que las revistas y autores)
Colaboración científica

21. Definen en muchos casos la proyección institucional, la
visibilidad y el alcance de proyectos y programas
 Colaboración internacional
 Colaboración nacional
 Institucional
Es preciso observar desde la Bibliometría el aporte e
impacto de la colaboración en la producción científica
Patrones de colaboración

22. Cálculo y replicación es relativamente fácil para usar en
otros contextos y situaciones
 Permite no solo la evaluación de revistas, sino la
selección de las mismas para publicar resultados de
investigación
 Mientras que en el numerador se tienen en cuenta
todas las citas que reciben los documentos publicados,
en el denominador sólo se incluyen los documentos
citables como artículos, revisiones
 Insuficiente para evaluar las CSyH con una ventana de
observación limitada
Factor de impacto

23.  No tiene sentido afirmar que el factor de impacto es
grande o pequeño sin compararlo con factores de
impacto de revistas similares y de las disciplinas
 Los factores de impacto de algunas revistas
disminuirían si se descontasen del numerador las citas
recibidas por los documentos excluidos del
denominador o se incluyesen en el denominador
todos los documentos publicados
 En la selección de revistas para publicar no hacer
predicciones con datos de impacto
 Incluye autocitas
Importante…

24.  Indicador de “prestigio”
Una revista transfiere a otra su prestigio por el hecho
de citarla
 Mayor cantidad de revistas en el cálculo y cobertura
de áreas y países
 Ventana de tiempo de tres años (sin autocitas)
 El valor es una posición de revistas en red
Dificultades de lectura, diversidad de variables en el
cálculo, valores erróneos de cálculo de citas que
impactan en le red
SJR de Scopus

25.  Se ordenan cada uno de los trabajos en forma
decreciente de acuerdo al número de citas recibidas,
donde un autor (o revista) tendrá un índice h si h de
sus trabajos han recibido h citas.
 Facilidad para obtenerlo y resumir el valor de la
investigación en un simple valor numérico.
Posibilidades de combinar la cantidad (número de
publicaciones) y el impacto (citas)
 Limitaciones en las dinámicas de producción y citación
que inciden desde el rendimiento.
Índice h

26.  Valores diferentes en las áreas y disciplinas
 Dependiente de los tiempos de investigación
 Su uso puede traer cambios en las prácticas
de publicación (como la mayoría de los
indicadores bibliométricos)
Desventajas

27.  EingenfactorScore (WoS)
 Índice de inmediatez (WoS)
 CiteScore (Scopus)
 Article influence Score (Scopus)
 SNIP (Scopus)
 Impactos normalizados (ambas fuentes)
Otros indicadores

28.  Producción total, por años, disciplina
 Trabajos por fuente, por cuartil
 Número y porcentaje de trabajos en Q1
 Impactos normalizados
 Número y % de citas recibidas, tasa de autocitación,
trabajos no citados
 Índice h
 Número y % de trabajos citables
 Patrones de colaboración
 Benchmarking (comparativos)
Un listado básico

29.  Documentos por año, por
agregados
 Documentos por fuentes
 Tipologías documentales
 Idiomas
 Financiación
 Indice de especialización
 TVA (Total y %)
 Factor de impacto de las
revistas
 Publicaciones por cuartil
(total y %)
 Impacto esperado
 Crown Indicator
 H index
 H sucesivos
 Total de citas
 Citas por agregado
 Promedio de citas
 Tasa de autocitación
 Patrones de colaboración
 Citas por patrón de
colaboración
 Indice de coautoría
Evaluación
científica
Evaluación científica

30. IMPACTO ESPERADO IMPACTO OBSERVADO
Número y % de trabajos
citados
Tasa de autocitación
H index
Crow Indicator
Factor de impacto
Cuartiles

31.  Análisis de tendencias de áreas, disciplinas,
instituciones (indicadores de producción,
colaboración e impacto)
 Evaluación de revistas científicas y editoriales
 Informes bibliométricos institucionales y de revistas
 Planeación de la investigación (proyectos,
colaboración, financiación, búsqueda de revistas
para publicar)
 Bibliotecas (servicios de apoyo a la investigación)
Usos de los indicadores

32. 1. Planear sobre evaluaciones precedentes
Bases de datos de producción científica y realizar
benchmarking
1. Contar con indicadores disciplinares
2. Planear a partir de objetivos y misiones
3. Conocer las bases de datos de citación y otras
4. Gestión de proyectos, líneas, gestión de la
producción, selección de revistas
Uso de la bibliometría y los indicadores

33. Prestar atención a las revistas (propias y
“ajenas”)
 Indicios de calidad en la evaluación
 Consumo de información, calidad del proceso
de investigación
 Marca universidad y visibilidad de la
investigación
Revistas científicas

34.  Contextualizar las áreas antes de proceder a hacer
comparaciones
 No olvidar las prácticas de producción y citación de
áreas y disciplinas
 El uso de las fuentes de datos y su representatividad
estadística
 Trabajar a partir de la misión y objetivos institucionales
 Realizar aplicaciones periódicas y comparaciones
 Tener en cuenta el tamaño de los agregados
 Correlacionar con el criterio de expertos
A tener en cuenta

35. Niveles de agregación Propósito Indicadores
Individual Búsqueda de recursos,
evaluaciones
Publicaciones (output)
Grupo de investigación Mejora de
comportamiento,
planeación
Journal Citation Report,
bases de citación
Institución Mejorar la presencia en
país/región, aumento
de la colaboración,
planeación
Citas, colaboración
Disciplina Analizar
comportamientos,
planeación
Producción, citas,
impacto, colaboración
En la medida que se agregan datos mayor es la fiabilidad del
resultado pero más difícil la lectura
Niveles de agregación

36.  Bibliometria
 Indicadores
 Métodos
bibliométricos
 Evaluación
científica

37.  Es necesario leer más allá de valores
numéricos
 Utilizar indicadores normalizados para la
evaluación de agregados
 Realizar evaluaciones periódicas en contexto
y correlacionar con tamaños
 Planear la investigación
Aspectos clave

38.  La investigación y su evaluación debe realizarse con
criterios de calidad científica y no de simple
oportunidad que no favorece la calidad.
 La mejora de la investigación (y de las revistas) se tiene
que hacer con criterios de calidad científica, citas, etc. y
con cargo a criterios igualmente de excelencia científica
 Los índices de citas construidos con una perspectiva
local, sirven a estos propósitos porque permiten ver el
detalle de la comunicación científica que no se puede
ver en las bases de datos internacionales
Reflexiones finales

39.  La bibliometría necesita análisis más allá de lo
cuantitativo (indicios de calidad)
 La bibliometría existe más allá de WoS y Scopus
(incluso de Colciencias y Publindex)
 Tener en cuenta el contexto, los objetivos, la misión
de los agregados que afectan los resultados
 Creación de herramientas de cálculo de indicadores
basados en citas
Reflexiones finales

40. Informes bibliométricos
Incluyen:
 Areas
 Fuentes de información
 Tipologías documentales
 Niveles de agregación,
programas ..

41. Indicadores

42. Benchmarking
Comparación en relación con:
 Tamaño del campo (número de documentos)
 Tamaño del recurso humano (cuántos
investigadores)
 Objetivos y misión de la institución
 Comportamiento de la disciplina

43. Patrones de colaboración

44. Indicios de calidad

45. Scopus
WebofScience
Scopus
Ndoc
Ndoc
Indicios de calidad

46. Redes de colaboración

47. Título País Institucióneditora Idioma Q Citas FI Periodicidad NdocDenominador NcitNumerador NdocCitados %DocCit %Autocitas
NEWENGLANDJOURNALOFMEDICINE US MassachusettsMedicalSociety Inglés 1 332,831 79.260 Semanal 670 53104 620 92,5 0,9
LANCET UK TheLancetPublishingGroup Inglés 1 233,269 53.254 Semanal 645 34349 641 99,4 2,6
JAMA-JOURNALOFTHEAMERICANMEDICAL
ASSOCIATION
UK AmericanMedicalAssociation Inglés 1 148,775 47.661 Semanal 410 19541 407 99,3 2,1
BMJ-BritishMedicalJournal UK BMJPublishingGroup Inglés 1 109,321 23.562 Semanal 443 10438 420 94,8 6,0
JAMAInternalMedicine US AmericanMedicalAssociation Inglés 1 11,84 19.989 Mensual 275 5497 271 98,5 3,8
ANNALSOFINTERNALMEDICINE US AmericanCollegeofPhysicians Inglés 1 53,689 19.384 Quincenal 302 5854 300 99,3 3,3
NatureReviewsDiseasePrimers UK NaturePublishingGroup Inglés 1 1,559 16.071 Mensual 84 1350 84 100,0 0,4
JournalofCachexiaSarcopeniaandMuscle US Wiley-Blackwell Inglés 1 2,207 12.511 Trimestral 88 1101 85 96,6 28,1
PLOSMEDICINE UK PublicLibraryofScience Inglés 1 24,232 11.675 Mensual 286 3339 279 97,6 2,8
BMCMedicine UK BioMedCentral Inglés 1 12,000 9.088 Mensual 398 3617 375 94,2 1,5
MAYOCLINICPROCEEDINGS US ElsevierBV Inglés 1 13,828 7.199 Mensual 282 2030 254 90,1 4,6
Lecturas factor de impacto

48. Selección de revistas

49. ¡Gracias!
ogregorio1970@gmail.com
ogregorio@javeriana.edu.co