Este documento discute los retos y oportunidades de los métodos y sistemas de evaluación de la actividad científica para países emergentes. Explora las limitaciones de usar solo indicadores bibliométricos y fuentes como el Web of Science y Scopus, y la necesidad de considerar métricas alternativas y fuentes regionales. También resalta la importancia de que las universidades diseñen sus propios sistemas de indicadores para medir su impacto social más allá de la investigación.

1. Los métodos y sistemas de evaluación de la
actividad científica: retos y oportunidades para
países emergentes
4 de Octubre
Universidad Pedagógica y Tecnológica de Colombia (Uptc),
Tunja, Colombia.
Orlando Gregorio-Chaviano. Departamento de Ciencia de la Información.
Facultad de Comunicación y Lenguaje. Pontificia Universidad Javeriana.

2. o Por qué
o Para qué
o Cómo
o Dónde
o Cuánto
Lugares comunes

3. o La ciencia en La ciencia Latinoamerica (y Colombia) están mejor que hace
unos años
oLas revistas tienen mayor proyección hoy en este mundo de las agencias
o La producción científica es más visible
o Colaboramos y participamos más
Pero,
oSeguimos sin entender o no queremos entender las diferencias, los sesgos,
las malas prácticas, las estructuras de los agregados, disciplinas, ect.
o Nos hemos perdido en este mundo de fuentes, indicadores, procesos
(efectos positivos y negativos)
Antes de comenzar

4. o WoS y Scopus como principales fuentes de evaluación de la
ciencia
o Revistas nacionales por fuera del sistema
o Diferencias disciplinares y evaluaciones similares
o Indicadores bibliométricos insuficientes
o Revistas con necesidades de mejora en la gestión
bibliométrica y administrativa
o Planeación de la investigación para la visibilidad
o Evaluación de agregados científicos
Reflexiones iniciales

5. 2001-2010
19 documentos
2011-2018
117 documentos
Ndoc=136

6. 2001-2010
42 documentos
2011-2018
221 documentos
Ndoc=263

7. Félix de Moya, Scimago Lab, Scopus, 2018.

8. Pareto
o La Ley del 80/20 visible en muchas distribuciones bibliométricas
Bradford, S
o La concentración de la producción (y las citas) en un núcleo reducido
Garfield, E
o Surgimiento del ISI y nacimiento de los índices de citación
La Bibliometría

9. La Ley de Bradford, el principio de Pareto y la idea original de Garfield, no
dicen más que “pocas revistas controlan lo mejor de la ciencia”.
Sin embargo:
- Se pierden detalles de áreas, países, líneas..
-La selección de revistas impacta en la evaluación y en la calidad
-La evaluación de la ciencia y propuestas de productos deben ser
incluyentes
-Scopus vino a cubrir esos espacios vacíos … pero y las demás fuentes?

11. o La evaluación de la actividad científica por medio de la
bibliometría y de indicadores bibliométricos
o La inclusión y posición de las revistas en fuentes y sistemas como
criterio de calidad (cuartiles)
o Diferencias disciplinares, las asimetrías bibliométricas
o Nuevas métricas (altmetrics).
o Las CSyH no reconocen el sistema y no se reconocen en el
sistema
Contexto en la investigación

12. o WoS y Scopus como medidas de calidad
o Paso de viejos a nuevos modelos de revistas
o Núcleos de revistas que controlan la producción y la cita
o Sistemas de evaluación y clasificación de las revistas regionales
o La cita como unidad de cuenta en la construcción de
indicadores
o El Factor de impacto y el SJR como indicios de calidad
o Endogamia, mala periodicidad, no rigurosidad en los procesos..
Contexto en las revistas

13. Fuentes y sistemas

14. o Instrumento que sirve para mostrar o indicar algo,
procedimiento que sirve para cuantificar dimensiones
conceptuales y que cuando se aplica produce un número.
o Actualmente se deben considerar tanto las métricas clásicas
(citas), como las altmétricas.
Gorraiz, J. (2018). Los mil y un reflejos de las publicaciones en el
laberinto de espejos de las nuevas métricas. El profesional de
la Información. marzo-abril, 27 (2).
Indicadores

15. Indicadores

16. o Factor de impacto
o Scimago Journal Rank
o Indice h
o Eingenfactor
o SNIP
o CiteScore
o Impactos normalizados
o Variantes del h
Indicadores bibliométricos

17. Promedio de citas que reciben los artículos de una revista en una ventana
de tiempo de dos (2) años.
Desde el punto de vista matemático es más fácil de entender que el SJR.
Sesgo hacia las ciencias sociales y no se conoce la influencia de artículos
individuales en las revistas.
Elementos matemáticos del indicador a tener en cuenta en la planeación y
la gestión
Factor de impacto

18. Prestigio científico de fuentes de investigación y valor de citas ponderadas
por documento.
Una publicación transmite su propio “prestigio” o estatus a otra por el
hecho de citarla. En la práctica, esto significa que una cita de una fuente con
un SJR relativamente alto tiene un mayor valor que una cita de una fuente
con un SJR más bajo. Se calcula con una ventana de tiempo de 3 años.
Imposible (CASI) de entender y de reproducir …….

19. • Se toman cada uno de los trabajos de un autor
en un período de tiempo y se listan en forma
descendente en función del número de citas
recibidas. Se construyen dos (2) listas; una
ascendente (ranking) y una descendente
(citas).
• Mayor número de orden donde la cantidad de
citas sea mayor o igual (no menor) al número
de orden. Un autor o revista tendrá un índice h
si h trabajos han recibido h citas.
Posibilita conocer cuáles son aquellos artículos que aportan la mayor cantidad
de citas en un agregado.
Indice h

20. Algunas lecturas de indicadores

21. Producción Colombia WoS – Scielo

22. Revistas
Dyna Colombia
Biomedica
Revista Colombiana De Cardiologia
Lecture Notes In Computer Science Including Subseries
Lecture Notes In Artificial Intelligence And Lecture Notes In
Bioinformatics
Revista De Salud Publica
Journal Of Physics Conference Series
Revista Facultad De Ingenieria
Revista Colombiana De Gastroenterologia
Informacion Tecnologica
Plos One
Revista Facultad De Medicina
Vitae
Iatreia
Espacios
Journal Of High Energy Physics
Revista Colombiana De Anestesiologia
Colombia Medica
Physics Letters Section B Nuclear Elementary Particle And
High Energy Physics
Proceedings Of SPIE The International Society For Optical
Engineering
Salud Uninorte
Acta Biologica Colombiana
Livestock Research For Rural Development
Ingeniería E Investigación
Colombia – Scopus

23. Colombia – WoS
BIOMEDICA
VALUE IN HEALTH
DYNA COLOMBIA
JOURNAL OF HIGH ENERGY PHYSICS
PHYSICAL REVIEW D
PLOS ONE
PHYSICS LETTERS B
INGENIERIA E INVESTIGACION
ZOOTAXA
PHYSICAL REVIEW LETTERS
COLOMBIA MEDICA
REVISTA FACULTAD DE INGENIERIA UNIVERSIDAD DE ANTIOQUIA
AMERICAN JOURNAL OF TROPICAL MEDICINE AND HYGIENE
REVISTA MVZ CORDOBA
EUROPEAN PHYSICAL JOURNAL C
REVISTA DE BIOLOGIA TROPICAL
REVISTA COLOMBIANA DE CIENCIAS PECUARIAS
IDEAS Y VALORES
ANNALS OF THE RHEUMATIC DISEASES
CALDASIA
ABSTRACTS OF PAPERS OF THE AMERICAN CHEMICAL SOCIETY
UNIVERSITAS PSYCHOLOGICA
REVISTA COLOMBIANA DE ENTOMOLOGIA
REVISTA DE ESTUDIOS SOCIALES
REVISTA PANAMERICANA DE SALUD PUBLICA

24. Revistas Colombianas

25. Las revistas
científicas antes de
la evaluación
Publindex Las nuevas
revistas
Evaristo Jiménez-Contreras, EC3Metrics
La evaluación

26. CATEGORÍA CRITERIO
A1 Revistas ubicadas en Q1 de SJR y JCR
A2 Revistas ubicadas en Q2 de SJR y JCR
B
Revistas ubicadas en Q3 de SJR y JCR
Q1 de h5 (gran área)
C
Revistas ubicadas en Q4 de SJR y JCR
Q2 de h5 de acuerdo a Google académico (gran área)

27. Efectos de la evaluación

28. Los modelos de evaluación han aumentado la producción pero no siempre la
calidad de la investigación
o Las citas recibidas en su mayoría provienen de trabajos sin liderazgo de
país.
Latinoamérica continua dejando de lado las fuentes regionales y la
posibilidad de generar nuevas métricas
o Fuentes como Scielo, Redalyc, Latindex ofrecen miradas más allá de WoS y
Scopus, especialmente las CSyH
Falta de análisis bibliométricos con métricas más amplias y confiables
oBibliometría tradicional, altmétrics, entorno
Entonces….

29. Necesidades de información y formación - Bibliotecas

30. Misión formativa e investigadora de las universidades
La nueva misión de las bibliotecas universitarias: el apoyo a la
investigación
De una parte la misión tradicional y de otra el aporte a la nueva
demanda de necesidades de información y formación
Unidades de bibliometría y servicios especializados
Biblioteca e investigación

31. Los procesos de evaluación de la investigación se basan en
indicadores bibliométricos extraídos mayormente desde fuentes
de citación presentes en la biblioteca
Conocer los indicadores, leerlos, interpretarlos y comunicarlos a
los investigadores.
Biblioteca e investigación

32. o Asesoría en estrategias de publicación
o Asesoría en procesos de evaluación
o Elaboración de informes bibliométricos en niveles de
agregación
o Visibilidad y difusión de la actividad científica
o Trabajo en los repositorios institucionales
Los nuevos servicios
Evaluación
de áreas y
disciplinas

33. Las unidades de bibliometría

35. Evaluarse ellas
Qué publicamos
Citas (quién nos cita, qué nos
citan)
Indicadores de gestión
Evaluar el entorno Qué se publica y quién…
Cómo se publica (tendencias)
Gestión de revistas

36. Planeación en el tiempo, especialmente
mediano plazo
o Líneas y proyectos de
investigación
o Colaboración científica
o Tiempos en la investigación
o Selección de revistas
o Proceso de escritura
Evaluación y planeación de la investigación

37. Un modelo de planeación

38. Beneficios sociales, económicos, culturales derivados de las
actividades que realiza la universidad
Impacto Social

39. Impacto

40. o Que las universidades diseñen, desarrollen e implementen sistemas de
indicadores que respondan y reflejen las interacciones que tienen con su
entorno
o Utilizar indicadores para las tres misiones: formación y docencia,
investigación y vinculación
o Distinguir entre capacidades (lo que la universidad tiene) y actividades (lo
que ésta hace), y hacer que los indicadores respondan al contexto de la
universidad, así como a la factibilidad en términos de tiempo, recursos,
acceso y sistematización de la información.
Necesidades (y posibilidades)

41. o Aumento del output pero no siempre la calidad de la investigación
oUso de métricas no basadas en citas que promuevan e incentiven la
producción
o Evaluación más allá de la revista receptora y la base de datos
o Selección de indicadores institucionales para la evaluación del
rendimiento científico
o Planeación de la investigación y énfasis en la autoría responsable
o Revisión de líneas y proyectos en grupos
o Fortalecer la colaboración en diferentes patrones
o La biblioteca con nuevos servicios de información
Conocer los indicadores, sus dinámicas, posibilidades, así como las fuentes y modelos
de evaluación donde navegamos
Conclusiones parciales

42. Gracias !!!
orlando.chaviano@gmail.com