Este documento presenta información sobre la gestión y evaluación de la actividad científica utilizando indicadores bibliométricos. Explica diferentes fuentes de datos como Web of Science, Scopus y Google Académico y varios indicadores como el índice h, factor de impacto y cuartiles. También cubre temas como la planeación de la investigación, búsqueda de información, evaluación de revistas, autores e instituciones y la importancia de la colaboración.

1. Gestión y evaluación de la
actividad científica: fuentes,
indicadores y métodos
Universidad Técnica y Particular de Loja (Utpl),
Junio 7 de 2018
Orlando Gregorio-Chaviano
Profesor. Pontificia
Universidad Javeriana,
Colombia.

2. o Evaluación de las universidades y el profesorado
o Bibliometría y sus indicadores como insumos para la
planeación y la evaluación
o Diversidad de indicadores bibliométricos
o Diferencias disciplinares
o Tiempos para la investigación
o Planeación de la investigación
Contexto

3. Planeación y gestión del tiempo
Se proactivo, visualiza objetivos, organiza el tiempo,
fomenta el trabajo en grupo
Adpatado de: Matriz de Covey

4. o Lineas de investigación
o Proyectos de investigación
o Revistas para publicar
o Colaboración
o Proceso de escritura
o Revisión por pares
Planeación de la investigación

5. o Herramienta de evaluación y disciplina instrumental…
o Aporte de indicadores que posibilitan el análisis
cuantitativo y cualitativo para conocer regularidades.
Bibliometría

6. Se fundamenta en un conjunto de “leyes”, las cuales
se han establecido gracias a estudios cuantitativos en
los que interviene el recuento de número de
artículos, de revistas y de autores
Fundamentación

7. Bibliometría
Determina de forma sistemática y objetiva, la
relevancia, eficiencia, eficacia, pertinencia,
progreso y efectos de una actividad en función
de los objetivos.
CONTROL – APRENDIZAJE - INTERVENCION

8. ¿Por qué familiarizarse?
…. la mayor parte de las políticas científicas y la evaluación
del rendimiento científico (en diferentes agregados) se
articulan en torno a bases de datos, indicadores y productos
de evaluación basados en la Bibliometría …..
… el rendimiento científico se suele comparar mediante
rankings construidos desde la Bibliometría….
.. los recursos asignados a la investigación tienen en cuenta
los indicadores bibliométricos ….

9. INDICIOS DE CALIDAD – MEDIDAS DE EVALUACIÓN DE LA
INVESTIGACIÓN
Fundamentación

10. o El prestigio de un
investigador se mide por sus
publicaciones científicas.
o La publicación científica
como principal insumo en la
evaluación.
o La cita reflejo de la
visibilidad y la influencia
científica.
Principios básicos

11. o Un núcleo muy reducido de revistas “élite” y un
número elevado de revistas periféricas.
o 20% de Bradford con el 80% de las citas
o Ausencia de sistemas alternos que evalúen todas las
revistas
o El 80% de la investigación latinoamericana no va a
revistas élite
o ¿Es Scopus reflejo de la calidad (y la necesidad de la
investigación?)
o Las ciencias sociales y los procesos de evaluación
o Medición de agregados basada en las citas
La investigación hoy

12. o Ley de Bradford o concentración-dispersión de la
literatura.
o Ley de Lotka o Ley de crecimiento exponencial
(distribución de autores).
o Índice de Price o Ley de obsolescencia de la
información
Leyes bibliométricas

13. Indicadores
o Instrumentos para mostrar o indicar algo,
procedimiento que cuantifica dimensiones
conceptuales y que al aplicarlo produce un número.
o Cumplen una función básica en la investigación:
evaluación y descripción de los resultados de la
investigación

14. o Los que miden la cantidad de las publicaciones
científicas (indicadores de publicación)
o Los que miden la calidad y el impacto desde las
relaciones entre las publicaciones científicas
(indicadores de citación)
Indicadores

15. PRODUCCION
(Output)
VISIBILIDAD E IMPACTO
(citas, posición en
cuartiles, h..)
COLABORACION
(patrones de
colaboración)
ALTMETRICS
Indicadores

16. Más allá de WoS y Scopus y el
“impacto”.
oGran visibilidad al estar muchas veces en
los núcleos de sus categorías
oReciben muchos artículos y tienen altas
tasas de rechazo
oProfesionalización de los procesos
editoriales
oBuenos indicadores de impacto y posición
en cuartiles
oUna comunidad científica alrededor de
ellas
Revistas de impacto

17. Medición a nivel de autor
o Número de publicaciones (Ndoc)
o Número de publicaciones por base de datos,
tipo de documento..
o % de trabajos citados.
o Número de artículos por cuartil
o Número de citas recibidas
o Índice h

18. Medición a nivel de grupo
o Número de publicaciones (Ndoc)
o Número de publicaciones por base de datos,
tipo de documento..
o Número de artículos por cuartil
o Número de citas recibidas
o Número y % de trabajos en colaboración
o Número y % de liderazgo científico
o Índice h

19. Fuentes de datos

20. Web of Science(WoS)
o Cuenta con tres importantes índices de citación: Science Citation
Index (SCI), Social Science Citation Index (SSCI) y Art and
Humanities Citation Index (AHSCI).
o Su creación se basa en la formulación teórica de la Ley de
Bradford (80/20) para la selección de las revistas en sus
diferentes categorías. Por lo que es una base que no se basa en
cobertura, sino en calidad.
o JOURNAL CITATION REPORT para el análisis de las revistas
científicas y el cálculo del Factor de impacto y otros indicadores.
o Incluye desde 2015 cobertura a revistas emergentes (Emerging
Source Citation Index).

21. 12.063 Revistas y 220
categorías
Web of Science(WoS)

22. 22.852 Revistas
Producto de Elsevier que incluye mayor número de revistas
científicas que WoS. Se basa más en cobertura que en la élite de
revistas de las categorías científicas.
Scopus de Elsevier

23. o Sistema de evaluación de las revistas Scopus, el cual
ofrece para revistas y otras tipologías información
bibliométrica y no bibliométrica que posibilita la
evaluación y selección de revistas por categorías.
o Su principal indicador (SJR) pondera la calidad de las
citas recibidas por una revista, pero es difícil de
entender y reproducir en la toma de decisiones.
Scimago Journal Rank (SJR)

24. Mide el promedio de citas que reciben los artículos de una
revista en una ventana de tiempo de dos (2) años.
Desde el punto de vista matemático es más fácil de
entender que el SJR.
Sesgo hacia las ciencias sociales y a que no se conoce la
influencia de artículos individuales en las revistas.
Factor de impacto

25. Journal Impact Factor
Cites in 2017 to articles published in 2016: 87
2015: 102
Sum: 189
Number of articles published in 2016: 42
2015: 38
Sum: 80
Calculation: Cites / articles
189 / 80 = 2.36
Factor de impacto - Ejemplo
EJEMPLOEJEMPLO

26. Mide el prestigio científico de fuentes de investigación:
valor de citas ponderadas por documento. Una
publicación transmite su propio “prestigio” o estatus a
otra por el hecho de citarla. En la práctica, esto significa
que una cita de una fuente con un SJR relativamente alto
tiene un mayor valor que una cita de una fuente con un
SJR más bajo. Se calcula con una ventana de tiempo de 3
años.
Imposible (CASI) de entender y de reproducir …….
Scimago Journal Rank (SJR)

27. CiteScore (CS)
Citas que en el año actual han
recibido los artículos publicados
tres años anteriores.
Formulación similar al factor de
impacto pero con una ventana
de tiempo mayor que favorece a
las disciplinas de lento
envejecimiento y maduración de
citas, como las CSyH.

28. CiteScore (CS) vs. Impact Factor

29. • Se toman cada uno de los trabajos de
un autor en un período de tiempo y se
listan en forma descendente en
función del número de citas recibidas.
Se construyen dos (2) listas; una
ascendente (ranking) y una
descendente (citas).
• Mayor número de orden donde la
cantidad de citas sea mayor o igual
(no menor) al número de orden. Un
autor o revista tendrá un índice h si h
trabajos han recibido h citas.
Indice h (h índex)
• Posibilita conocer cuáles son aquellos artículos que aportan la
mayor cantidad de citas en un agregado.

30. RANGO CITAS
1 6
2 5
3 4
4 4
5 2
6 1
7 1
8 1
9 0
10 0
Indice h (h índex)

31. Listado de revistas ordenadas de mayor a menor
factor de impacto (o SJR) se divide en cuatro
partes iguales, cada una de las partes sería un
cuartil.
Las revistas con el IMPACTO más alto están en
el primer cuartil.
Cuartiles
25+ 25-25 25

32. Revistas más citadas Q1
Q2
Q3
Revistas menos citadas Q4
+Grado de
dificultad
-Grado de
dificultad
Cuartiles

33. Scimago Journal Rank (SJR)
Selección de revistas

34. Scimago Journal Rank (SJR)

35. Criterios
bibliométricos y
no bibliométricos

36. Journal Citation Report (JCR)
Selección de revistas
Criterios
bibliométricos y
no bibliométricos

37. Criterios
bibliométricos y
no bibliométricos

38. Relaciones de
citación

39. Matriz de selección de revistas
Revistas SJR Q H index CiteScore Review Alcance
Tiempo
Respuesta
Promedio
Autores
Promedio
Referencias
A 0,34 3 14 1.32 si 18 3 32
B 0,13 4 10 0,05 si 5 6 54
C 1,23 1 23 3,45 no 12 2 23
D 1,09 2 34 2.15 si 5 4 18
E 4,54 1 67 3,32 no 8 6 78
F 0,87 3 21 1.08 si 17 3 40
MATRIZ DE SELECCIÓN DE REVISTAS

40. BUSQUEDA DE INFORMACION - SCOPUS
Conectores / variables

41. LA COMBINACION DE BUSQUEDAS

42. BUSQUEDA DE INFORMACION - Resultados
gestión de resultados: buscar y filtrar

43. DOCUMENTO RELACIONADO – DOCUMENTO
CITADO

44. AREAS - TIPOLOGIAS DOCUMENTALES

45. LAS TENDENCIAS

46. BUSQUEDA DE INFORMACION - Resultados
Análisis de resultados

47. BUSQUEDA DE INFORMACION -
Referencias

48. BUSQUEDA DE INFORMACION - Citas

49. Evaluación de instituciones

50. Evaluación de instituciones

51. BUSQUEDA DE INFORMACION – Evaluación de
revistas

52. BUSQUEDA DE INFORMACION - Evaluación de
autores

53. Evaluación de autores
Perfil de un autor

54. Temas de mayor
producción por revista

55. Conclusiones
o La planeación de la investigación y la búsqueda de la
visibilidad y la calidad
o Conocimiento de las fuentes de datos y los indicadores
bibliométricos
o La búsqueda y evaluación de información previo al proceso de
investigación
o La planeación del proceso de escritura de artículos y selección
de revistas
o Fomento de la colaboración
o La Biblioteca universitaria y los cambios necesarios en los
servicios para la investigación

56. Gracias !!!
ogregorio@javeriana.edu.co
orlando.chaviano@gmail.com