Bibliometría, evaluación científica, indicadores bibliométricos, bibliotecas universitarias

1. Evaluación de la visibilidad y el impacto de la
actividad científica: herramientas, métodos e
indicadores en un nuevo contexto.
Orlando Gregorio-Chaviano. Departamento de Ciencia de la
Información. Pontificia Universidad Javeriana. Bogotá.
20 de Octubre / 2017
ACUERDO DE BIBLIOTECAS DE CÓRDOBA. ARGENTINA. QUIÉN ES QUIÉN - 2017.

2. o Evaluación de la investigación basada en la publicación de artículos
científicos como eje fundamental de la evaluación
o Web of Science (WoS) y Scopus como fuentes de uso en la evaluación
de la actividad científica
o Calidad basada en citas y desde ellas los sistemas de incentivos
o Concepto de internacionalización y visibilidad a partir de presencia y
criterios WoS y Scopus
o Aumento de las herramientas de medición
o Fuentes y sistemas regionales como herramientas alternas
o Revistas nacionales en el contexto de la corriente principal
ACTUALIDAD

3. Citas, posición en cuartiles e
Índice h como medidas de rendimiento
científico
Estrategias de visibilidad, impacto y gestión de la
investigación y de las revistas
LA REALIDAD

4. Fuentes Revistas
Web of Science (WoS) 19
Scopus 55
Scielo 121
Redalyc 79
Latindex 726
ARGENTINA – CORRIENTE PRINCIPAL
Fuente: Web of Science y Scopus

5. Área Documentos WoS Citas WoS Ncit/Ndoc
Medicina Clínica 2.589.000 32.000.000 12.5
Ciencias Sociales 850.000 5.500.000 6.5
TENDENCIAS
Categoría Revistas Citas Factor de impacto
promedio
Matemáticas 311 440,200 0,6
Gerencia 194 607,000 1,7
Biología Celular 190 2,000,000 3,3
Historia 87 25,600 0,3
Fuente: JCR, 2016

6. o Herramienta de evaluación y disciplina instrumental
o Aporte de indicadores que posibilitan el análisis cuantitativo y
cualitativo para conocer y regularidades
BIBLIOMETRIA. ¿QUÉ ES?

7. Determina de forma sistemática y objetiva, la
relevancia, eficiencia, eficacia, pertinencia,
progreso y efectos de una actividad en función
de los objetivos.
CONTROL – APRENDIZAJE - INTERVENCION
BIBLIOMETRIA - IMPORTANCIA

8. Se basa en un conjunto de “leyes empíricas”, las
cuales se han establecido gracias a estudios
cuantitativos en los que interviene el recuento de nº
de artículos, nº de revistas, nº de autores, etcétera.
FUNDAMENTACION

9. o La evaluación basada en revistas como eje central de la evaluación
o La mayor parte de las políticas científicas y la evaluación del rendimiento
científico (en diferentes agregados) se articulan en torno a bases de datos,
indicadores y productos de evaluación basados en la Bibliometría
o El rendimiento científico se suele comparar mediante rankings construidos
desde la Bibliometría
o Los recursos asignados a la investigación tienen en cuenta los indicadores
bibliométricos
¿PORQUE FAMILIARIZARSE?

10. o El “prestigio” de un investigador se mide
por sus publicaciones científicas
o La publicación científica en forma de
artículo, como principal insumo en la
evaluación
o La cita como reflejo de la visibilidad y la
influencia científica
PRINCIPIOS BASICOS DE EVALUACION DE LA CIENCIA

11. o Web of Science (WoS)
o Scopus
o Google Scholar (GS)
Otras fuentes y sistemas (dinámica y debate regional):
o Scielo
o Redalyc
o Latindex
o Medline, Biosis…..
FUENTES DE DATOS

12. o Total de documentos
o Total de citas
o Factor de impacto (Impact Factor)
o Índice h (autores y revistas)
o Eingenfactor Score
o Article influence Score
o CiteScore
o Citas normalizadas
o …
INDICADORES

13. o El Factor de impacto como un indicador bibliométrico que no se ajusta a la
realidad latinoamericana, se puede manipular ….
o El Scimago Journal Rank (SJR) de Scopus, manipulable y difícil de
reproducir y entender.
o No favorecen a las Ciencias Sociales y Humanidades
o El Índice h como indicador de rendimiento (dependiente de la producción
y la citación)
o Las métricas alternativas deben utilizarse en la evaluación (métricas de
uso y alternativas – altmétrics)
o ¿Porqué solo WoS y Scopus y sus indicadores como fuentes de
evaluación?
DEBATE - INDICADORES

14. DECLARACION DE SAN FRANCISCO (DORA)
1.Necesidad de eliminar el uso de métricas basadas en revistas, como índice de
impacto de revistas, en la financiación, en los nombramientos y en las consideraciones
de promoción
2.Necesidad de evaluar la investigación por sus propios méritos y no en base a la
revista en la que se publica la investigación (evaluar el contenido y no el soporte)
MANIFIESTO DE LEIDEN
1.El desempeño debe ser medido de acuerdo con las misiones de investigación de la
institución, grupo o investigador
2. La excelencia en investigación de relevancia local debe ser protegida
3. Las diferencias en las prácticas de publicación y citación entre campos científicos
deben tenerse en cuenta
4. Diferenciar niveles de agregación en la evaluación (micro y macro)

15. MIRADAS EN UN NUEVO CONTEXTO
o Las diferencias disciplinares y su importancia en la gestión de información y en la
evaluación (doble mirada)
o Tipologías documentales y prácticas de publicación diferentes
o Entender los indicadores, su contexto, utilización en la evaluación micro y macro
(diferencias entre el factor de impacto y el SJR).
o Familiarizarse con las bases de datos y la calidad de WoS a pesar de sus sesgos.
o Conocer los núcleos de productividad y las tendencias y utilizarlo en la investigación
o Planear la investigación en función de la visibilidad, la misión y objetivos
o El contexto local y el debate regional existente en la actualidad
o Las críticas a la cita “como moneda de cambio” en la investigación

16. o Fuentes de datos de interés (WoS, Scopus, Scielo…)
o Conocimiento experto (profesionales de la información)
o La investigación como eje importante de la actividad de la
universidad
o Necesidad (y posibilidades) de pasar de servicios tradicionales a
servicios de apoyo a la investigación
o Nuevos conceptos (CRAI, Unidad Bibliométrica…)
BIBLIOTECA UNIVERSITARIA EN EL ENTORNO DE LA INVESTIGACIÓN
REPENSANDO EL ROL

17. TRES ENFOQUES DE TRABAJO
1.Control de fuentes (sistematizar la información producida)
2.Generación de indicadores (diseñarlos o seleccionarlos pero en
relación a la misión y objetivos institucionales, de grupos de
investigación)
3.Capacitación (evaluación de tendencias, selección de revistas, manejo
de índices de citación, diseño y análisis de indicadores, evaluación de
revistas para la indexación)
SERVICIOS BIBLIOMÉTRICOS – UNIDADES DE BIBLIOMETRIA

18. Grupos Criterios Ponderación
gA 1. Publicaciones en Q1-Q2 de WoS o Q1 de Scopus o una patente de invención
2. Libro o capítulo de libro en Book Citation Index (BCI)
2 puntos
gB Publicaciones en Q3 o Q4 de WoS o Q2-Q3 de Scopus 1,4 puntos
gC 1. Publicaciones en Q4 de Scopus (revistas con CiteScore bajo)
2. Publicaciones en Redalyc, Scielo, Latindex o Emerging Source con más de 10
citas en Google académico
3. Publicaciones en bases de datos internacionales de la especialidad.
4. Libro o capítulo de libro de visibilidad nacional
1,0 puntos
gD 1. Ponencia en congresos citados en GA
2. Presentación de proyecto internacional
2. Publicación en base bibliográfica de corte regional.
0,4 puntos
gE Proyectos nacionales, actividades de revisión, 0,2 puntos
Total 5 puntos
EVALUACION INTEGRAL DE LA INVESTIGACION

19. o Indicadores basados en citas se seguirán usando más allá de la existencia
de métricas alternativas y el aumento de herramientas de medición
(indicadores tradicionales, alternativos, ranking..)
o Las bases de datos de citación (WoS y Scopus) como insumos para las
instituciones y agencias de evaluación.
o Google académico como importante fuente (necesidad de normalización
y limpieza).
o Construcción de indicadores para las Ciencias Sociales.
o Mas que “pelear” contra los métodos de evaluación e indicadores y
sumarse a nuevas corrientes: entenderlos, generar alternativas, planear….
CONCLUSIONES (PARCIALES)

20. Muchas Gracias !!!!
orlando.chaviano@gmail.com