Se presentan las limitaciones del análisis de citas para evaluar las publicaciones en ciencias humanas y sociales. Se definen las altmétricas como unas métricas que permiten analizar la presencia de las publicaciones científicas en las redes sociales y académicas y que pueden ser un buen complemento a las citas. Se describen las fuentes así como los principales indicadores utilizados por las altmétricas, así como las principales aplicaciones en el ámbito de las revistas científicas y en bases de datos académicas. Finalmente se realiza una valoración global de los puntos fuertes y débiles de las altmétricas así como del interés que tienen para los nuevos modelos de evaluación de publicaciones científicas que se están configurando.

1. El futuro de las revistas de patrimonio cultural
(IPHA, Sevilla, 11/12/2018)
Nuevas métricas y modelos
para evaluar las publicaciones
científicas
Ernest Abadal
Facultat de Biblioteconomia i Documentació
Universitat de Barcelona
abadal@ub.edu

2. Sumario
2
1. Introducción
2. Modelo tradicional
3. Nuevas métricas
4. Nuevos modelos
5. Conclusiones

3. 1 Introducción
 Las preguntas clásicas
•¿En qué podemos basarnos para evaluar la
calidad de una publicación científica?
•¿Cómo se puede medir la influencia que tiene
una publicación científica?
 Los usos
•Evaluación de proyectos
•Acreditación de profesorado
…/…
3

4. 2 Modelo tradicional
 Base para la evaluación de la publicación:
las citas (impacto)
 Creado por E. Garfield
4

5. 2.1 Principales indicadores
 Índice de impacto
•Se aplica a las revistas
•Uso extendido y gran influencia
 Índice h
•Se aplica a los autores
•Se puede aplicar también a las revistas
5

6. 2.2 Valoración
 A favor:
•Fácil de calcular
•Dato cuantitativo
•Objetividad
 Críticas:
•El índice de impacto de la revista se asigna a
todos los artículos (aunque no todos se citan).
•Las revistas anglosajonas están mejor
representadas en las bases de datos.
•Cada disciplina tiene sus hábitos de publicación
(artículos o libros) y de citación
6

7. 3 Nuevas métricas
 Lecturas (usos)
•¿Cuántas veces me han leído?
 Presencia en redes sociales
•¿Cuántas veces me han compartido?
 Altmétricas, inicios en 2010.
“Altmetrics is the creation and study of new
metrics based on the Social Web for analyzing,
and informing scholarship”. (altmetrics.org)
 Miden la visibilidad en las redes sociales.
7

8. 3.1 Indicadores
 Número de redifusiones (retuits, etc.)
 Número de comentarios en blogs
 Menciones (likes), etc.
 Referencias en wikipedia
 Dónde
•Redes sociales (Twitter, Facebook, etc.)
•Redes académicas (RG, Mendeley, etc.)
•Blogs
•Wikipedia
8

9. 3.2 Ejemplos de aplicación
 Revistas:
•PLOS, Nature, etc.
 Portales de revistas
•MDPI, etc.
 Bases de datos
• Scopus
 Repositorios
9

10. Revista PLoS (Article Level Metrics)
10

11. Revista PLoS (Article Level Metrics) (ii)
11

12. Mismo documento en Scopus (PlumX Metrics)
12

13. Mismo documento en Scopus (ii)
13

14. 3.3 Valoración (a favor)
 Centradas en el artículo (y no en la revista)
 Amplitud
•Miden la incidencia más allá de los círculos
académicos.
 Diversidad
•Se pueden aplicar a todo tipo de documento.
 Inmediatez
•No hay que esperar el valor anual del FI o SJR.
 Gran interés para autores y editores.
14

15. 3.3 Valoración (en contra)
 Normalización
•Dificultades para homogeneizar la recogida de
datos.
 Volatilidad
•Los indicadores deben recogerse de manera
muy rápida porque pueden desaparecer.
 Posibilidad de falsificación (gaming)
•Existencia de bots, etc.
 Difíciles de comparar entre sí.
•¿Qué es mejor un retweet o un "me gusta"?
15

16. 3.4 ¿Son alternativas?
 Article-metrics
•Centran su foco en el artículo (y no en la
revista).
 Complementarias
•Miden elementos que no son las citas
16

17. 4 Nuevos modelos de evaluación
 Contexto (frame): la ciencia abierta
•Cambio de paradigma
•Ciencia “con y para” la sociedad
•“Open science refers to a new approach to the
scientific process based on cooperative work
and new ways of disseminating knowledge,
improving accessibility to and re-usability of
research outputs by using digital technologies
and new collaborative tools.” (Comisión
Europea, 2018)
17

18. Representaciones
Masuzzo, Maertens (2017) Rand Europe 2017
18

19. Elementos de la ciencia abierta
 Publicaciones en acceso abierto
 Datos abiertos
 Ciencia ciudadana
 Infraestructuras
 …/…
 Nuevos incentivos / recompensas
•Cambio de modelo en el sistema de evaluación
 Objetivos: transparencia, reproducibilidad,
reusabilidad,
19

20. 4.2 Manifiestos y declaraciones
 San Francisco Declaration on Research
Assessment (2012)
 Leiden Manifesto (2015)
 The metric tide (2015)
 Next-generation metrics (2017)
 Peticiones para modificar los criterios para la
evaluación de la investigación y de las
publicaciones.
20

21. DORA (Declaration on Research Assessment)
21
 Evaluar a nivel de artículo.
•No usar el factor de impacto de las revistas.
 Utilizar amplio conjunto de indicadores
 .../...

22. The Leiden Manifesto
 Batería de indicadores
mejor que un único
indicador.
 Combinar indicadores
cuantitativos con
cualitativos.
 La evaluación y los
indicadores tienen
efectos sistémicos en
la ciencia.
 .../...
22

23. Next generation metrics
 Usar indicadores a
nivel de articulo y no
de revista.
 Considerar las
altmétricas.
 .../...
23

24. 4.3 Valoración
 Crítica al monopolio del factor de impacto
para evaluar las publicaciones.
 Propuestas:
•Valorar a nivel de artículo.
•Incorporar puntos de vista cualitativos.
•Ampliar el espectro de medidas (usos, redes
sociales, etc.). Actuar con cautela hasta
asegurar la fiabilidad.
24

25. 5 Conclusiones
 Nuevas métricas
•Medir los usos (lecturas y descargas) y la
visibilidad en redes sociales (no sólo las citas)
•Dudas sobre la fiabilidad
 Nuevos modelos de evaluación
•Ciencia abierta, el nuevo contexto (necesidad de
reformar el sistema de incentivos)
•Utilizar métricas diversas
•Centrarse en el artículo
Apuesta a medio plazo para cambiar un sistema de
evaluación basado en el uso exclusivo de la cita.
25

26. 6 Bibliografía
 BORREGO, Ángel (2014). “Altmétricas para la evaluación de la
investigación y el análisis de necesidades de información”. El
profesional de la información, julio-agosto, v. 23, n. 4, p. 352-357.
http://dx.doi.org/10.3145/epi.2014.jul.02
 COMISIÓN EUROPEA (2017). Next-generation metrics: Responsible
metrics and evaluation for open science. Report of the European
Commission Expert Group on Altmetrics. (
https://ec.europa.eu/research/openscience/pdf/report.pdf)
 Delgado López-Cózar, E. (2017). “Evaluar revistas científicas: un afán
con mucho presente y pasado e incierto futuro. En: Revistas científicas:
situación actual y retos de futuro. Barcelona: Ediciosn Universitat de
Barcelona, p. 73-103. (http://eprints.rclis.org/32132/)
 MELERO, R. (2015). “Altmetrics: a complement to conventional
metrics”. Biochemia Medica, vol. 25, no.2, pp. 152-160. doi:
10.11613/BM.2015.016
26

27. 6 Bibliografía (ii)
 ORDUÑA-MALEA, Enrique; MARTÍN-MARTÍN, Alberto; DELGADO-
LÓPEZ-CÓZAR, Emilio (2016). “The next bibliometrics: ALMetrics
(Author Level Metrics) and the multiple faces of author impact”. El
profesional de la información, vol. 25, nº 3, pp. 485-496.
(http://dx.doi.org/10.3145/epi.2016.may.18)
 PRIEM, J. et al (2010). Altmetrics: a manifesto (v.1.0), 26 October
2010. http://altmetrics.org/manifesto
 TORRES-SALINAS, Daniel; CABEZAS-CLAVIJO, Álvaro (2013).
“Altmetrics: no todo lo que se puede contar, cuenta”. Anuario ThinkEPI,
vol. 7, pp. 114-117.
 WILSDON, J., et al. (2015). The Metric Tide: Report of the Independent
Review of the Role of Metrics in Research Assessment and
Management. doi: 10.13140/RG.2.1.4929.1363
27

28. 28
Muchas gracias