Impartido dentro del curso 'Técnicas Bibliométricas Avanzadas I' organizado por EC3metrics e impartido el 20 de octubre de 2020

1. Nuevas fuentes
bibliométricas abiertas
Nicolás Robinson-García
Bloque II: Fuentes, recuperación e indicadores

2. Nuevas fuentes
bibliométricas
abiertas
Unpaywall | Altmétricas
CONTENIDOS
● Una nueva generación de métricas
○ Limitaciones y oportunidades
○ De la evaluación al diagnóstico
● Datos de Acceso Abierto
○ Intro Acceso Abierto
○ Unpaywall
○ Tipos de acceso abierto
● Altmétricas
○ Fuentes y diferencias
○ Datos, indicadores y medidas
○ Tipos de datos
OBJETIVOS
● Conocer nuevas fuentes de datos bibliométricos para enriquecer sus análisis
● Aprender a combinar datos de distintas fuentes
● Conocer el tipo de metadatos sobre Open Access que se pueden obtener
● Ofrecer una visión general sobre las altmétricas, sus limitaciones y fortalezas

3. Una nueva generación de
métricas

4. De la monitorización a la
inteligencia competitiva
Los indicadores tradicionales ofrecen una visión vertical del rendimiento
investigador
● Rankings de universidades
● Índice H
● Impacto normalizado
● Investigadores altamente citados
Esconden la gran riqueza y variedad que hay dentro de un sistema
heterogéneo y complejo

5. De la monitorización a la
inteligencia competitiva
La excelencia es un concepto difuso y ambiguo
● ¿Cuál es el objetivo de la evaluación?
● ¿Cuáles son los objetivos de nuestra institución?
● ¿Cómo alineamos objetivos e indicadores?
Hacia un concepto multidimensional de excelencia

6. Una visión multidimensional…
The multi-dimensional
research assessment matrix by
H.F. Moed and A. Plume
Multidimensional assessment
of scholarly research impact
by H.F. Moed and G. Halevi

7. … implica introducir nuevas
fuentes
● Diferencias de cobertura
● Niveles de agregación
● Diferentes niveles de acceso
● Integración de datos de diferentes fuentes
● Interpretaciones mucho más complejas

8. Datos de Acceso Abierto

9. 1. Qué entendemos por Acceso
Abierto
2. Fuentes de datos de Acceso
Abierto
3. Unpaywall
4. Limitaciones en la extracción
de datos
5. Descripción de metadatos
6. Tipos de Acceso Abierto
https://zenodo.org/record/4071143

10. ¿Qué entendemos por Acceso
Abierto?
● Sostenible
○ Son publicaciones en Acceso Abierto aquellas que son de dominio público sin que su
accesibilidad esté bajo ningún tipo de riesgo inmediato => OA BRONCE
● Legal
○ La identificación de Acceso Abierto no debe basarse en ‘actos ilícitos’ y no debería infringer
los derechos de los autores. => SCIHUB + ResearchGate

11. Fuentes de datos de Acceso
Abierto
● Web of Science/Scopus/Dimensions
○ Ventajas: Bases de datos consolidadas, información de citación y buena cobertura y
normalización de metadatos
○ Desventajas: Privadas, fines comerciales, problemas de cobertura…
● Unpaywall
○ Ventajas: Cobertura amplia, sistemática, multiplataforma, ‘gratis’ <= EL NUEVO STANDARD
○ Desventajas: Cobertura pobre de metadatos y falta de normalización, dependencia en DOIs

12. Unpaywall
● Creada por Jason Priem y Heather Piwowar (ImpactStory, Altmetrics Manifesto,
data sharing citation advantage)
● Pertenece a la empresa sin ánimo de lucro Our Research
● Validez y capacidad de detección no testeada

13. ¿Cómo descargar datos de
Acceso Abierto de Unpaywall?
1. API. Se puede acceder a través de cualquier lenguaje de programación, aunque R
cuenta con un paquete de acceso roadoi
2. Email. A través de un formulario en el que se envía el listado de DOIs
3. Addon. A través de una extensión del navegador para consultar publicaciones
específicas

14. Descripción de
metadatos live

15. Tipos de Acceso Abierto en
Unpaywall
● GOLD = Artículo publicado en una revista de Acceso Abierto (independiente del
modelo de negocio)
● GREEN = Artículo (o versión del mismo) accesible a través de un repositorio
● BRONZE = Artículo publicado en una revista bajo suscripción pero al que la editorial
permite acceder de manera gratuita
● HYBRID = Artículo publicado en una revista bajo suscripción pero en Acceso
Abierto tras el abono de una cantidad de dinero por parte de los autores a la
revista
● CLOSED = Sin Acceso Abierto al documento
● UNKNOWN = Sin evidencia alguna de que el artículo esté en Acceso Abierto

16. Tipos de Acceso Abierto por
fuente

17. ¿Qué tipo de Acceso Abierto es
más frecuente?
Piwowar, H., et al. (2018). The state of OA: A large-scale
analysis of the prevalence and impact of Open Access
articles. PeerJ, 6, e4375. https://doi.org/10.7717/peerj.4375
Martín-Martín, A., et al. (2018). Evidence of open
access of scientific publications in Google Scholar:
A large-scale analysis. Journal of Informetrics, 12(3),
819–841. https://doi.org/10.1016/j.joi.2018.06.012

18. ¿Qué tipo de Acceso Abierto es
más frecuente?
Robinson-Garcia, N., Costas, R., & Leeuwen, T. N.
van. (2020). Open Access uptake by universities
worldwide. PeerJ, 8, e9410.
https://doi.org/10.7717/peerj.9410

19. ¿Qué tipo de Acceso Abierto es
más frecuente?
Robinson-Garcia, N., Costas, R., & Leeuwen, T. N.
van. (2020). Open Access uptake by universities
worldwide. PeerJ, 8, e9410.
https://doi.org/10.7717/peerj.9410

20. ¿Qué tipo de Acceso Abierto es
más frecuente?
Torres-Salinas, D., et al. (2020). Open Access and Altmetrics in the
pandemic age: Forescast analysis on COVID-19 literature. BioRxiv,
2020.04.23.057307. https://doi.org/10/ggvwnw
Robinson-Garcia, N., et al. (2020). Measuring Open Access uptake:
Data sources, expectations, and misconceptions. Scholarly
Assessment Reports. https://doi.org/10.5281/zenodo.4071143

21. Altmétricas

23. Las promesas de las altmétricas
1. Diversidad
○ Indicadores y resultados
2. Rapidez
○ Impacto inmediato
3. Apertura de métodos
○ Indicadores y resultados
4. Más allá del impacto científico
○ Impacto Social
Wouters, P., & Costas, R. (2012). Users,
Narcissism and Control—Tracking the Impact
of Scholarly Publications in the 21 st Century.
http://www.research-acumen.eu/wp-
content/uploads/Users-narcissism-and-
control.pdf

24. Las promesas de las altmétricas
the potential of social media data for impact
assessment lies in that it may help understand the
social interactions of researchers, both within and
outside the scientific sphere
Robinson-Garcia et al 2018
Many data and indicators […] that make up the
altmetric universe are actually data about social
media use, reception, and impact
Wouters et al 2018

25. ¿De qué hablamos cuando
hablamos de altmétricas
Social networks
• Twitter, Facebook, Google Plus… Tweets, retweets, likes, users
Social tagging
• Mendeley, Zotero, ReadCube… Bookmarks,
collections, readers
Scientific blogging
• Publishers, institutional, personal… Mentions, comments, links
Open content
• PLOS journals, DataCite, Github… Downloads, comments, views

26. Fuentes altmétricas
● Diversidad y heterogeneidad de fuentes
● Discrepancias en los resultados por fuente
● Estas diferencias no se deben a errores sino a diferencias en el procesamiento y
recogida de datos
CONCLUSIÓN
● No hay fuente perfecta
● Análisis preliminar previo a toma de datos
● Altmetric.com y PlumX parecen ser las más exhaustivas (pero OJO! ofrecen
distintas fuentes)

30. Fuentes altmétricas
TODO EN UNO
• Almetric.com
• PlumX Analytics
• CrossRef Event
Data
• Lagotto
POR FUENTE
• Mendeley
• Twitter
• Facebook
• ResearchGate

31. Fuentes altmétricas
TODO EN UNO
• Almetric.com
• PlumX Analytics
• CrossRef Event
Data
• Lagotto
POR FUENTE
• Mendeley
• Twitter
• Facebook
• ResearchGate

32. ALTMETRIC.COM
◉ Public policy documents
◉ Blogs
◉ Mainstream media
◉ Citations (web of science / scopus)
◉ Online reference managers (mendeley)
◉ Research highlights (F1000)
◉ Peer review platforms (pubpeer, publons)
◉ Social Media (Facebook public pages,
Twitter, Google+, LinkedIn, Sina, Weibo and
Pinterest)
◉ Open Syllabus Project
◉ Multimedia and others (YouTube, Reddit )

33. PLUMX

34. LAGOTTO
Viewed
• PubMed Central Usage
Stats
• Copernicus
Discussed
• Facebook, Twitter
• Blogs
• Wikipedia
• Reddit
• OpenEdition
Saved
• CiteULike
• Mendeley
Cited
• CrossRef, PubMed
• Scopus
• WoS
• DataCite
• Europe PMC
Recommended
• F1000 Prime
Only PLOS
• Usage
• Figshare usage
• Comments

35. CROSS REF EVENT DATA

36. Diferencias de cobertura
● Colección de datos. Uso de diferentes APIs para acceder a fuentes primarias.
● Agregación y presentación. Diferentes estrategias de identificar y unificar
versiones de documentos (DOI, URL, PMID, etc.)
● Actualización. Diferente periodicidad por fuente y plataforma
Zahedi, Z., & Costas, R. (2018). General discussion of data quality challenges in social media metrics: Extensive comparison
of four major altmetric data aggregators. PLOS ONE, 13(5), e0197326. https://doi.org/10.1371/journal.pone.0197326

37. Fuentes altmétricas
Zahedi, Z., & Costas, R. (2018). General discussion of data quality challenges in social media metrics: Extensive comparison
of four major altmetric data aggregators. PLOS ONE, 13(5), e0197326. https://doi.org/10.1371/journal.pone.0197326

38. Ejemplo de tuits refiriéndose a distintas versiones de un mismo
documento
38

39. Ejemplo de cómo Altmetric.com unifica registros
39

40. Demo de descarga de
datos desde
Altmetric.com

41. Gracias por vuestra atención
Nicolás Robinson-Garcia
Applied Mathematics, TU Delft, Netherlands
http://nrobinsongarcia.com