Presentación impartida en la II Reunión de servicios de evaluación científica en los vicerrectorados de investigación celebrado el 31 de enero en la Universidad de Córdoba
2. Altmétricas aplicadas a
nivel institucional
Nicolás Robinson-Garcia – elrobinster@gmail.com
Daniel Torres-Salinas – torressalinas@gmail.com
Evento: II Reunión de servicios de evaluación
científica en los vicerrectorados de investigación
Fecha de celebración: 31 de enero al 1 de febrero
de 2019
Organiza: Vicerrectorado de Investigación y
Desarrollo Territorial de la Universidad de Córdoba
3.
4. Las promesas de las altmétricas
1. Diversidad
Indicadores y resultados
2. Rapidez
Impacto inmediato
3. Apertura de métodos
Indicadores y resultados
4. Más allá del impacto científico
Impacto social
Wouters & Costas, 2012 Escher, 1935
6. ¿Es el final de
las
altmétricas?
the potential of social media data for
impact assessment lies in that it may help
understand the social interactions of
researchers, both within and outside the
scientific sphere
Many data and indicators […] that make
up the altmetric universe are actually data
about social media use, reception, and
impact
Wouters et al., 2018
Robinson-Garcia et al., 2018
7. ¿Es el final de
las
altmétricas?
Nuevos
enfoques
Nuevos métodos
Reinterpretación
de resultados
10. ¿Qué
agregador de
altmétricas
es el
idóneo?
■ Batería de indicadores amplia y
diversa
■ Cada plataforma ofrece distintos
indicadores
■ Cada plataforma arroja distintos
resultados para mismos
indicadores
■ Estas diferencias no se deben a
errores, sino a diferencias en la
recogida de datos
11. “Altmetrics is the study and use of
scholarly impact measures based
on activity in online tools and
environments”
Priem, Groth & Taraborelli, 2012
15. Tipos de proveedores
TODO EN UNO
•Almetric.com
•PlumX Analytics
•CrossRef Event Data
•Lagotto
POR FUENTE
•Mendeley
•Twitter
•Facebook
•ResearchGate
16. Tipos de proveedores
TODO EN UNO
•Almetric.com
•PlumX Analytics
•CrossRef Event Data
•Lagotto
POR FUENTE
•Mendeley
•Twitter
•Facebook
•ResearchGate
Springer Nature
Elsevier
Plos
18. ALTMETRIC.COM
■ Public policy documents
■ Blogs
■ Mainstream media
■ Citations (web of science / scopus)
■ Online reference managers (mendeley)
■ Research highlights (F1000)
■ Peer review platforms (pubpeer, publons)
■ Social Media (Facebook public pages, Twitter,
Google+, LinkedIn, Sina, Weibo and Pinterest)
■ Open Syllabus Project
■ Multimedia y otros (YouTube, Reddit y Q&A)
23. ¿Por qué ofrecen distintos resultados
para mismos indicadores?
■ Recogida de datos. Uso de distintas APIs para acceder a fuentes
primarias
■ Agregación y presentación. Distintas estrategias para identificar
mencionar y agregar versiones de documentos (i.e., DOIs, URLs)
■ Actualización. Distinta periodicidad por proveedor y fuente
¡LOS INDICADORES ALTMÉTRICOS SON INESTABLES!
Zahedi & Costas, 2018
27. Algunas consideraciones
1. Objetivo a perseguir
2. Fuentes altmétricas ≈ Fenómeno a analizar
3. Selección de indicadores
4. Método de análisis
28. CASO I
■ Menciones en Twitter
como indicador de
consumo de literature
científica
■ Proxy e indicador no
están alineados
Robinson-Garcia et al., 2017
29. CASO II
■ Lo que la plataforma
indica y lo que ofrece
no se corresponde
Torres-Salinas, et al., 2018
30. CASO III
■ Proxy e indicador alineados pero por razones muy diferentes a las
esperadas
Costas @ ESSS Granada 2016
34. Monitorización
•¿Cuál es la situación?
•Se reconoce un umbral de
incertidumbre
•No hay consecuencias directas
•Exploratorio y descriptivo
Evaluación
•¿Hemos alcanzado los objetivos?
•Altmétricas como complemento
•Punto de partida para análisis
cualitativo
39. ¿Cuál es la visibilidad
de las universidades
españolas en las redes
sociales?
■ Tipo de análisis: Monitorización
■ Objetivo: Conocer
■ Carácter: Descriptivo
■ Consecuencias directas:
Ninguna
Fuente: Torres-Salinas et al., 2018
40. ¿Cuál es la visibilidad
de las universidades
españolas en las redes
sociales?
■ Tipo de análisis: Monitorización
■ Objetivo: Conocer
■ Carácter: Descriptivo
■ Consecuencias directas:
Ninguna
Fuente: Torres-Salinas et al., 2018 http://knowmetrics.org/
41. ¿Cómo analizar
perfiles de
universidades en
redes sociales?
■ Tipo de análisis: Comparativo
■ Objetivo: Entender
■ Carácter: Descriptivo
■ Consecuencias directas:
Ninguna
Fuente: Torres-Salinas et al., 2016
42. ¿Cuál es la presencia
de mis investigadores
en las redes sociales?
■ Tipo de análisis: Monitorización
■ Objetivo: Conocer
■ Carácter: Descriptivo
■ Consecuencias directas:
Ninguna
Fuente: Torres-Salinas, 2018
43. ¿Cuál es la presencia
de mis investigadores
en las redes sociales?
■ Tipo de análisis: Monitorización
■ Objetivo: Conocer
■ Carácter: Descriptivo
■ Consecuencias directas:
Ninguna
Fuente: Torres-Salinas, 2018
44. ¿Qué perfil presentan
mis investigadores?
■ Tipo de análisis: Cualitativo
■ Objetivo: Identificación de
perfiles
■ Carácter: Descriptivo
■ Consecuencias directas:
Contextualizar la evaluación
Fuente: D’Este et al., 2018
45. ¿Cuál es el alcance de
las interacciones de
los investigadores?
■ Tipo de análisis: Mapeo
■ Objetivo: Identificación de
perfiles
■ Carácter: Exploratorio
■ Consecuencias directas:
Contextualizar evaluación
Fuente: Robinson-Garcia et al., 2018
46. ¿Cuál es la recepción
de los resultados de
investigación de un
centro?
■ Tipo de análisis: Cuanti/Cuali
■ Objetivo: Contextualizar
investigación
■ Carácter: Exploratorio
■ Consecuencias directas:
Conocer el uso social de la
investigación
Fuente: Robinson-Garcia, 2017
47. ¿Cuál es la recepción
de los resultados de
investigación de un
centro?
■ Tipo de análisis: Cuanti/Cuali
■ Objetivo: Contextualizar
investigación
■ Carácter: Exploratorio
■ Consecuencias directas:
Conocer el uso social de la
investigación
Fuente: Robinson-Garcia, 2017