Talk given in the encounter of CSIC scientists on evaluation of research careers. Encuentro de Cientific@s del CSIC 2018

1. Encuentro de Cientific@s del CSIC 2018
¿Son las métricas
actuales útiles para la
Ciencia?
Lourdes Verdes-Montenegro, Astrofísica
Investigadora Científica
Instituto de Astrofísica de Andalucía

2. Indicadores de rendimiento
2
“los diferentes pesos se corresponden
con la voluntad del CSIC de reforzar su
efecto transformador y de impacto en
la sociedad"
I1: No. Artículos Q1
I2: No. Artículos resto
I3: No. Libros, etc
I4: No. Tesis leídas
I5: No. Tecnologías protegidas
I6: No. Empresas/spin-off creadas
I7: Importe contratos de investigación firmados
I8: Retorno de tecnologías licenciadas

3. 3
3 versiones: > 4000 visionados
• Distinguimos: ciencia excelente, ciencia de calidad, ciencia
fiable, abierta, etc
• Ciencia = Método científico = Reproducible = Abierta
• Aceleración de la transferencia a la sociedad
Ciencia con mayúscula y sin adjetivos

4. • “Publish or perish”
Logan Wilson, "The Academic Man: A Study in the Sociology of a
Profession", published in 1942
• Abierto = ventaja a competidores
• “Science works through micro improvements and multiple errors
and failures until something finally Works. […] We’ve become
paralyzed with the notion that showing incremental improvements
and corrections hurts, rather than helps, our personal careers and
science”
Who Killed the PrePrint, and Could It Make a Return? Jason Hoyt and
Peter Binfield, Scientific American, 2013
• Falta de preparación, recursos, herramientas para reproducibilidad
4
Métricas actuales = “Open”/

5. • “Economics is about understanding how human beings behave
when one or more resources are scarce”
Blog M Nielsen 2008, “The economics of scientific collaboration”
• Afecta negativamente a la Ciencia:
• Científicos: presionados para conseguir fondos
• Evaluación: falta de fondos para conseguir expertos el tiempo
necesario
• Consejos para conseguir un grant: “el título cuenta 50%”, “circular
propuestas entre colegas no especialistas”
• En otras palabras: los evaluadores no tienen tiempo para leer las
solicitudes en detalle / los evaluadores no son expertos
• Países con más recursos económicos marcan “tendencias” de
investigación (Alperin 2013, 2014)
5
¿Economía y Ciencia?
I7: Importe contratos de investigación firmados

6. 6
“Prostitución” académica
• “Research reverts to a kind of 'academic prostitution', in
which work is done to please editors and referees rather
than to further knowledge.”
• “Science is being killed by numerical ranking,[...] Ranking
systems lures scientists into pursuing high rankings first
and good science second” Nature 465, 870 (2010)
• Elección de temas de investigación + poblados: +citas
Cuando no coincide lo que beneficia al científico y a la Ciencia
Actitud
• Citas coercitivas (Wilhite & Fong, Science 335, 542, 2012)
• Sesgo a no publicar resultados “negativos”
• Menor trasparencia de las publicaciones de retractación
Sistema
Editorial
I1: No. Artículos Q1, I2: No. Artículos resto, I3: No. Libros, etc, I4: No. Tesis leídas, I5: No. Tecnologías
protegidas, I6: No. Empresas/spin-off creadas

7. • Nature questionnaire on reproducibility (2016): “70% of researchers
can’ reproduce another’s experiment, > 50% their own ones”
• Citas:
• Pendiente en el aumento de citas correlacionado con reputación
(Petersen et al PNAS 43, 111, 2014)
• No hay correlación entre reviews y citas (Casati et al 2009)
• Representan menos del 1% del impacto de un artículo (R. Cave 2012)
• Sistema de arbitraje actual no sostenible. Flujo de información
académica desborda el sistema (J. Priem, 2013. Nature, 495, 437)
7
Bibliometría
Citation counts Citation counts
PaperRank
PaperRank

8. 8
Incompletitud
El índice h sigue aumentando con la edad … sin publicar
Desde hace 300 años publicamos en el mismo formato (relatos, PDF)
• “ The academic paper is now obsolescent […] as the fundamental
sharable description of a piece of research. In the future we will be
sharing some other form of scholarly artefact, digital and designed
for reuse, [...] I shall refer to them as Research Objects, because
they capture research “ (De Roure 2009, Dir. Oxford’s e-Research Centre)
• Los ROs se desarrollaron primero para preservación de workflows en el
proyecto EU Wf4ever (IAA-CSIC coordinó el WP Astronomía)
• En la publicación PDF se pierde >= 40% del conocimiento
S. Bechhofer 2011, ROs: Towards Exchange and Reuse of Digital Knowledge

9. 9
¿Alternativas?
Marzo 2017
not just citation of articles, various forms
of social media shares, web-downloads,
any other measure of the Q and impact of
research outcomes”
Thematic Reports: Types, use in the
context of Open Science, Incentives and
Rewards, Strategies, Experiences and
Models, Final Report - Altmetrics and
Rewards
2018
• DORA, Metric Tide, Leiden Manifesto, etc
• NSF revisa en 2014 evaluación de CVs: “Publications” à“Products” (no
sólo papers: datos, software, patentes, etc -- citables y accesibles).
• Altmetrics: primero bottom-up, ahora EC:
• Publicar en tiempo real (PUSH, F1000), tratándolo como software.

10. 10
Conclusiones
Apoyo a una comunidad
científica multidisciplinar para
acceder, compartir y reusar los
datos, métodos, experimentos:
Para seguir el Método
Científico, potenciando el
intercambio de conocimiento
i-LINK CSIC
“Within a culture that pressures scientists to produce rather than discover, the
outcome is a biased and impoverished science in which most published results are
either unconfirmed genuine discoveries or unchallenged fallacies. This observation
implies no moral judgement of scientists, who are as much victims of this system as
they are perpetrators”
Chambers et al 2014, AIMS Neuroscience 1,4, 2014 “Instead of playing the game it
is time to change the rules”

11. 11

12. DORA (2012)
• Instituciones
• Sea explícito sobre los criterios utilizados para realizar
decisiones de contratación, permanencia y promoción,
destacando, especialmente para los investigadores que están
iniciando su carrera investigadora, que el contenido
científico de un trabajo es mucho más importante que
las métricas de publicación o la identidad de la revista
en la que fue publicado.
• Con el fin de evaluar la investigación, considere el valor y el
impacto de todos resultados de la investigación
(incluidos los conjuntos de datos y el software) además
de las publicaciones de investigación, y considere una amplia
gama de medidas de impacto, incluidos los indicadores
cualitativos del impacto de la investigación, como la
influencia sobre la política y prácticas científicas
12

13. DORA
• Investigadores:
• -Cuando participe en comités que toman decisiones sobre
financiación, contratación, permanencia o promoción,
realice evaluaciones basadas en el contenido científico
en lugar de en métricas de publicación.
• -Cuando sea apropiado, cite literatura primaria en que las
observaciones son referidas primero, en lugar de revisiones
para dar crédito donde debe darse.
• -Utilice una gama de métricas e indicadores basadas en
declaraciones personales y de apoyo, como evidencia del
impacto de artículos individuales publicados y otros
resultados de investigación.
• -Impugne las prácticas de evaluación que dependen
indebidamente del factor de impacto y promueva y enseñe
prácticas que se centren en el valor y la influencia de los
resultados de investigación específicos.
13