In 2018, the SciELO Program will celebrate 20 years of operation, in full alignment with the advances of open science. The SciELO 20 Years Conference will address and debate – during its three-day program – the main political, methodological and technological issues that define today’s state of the art in scholarly communication and the trends and innovations that is shaping the future of the universal openness of scholarly publishing and its relationship with today’s Open Access journals, in particular those of the SciELO Network. The program of the conference is organized around the alignment of SciELO journals and operations with the best practices on communication of open science, such as publishing research data, expediting editorial processes and communication through the continuous publication of articles and the adoption of preprints, maximizing the transparency of research evaluation and the flow of scholarly communication, and searching for more comprehensive systems for assessing research, articles and journals. A two-day meeting of the coordinators of the national collections of the SciELO Network will take place prior to the Conference with focus on the evaluation of SciELO journals and the SciELO Program and their improvement following the lines of action that will guide their development in the forthcoming five years. The celebration of SciELO’s 20-year anniversary constitutes an important landmark in SciELO’s evolution, and an exceptional moment to promote the advancement of an inclusive, global approach to scholarly communication and to the open access movement while respecting the diversities of thematic and geographic areas, as well as of languages of scientific research.

1. IMPACTO ESPERADO
VS IMPACTO
OBSERVADO: ESTA ES
LA CUESTIÓN
FÉLIX DE MOYA ANEGÓN
SCIMAGO RESEARCH GROUP

2. OBJETIVOS
• Para qué necesitamos métricas:
• Para asegurar procesos de “accountability” en las decisiones de política pública de CyT
• Para evitar que la “seniority” científica se apodere de los procesos de evaluación
• Para garantizar seguridad normativa en los procesos de evaluación
• Una métrica imperfecta mejor que una buena intuición?
• Una métrica imperfecta mejor que un plebiscito entre “profanos”?
• Una métrica imperfecta hoy mejor que una perfecta no se sabe cuando?
• La alternativa de los proveedores:
• El principio “marxista” (Groucho Marx): Tengo estas métricas, pero si no le gustan, no se preocupe, tengo
otras
• El problema es el enorme grado de correlación entre muchas de ellas y la falta de buenos y solventes
criterios interpretativos

3. Brandolini’s law:
(also known as the Bullshit Asymmetry Principle)
“The amount of energy needed to refute bullshit is an order of
magnitude bigger than that needed to produce it”
“La cantidad de energía necesaria para refutar la mierda es un
orden de magnitud mayor que la necesaria para producirla”
“A quantidade de energia necessária para refutar a merda é
uma ordem de magnitude maior do que a necessária para
produzi-la”

4.  Geopolitical regions
 Continents
 Countries
 Science fields, subfields
 Thematic topics
Based on the quantification of the scientific
literature, we can evaluate
LEVEL
MACRO
MESO
MICRO
Universities, faculties, departments
Research institutes, their sections,
research groups
Hospitals
Companies, publishing houses
Journals
Small research groups
Individuals
Confidencelevel
Populationofdatasets
Adaptado de: T. Braun

5. Decision
making
T. Braun

6. Proceso de reinterpretación del concepto de citación
Indicador del uso
de la información
Sistema de Incentivos/
Medidas de calidad
Evaluación de la
Investigación/
Política científica
Bibliometría/
Ciencia de la Información
citación
No citado: Información no usada
Muy citado: Buena aceptación
Autocitado: Parte del proceso de
comunicación científica
interpretación
reinterpretación
repercusión
(posibles cambios en
las actitudes de los
citantes)
No citado: Baja calidad
Muy citado: Alta calidad
Autocitado: Manipulación del impacto
Adaptado de: W. Glänzel and K. Debackere

7. DIFERENCIAS POR CAMPOS CIENTÍFICOS
• Tasas de coautoría
• “Salami publication” o “Salami Slicing”
• Tipos de documentos
• Destinos de publicación
El ritmo de publicación de
unos campos científicos a otros
varía extraordinariamente

8. INDICADORESDEREVISATSSCIELO

9. ESPERADO VS OBSERVADO
0
20
40
60
80
100
120
140
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63 65 67 69 71 73 75 77 79 81 83 85 87 89 91 93 95 97 99 101103
Esperado
Observado

10. INDEXADA VS NO INDEXADA
0
20
40
60
80
100
120
140
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63 65 67 69 71 73 75 77 79 81 83 85 87 89 91 93 95 97 99 101103
R1 R2

11. “E PUR SI MUOVE…”
44 %10 %

12. “E PUR SI MUOVE…”

13. DÓNDEPUBLICANLOSBRASILEÑOS?

14. FINAL
• Es possible publicar un buen trabajo en una revista mal rankeada
• Lo único que sabemos de la revista mal rankeada es que es menos usada globalmente
• Es possible publicar un mal trabajo en una revista bien rankeada
• Lo que sabemos de una revista bien rankeada es que se usa más globalmente y que es muy apreciada
reputacionalmente
• Hay que estar contra la “impactolatría” pero no contra el reconocimiento de los expertos

15. ¡GRACIAS!
felix.moya@scimago.es
@felixdemoya