Ponencia presentada en las jornadas de encuentro de editores organizadas por "Journals & Authors" de Medellín

1. Prestigio, indexación e impacto
UNIVERSIDAD
INTERNACIONAL
DE LA RIOJA
Grupo
EC3
Rafael Repiso @repisogurru
Cómo evaluar una revista científica
1 de septiembre de 2016.
Universidad de Medellín
2do Encuentro Regional de
Editores de Revistas Académicas

2. Filosofía Impacto Productos Fraude
¿Por qué nos preocupan tanto las revistas?
Filosofía

3. Los artículos científicos como elemento de evaluación
Sistemas que se nutren de la evaluación de artículos
- Evaluación de regiones y universidades. Ranking de
Universidades, convocatorias de campus de excelencia…
- Evaluación de centros, departamentos, estudios
- Evaluación individual. Sexenios y acreditaciones
Docencia
Investigación
Transferencia
Dimensiones por las que
se evalúa la universidad
Macro
Meso
Micro
Filosofía Impacto Productos FraudeFilosofía

4. Filosofía
Históricamente ¿cómo se consideraban las mejores revistas?
Prestigio Editorial
El Peer Review surge cuando la Royal Society of Edinbutgh pide a científicos externos,
normalmente de asociaciones de mayor prestigio, evaluar los trabajos entrantes.
Las primeras revistas científicas aparecen junto
con las sociedades científicas en el siglo XVII
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeImpacto

5. Históricamente ¿cómo se consideraban las mejores revistas?
Indexación en revistas
de resúmenes
Gregorio Marañón recomienda en su obra “La medicina y nuestro tiempo” priorizar la
lectura de los trabajos resumidos en este tipo de publicaciones (Marañón, 1969).
Las revistas de resúmenes surgen en el siglo XIX
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeImpacto

6. Históricamente ¿cómo se consideraban las mejores revistas?
Impacto medido en
Citas
Existe una élite de revistas que lideran la creación e investigación, estas
representan el 20% de la población y aglutinan el 80% de las citas.
Eugene Garfield
En los años sesenta aparece Web of Science
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeImpacto

7. ¿Cómo se evalúan las revistas?
Evaluación de Revistas
Enfoque Biblioteconómico Enfoque Científico
Utilización Juicio
lectores
Productividad Análisis
de citas
Difusión
Procedimientos de Evaluación
Subsidiarios Convencionales Objetivos
Altmetrics
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeImpacto

8. ¿Otros aspectos para evaluar en una revistas?
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeImpacto
- Aspectos formales
- Normativas
- Internacionalización de las revistas
- Información a los autores
- Cumplimiento de normativas
- Formatos de Maquetación
- Sistema de gestión
- Aspectos operacionales
- Ejecución de procesos evaluativos
- Ejecución de procesos de evaluación
- Aspectos económicos

9. ¿Qué entendemos por una revista de calidad?
Emilio Delgado López-Cózar (2012) Reunión de editores de revistas Universidad de
Navarra
La que está en condiciones de asegurar a los
AUTORES
que sus trabajos serán
• valorados con rigor, seriedad y
honestidad
• editados con pulcritud
• ampliamente difundidos.
LECTORES
que la información que publica es
• original
• actual y novedosa
• relevante, esto es útil y significativa
• de calidad metodológica contrastada
• bien redactada y fácil de leer
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeImpacto

10. ¿Qué entendemos por una revista de impacto?
Una revista científica de impacto, es aquella que se encuentra
indexada en las bases de datos Science Citation Index o Social Science
Citation Index (Thomson Reuters) y por tanto tiene calculado el
indicador Impact Factor, que mide el número de citas que recibe la
revista por sus artículos editados. Las revistas con mayor impacto son
aquellas que se sitúan en posiciones preferentes en los índices de citas
Journal Citation Reports, y por tanto son aquellas que publican los
trabajos que mayor repercusión tienen en su respectiva área.
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeImpacto

11. ¿Cómo se manifiesta el impacto?
Emilio Delgado López-Cózar (2012) Reunión de editores de revistas Universidad de
Navarra
Cuando son muchos más los autores que quieren publicar en ella
que los que pueden hacerlo
Cuando son muchos los lectores que están dispuestos a
pagar de su bolsillo lo que se les pida por acceder a sus
contenidos
Cuando los autores que han publicado en ella son
recompensados por la comunidad.
Unos luchan por inscribir su nombre en ella y otros por poseerla
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeImpacto

12. WEB OF SCIENCE
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeProductos

13. Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeProductos

14. ACCESIBLE A TRAVÉS DE LA BIBLIOTECA DE UNIR
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeProductos

15. • Science Citation Index
• Social Science Citation Index
• Art & Humanities Citation Index
• Book Citation Index
Journal Citation
Reports
Eugene Garfield
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeProductos

16. Factor de Impacto
El factor de impacto se calcula con base en un periodo de 2
años. Por ejemplo, el factor de impacto en el año 2013 para una
determinada publicación puede calcularse como sigue:
• A = Número de veces en que los artículos publicados en el
periodo 2011-2012 han sido citados por las publicaciones a
las que se les da seguimiento a lo largo del año 2013
• B = Número de artículos publicados en el periodo 2011-
2012.
Factor de impacto 2003 = A/B
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeProductos

17. Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeProductos

18. Impacto
Categoría “Allergy”
► Primer cuartil
► Segundo cuartil
► Tercer cuartil
► Cuarto cuartil
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeProductos

19. Impacto
Principales Productos de Evaluación de Revistas
Subsidiarios
Convencionales
Objetivos
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeProductos

20. Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeProductos

21. Indicadores de Scopus, SJR, IPP y SNIP
SNIP
SJR
Scimago Journal Rank
Scimago Research Group
Source Normalized Impact per Paper
Centre for Science and Technology Studies
Leiden University
IPP
Impact Per Publication
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeProductos

22. El análogo de JCR en Scopus http://www.scimagojr.com/
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeProductos

23. Web of Science y Scopus
Dioses contra Titanes
Round 1.
Scopus (producto emergente)
- Se presenta como una alternativa académica, a
WOS (WOS había sido comprada por Thomson
Reuters).
- Presenta un mayor número de revistas
indexadas, mayor cobertura geográfica, aunque
los criterios de aceptación son turbios.
- Sus indicadores de impacto (SJR y SNIP) son
teóricamente más completos y complejos que
el Impact Factor.
- Se potencia la creación de aplicaciones para
Scopus.
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeProductos

24. Round 2.
Web of Science (producto consolidado)
- Se mantiene impasible a la embestida, aumenta
levemente su cobertura de revistas para cubrir
áreas sub-representadas en Web of Science,
pero insiste en el elitismo de Web of Science
- Mientras tanto, va aumentando bases de datos
regionales como Chinese Citation Index y Scielo
Citation Index.
- A comienzos de 2014, Web of Science tiene
indexadas un mayor número de revistas que
Scopus, sin necesidad de sacrificar el elitismo de
base de datos de la base de datos Core.
Web of Science y Scopus
Dioses contra Titanes
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeProductos

25. ► Es la base de datos científica más exhaustiva
► Calcula el índice h de las revistas – Google Scholar Metrics
► Tiene problemas de normalización
► Es factible su uso, pero los datos deben ser tratados y
procesados por profesionales.
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeProductos

26. Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeProductos

28. Productos referentes según su indexación
INTRODUCCIÓN
Élite Internacional
Web of Science
JCR
Arts & Humanities Citation Index
Science Citation Index
Social Science Citation Index
Revistas
Internacional
Scopus
Bases de datos temáticas
Medline (Medicina)
RILMS (Música)
Philosopher Index (Filosofía)
Otras…
Revistas
Regionales
Latindex
SciELO (Iberoamérica)
ERIH (Humanidades - Europa)
Emerging Source Citation Index (Regiones mal representadas en
WOS)
Élites nacionales SUDOC (Francia)
Sello FECYT (España)

29. Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeProductos
Críticas a las revistas Iberoamericanas
- Muchas son dirigidas por personas que no realizan investigación o
investigadores mediocres, en lugar de ser dirigidas por investigadores
de primer orden reconocidos internacionalmente.
- Revistas poco profesionales con procesos de edición amateur.
- Revistas incapaces, por falta de medios, de evaluar grandes cantidades.
- Revistas muy locales con aspiraciones internacionales basadas en la
esperanza de que les lleguen artículos externos, cuando la
internacionalización es mucho más.
- Revistas sin apenas respaldo económico, institucional que garantice su
futuro.
- Revistas personalistas, lo que compromete su futuro.
- Reflejo de comunidades científicas con bajo
impacto científico.
- Su visión es más de un servicio a los profesores
que al avance científico.

30. Revistas
fraudulentas
Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeFraude

31. Filosofía Impacto Productos Indicadores FraudeImpactoFilosofía Impacto Productos FraudeFraude