Productos de
Evaluación
Científica
Fortalezas y
Debilidades
Lo que los comités de evaluación de profesores
(sexenios, acreditaciones, plazas, etc.) deberían saber
sobre los productos de evaluación de revistas
Rafael Repiso 10/12/2019

Instructions
for use
EDIT IN POWERPOINT®
Click on the button under the presentation
preview that says "Download as
PowerPoint template". You will get a .pptx
file that you can edit in PowerPoint.
Remember to download and install the fonts
used in this presentation (you’ll find the links
to the font files needed in the Presentation
design slide)
EDIT IN GOOGLE SLIDES
Click on the button under the presentation
preview that says "Use as Google Slides
Theme".
You will get a copy of this document on your
Google Drive and will be able to edit, add or
delete slides.
You have to be signed in to your Google
account.
More info on how to use this template at www.slidescarnival.com/help-use-presentation-template
This template is free to use under Creative Commons Attribution license. You can keep the Credits slide or mention
SlidesCarnival and other resources used in a slide footer.
2

¡Hola!
Me llamo Rafael
Repiso
Puede contactar conmigo en mi
correo rafael.repiso@gmail.com o a
través de mi web
www.rafaelrepiso.com
3
Universidad Internacional de La Rioja (UNIR)

La importancia de
los productos
científicos en la
evaluación
0

¿Qué papel juegan los productos científicos en la evaluación
científica?
La valoración de los trabajos (artículos) se
basa principalmente en criterios de calidad
asociados al medio de publicación, no a los
contenidos en sí. Se infiere la calidad del
trabajo a partir del medio de publicación.
A su vez, se valora la calidad del medio de
publicación (revistas) de acuerdo a su
presencia en productos científicos, listados de
revistas y su posición en rankings.

El vértigo de las listas…
1
Productos
científicos
¿meros listados
de revistas?

Principales Productos usados en Sexenios CNEAI (2019)
Ciencias
Sociales
Humanidades

Características de productos de evaluación de revistas
*Sólo se tienen en cuenta las revistas Core de Web of Science, por lo que Web of Science posee revistas en otros productos como
Russian Citation Index, Chinese Citation Index o SciElo Citation Index, Medline, etc. que la sitúan como la base de datos de
revistas más exhaustiva del mundo.
In-RECS

White
Is the color of milk and
fresh snow, the color
produced by the
combination of all the
colors of the visible
spectrum.
Publicar en una
buena revista
Black
Is the color of coal, ebony,
and of outer space. It is
the darkest color, the
result of the absence of or
complete absorption of
light.
9

10

Fortalezas
- Gran Transparencia.
- Política antifraude.
- Producto consolidado
(JCR) como referente de
calidad.
- Su indicador estrella es el
referente.
- Métrica a Nivel de
Artículo (INCITES).
- Uso de
Journal Citation Reports
11
Debilidades
- Máxima Transparencia.
- Producto muy costoso.
- Cobertura internacional
con especial énfasis.
- Productos desiguales.

Fortalezas
- Transparencia.
- Métrica a nivel de Artículo
(Scival)
- Altmetrics.
Scopus
12
Debilidades
- Las revistas fraudulentas
son expulsadas.
- Producto muy costoso.
- No se le conoce política
antifraude.

13
Scimago Journal Rank CiteScore
ORIGINAL
Indicador moderno.
Pondera las citas.
Excluye las autocitas.
Métricas anuales.
No es replicable.
Penaliza a las revistas
periféricas.
OFICIAL
Copia del Impact Factor.
Permite las autocitas.
Transparente.
Métricas mensuales.

14
CITESCORE
SJR CiteScore
vs
SJR

15
Productos Temáticos
• Philosopher Index
• International Medieval Bibliography
• RILMS.
• Avery Index to Architectural Periodical
• RIBA Online Catalogue
• TRIS Electronic Bibliography Data
Productos con un carácter más exhaustivo que
exclusivo, sin indicadores para discernir entre

“ ¿Qué debe tener un
producto de evaluación
científica para ser
considerado como
referente?
16

Aspectos básicos que debe
cumplir un producto de
evaluación científica
▸ Debe utilizar elementos de análisis creíbles y con
significado (la cita p. ej.).
▸ Debe poseer datos propios (independencia).
▸ Debe ser referente de autoridad para los investigadores
(y repulsivo para inútiles).
▸ Los criterios de indexación deben ser lógicos y
conocidos.
▸ Debe ser capaz de identificar el fraude, visualizarlo y
actuar en consecuencia.
▸ Debe cubrir una parte importante de la población de
revistas.
▸ Debe permitir distinguir matices de calidad, muy
buena, buena, regulares y malas revistas.
▸ Posibilidad de hacer métricas a nivel de artículo
"La verdad se defiende
sola, la mentira necesita
ayuda del gobierno.“
Antonio Escohotado.

“ ¿Qué debe tener un
18

Aspectos
▸ Datos propios (independencia).
▸ ´Debe ser transparente y replicable.
▸ But remember not to overload your slides with
content
Your audience will listen to you or read the
content, but won’t do both.
19
"La verdad se defiende sola, la
mentira necesita ayuda del
gobierno.“ Antonio Escohotado.

¿Productos
infravalorados?2

¿Podemos
aproximarnos al
impacto de los
trabajos?
Trabajamos en un sistema en el
cual el valor de un trabajo publicado
en una buena revista se
“presupone”.
21

In two or three
columns
Yellow
Is the color of gold, butter
and ripe lemons. In the
spectrum of visible light,
yellow is found between
green and orange.
Blue
Is the colour of the clear sky
and the deep sea. It is
located between violet and
green on the optical
spectrum.
Red
Is the color of blood, and
because of this it has
historically been associated
with sacrifice, danger and
courage.
22

El problema del fraude
¿Se comete fraude científico en España con las revistas?
Congreso CUICIID
Especializado en blanqueado de
comunicaciones a artículos y capítulos de
libros
▸ Revista Opción (Scopus):
13 números de actas. 850 artículos.
▸ Historia y Comunicación Social (A&HCI y
Scopus)
6 números de actas. 436 artículos
▸ Estudios Sobre el Mensaje Periodístico
(JCR y Scopus
4 números de actas. 388 artículos. 23

El problema del fraude
¿Hay revistas Predator en Scopus?
24
Macháček, V., Srholec, M., (2017). Predatory journals in Scopus. Národohospodářský ústav AV ČR
vvi.

Los comités y su actitud ante el fraude
- La presencia en una base de datos, por
más prestigio que tenga, no exime al
tribunal de obviar las prácticas fraudulentas
.
- Muchas revistas Predator suplantan a
revistas de prestigio o simplemente mienten
cuando indican que están en bases de
datos de prestigio, por lo que hay que
comprobar la presencia de los trabajos.
- Es el papel de los comités interceptar las
prácticas fruadulentas. 25
Teoría de la Aguja hipodérmica

¿Qué sería lo ideal?
26
3. Entre las aportaciones se valorarán preferentemente:
a) Los artículos publicados en revistas de reconocida valía, aceptándose como tales las
incluidas en los listados por ámbitos científicos del «Journal Citation Reports (Social
Sciences Edition)» y «Journal Citation Reports (Science Edition)».
b) b) Asimismo (sin que necesariamente se valoren por igual), se valoran los artículos
publicados en revistas situadas en posiciones relevantes de los listados de Scimago
Journal Rank (SJR), y en «Arts & Humanities Citation Index» de la «Web of Science».
c) c) Se podrán valorar también, pero nunca del mismo modo, revistas cuya inclusión en
bases de datos especializadas constituya, a juicio del Comité asesor, un claro indicio
de calidad. En todo caso, la mera indización o indexación de una publicación en una
base de datos sin que incluya índices de gradación no es en sí misma un indicio de
calidad.
ANECA tiene dos opciones; o “abaratar” sexenios y acreditaciones o aumentar el valor de
su reconocimiento. O añadir posibilidades que incluyan todo el abanico de revistas (café
para todos) o empezar a valorar los trabajos excelentes. Agregar arriba o abajo.

¿Qué sería lo ideal?
27
3. Entre las aportaciones se valorarán preferentemente:
a) Los trabajos que se sitúen para su categoría y su año por encima del percentil 75
de los trabajos más citados. Se valorará especialmente a aquellos trabajos del
primer decil (Web of Science o Scopus), sin importar el impacto de la revista.
b) Se podrán valorar de igual manera aquellos artículos que contribuyan al índice h
de su revista en los últimos 5 años excluyendo a revistas con índice MENOR DE
10.
EN CASO DE QUE NO SE PUEDA JUSTIFICAR EL IMPACTO DEL TRABAJO SE PODRÁ
ASOCIAR (SIN QUE NECESARIAMENTE SE VALORE IGUAL) EL IMPACTO DE LA REVISTA
DONDE SE PUBLICA.
a) Los artículos publicados en revistas de reconocida valía, aceptándose como tales
las incluidas en los listados por ámbitos científicos del «Journal Citation Reports
(Social Sciences Edition)» y «Journal Citation Reports (Science Edition)».
b) b) Asimismo (sin que necesariamente se valoren por igual), se valoran los
artículos publicados en revistas situadas en posiciones relevantes de los listados
de Scimago Journal Rank (SJR), y en «Arts & Humanities Citation Index» de la
«Web of Science».

Use diagrams to
explain your ideas
28
Vestibulum congue
tempus
Lorem ipsum dolor sit amet,
consectetur adipiscing elit, sed
do eiusmod tempor.
Vestibulum congue
tempus
Lorem ipsum dolor sit amet,
consectetur adipiscing elit, sed
do eiusmod tempor.
Vestibulum congue
tempus
Lorem ipsum dolor sit amet, consectetur adipiscing elit,
sed do eiusmod tempor. Ipsum dolor sit amet elit, sed
do eiusmod tempor.

And tables to
compare data
A B C
Yellow 10 20 7
Blue 30 15 10
Orange 5 24 16
29

Maps
our office
30
Find more maps at slidescarnival.com/extra-free-resources-icons-and-maps

143 × 143
31
Percentil en Library & Information Science: 3,05
Impacto Normalizado por Categoría: 4,61
Impacto Normalizado por Revista: 5,28
Número de citas recibidas: 16
Factor de Impacto 2017: 1,318
Posición EPI 2017: 43/88
Cuartil: Q2
Este artículo está en el 3% más citado de su categoría en 2017

89,526,124Whoa! That’s a big number, aren’t you proud?
32

89,526,124$
That’s a lot of money
100%
Total success!
185,244 users
And a lot of users
33

34

Our process is easy
35
20XX
Lorem Ipsum
Lorem ipsum dolor sit
amet, consectetur
adipiscing.
20XX
Lorem Ipsum
Lorem ipsum dolor sit
amet, consectetur
adipiscing.
20XX
Lorem Ipsum
Lorem ipsum dolor sit
amet, consectetur
adipiscing.
20XX
Lorem Ipsum
Lorem ipsum dolor sit
amet, consectetur
adipiscing.

Let’s review some
concepts
Yellow
Is the color of gold, butter and ripe
lemons. In the spectrum of visible
light, yellow is found between green
and orange.
Blue
Is the colour of the clear sky and the
deep sea. It is located between violet
and green on the optical spectrum.
Red
Is the color of blood, and because of
this it has historically been associated
with sacrifice, danger and courage.
36
Yellow
Is the color of gold, butter and ripe
lemons. In the spectrum of visible
light, yellow is found between green
and orange.
Blue
Is the colour of the clear sky and the
deep sea. It is located between violet
and green on the optical spectrum.
Red
Is the color of blood, and because of
this it has historically been associated
with sacrifice, danger and courage.

You can insert graphs from Excel or Google Sheets
37

Mobile project
Show and explain
your web, app or
software projects
using these gadget
templates.
Place your screenshot here
38

Place your screenshot here
39
Tablet project
Show and explain
your web, app or
software projects
using these gadget
templates.

40
Desktop project
Show and explain
your web, app or
software projects
using these gadget
templates.
Place your screenshot here

41
THANKS!
Any questions?
You can find me at:
▸ @username
▸ user@mail.me

Credits
Special thanks to all the people who made and released
these awesome resources for free:
▸ Presentation template by SlidesCarnival
▸ Illustrations by Sergei Tikhonov
▸ Photographs by Unsplash
42

Presentation design
This presentation uses the following typographies:
▸ Titles: Raleway
▸ Body copy: Barlow
Download for free at:
https://www.fontsquirrel.com/fonts/raleway
https://www.fontsquirrel.com/fonts/barlow
You don’t need to keep this slide in your presentation. It’s only here to serve you as a design guide if you need to create
new slides or download the fonts to edit the presentation in PowerPoint®
43

44
Extra
resources
Illustrations created by
Sergei Tikhonov.
Free illustrations
published under the MIT
License. You can use
them for personal and
commercial projects,
without the need to
include attribution.
See license.

Reflexiones
 La evaluación a nivel de artículo debería ser prioritaria frente a la evaluación
por asociación con la revista, aunque en la actualidad ni se menciona.
 Los productos están infrautilizados, todas las posibilidades del mismo se
reducen a listados o a lo sumo rankings de revistas en el que verificar la
existencia de los trabajos.
 Se utilizan produtos de evaluación científica con grandes debilidades,
convirtiéndose en “coladeros” que favorecen a dedterminadas áreas. Moneda
devalauda
 Pese a ser Ciencias Sociales y Humanidades las áreas que más productos
utilizan, son aquellas áreas donde se reclaman más productos y poseen más
descrédito los productos internacionales.

Reflexiones II
• Los productos de evaluación científica son una “herramienta de diagnóstico”
en manos de evaluadores, que son quienes realmente evaluan, basar la
evaluación en la comprobación de la presencia de los trabajos en bases de
datos es una dejación de funciones.
• Los evaluadores no utilizan las opciones de evaluación individual que ofrecen
Web of Science y Scopus.
• Los evaluadores deberían priorizar la repercusión individual de los trabajos.
• Cada producto de evaluación de revistas es solo una muestra de una
población mucho más grande, es por ello que hay que conocer el tamaño de
cada producto y los posibles sesgos de la muestra (cobertura geográfica,
temática, sesgos formales, etc.).

Reflexiones III
• Cada producto de evaluación de revistas es solo una muestra de una
población mucho más grande, es por ello que hay que conocer el tamaño de
cada producto y los posibles sesgos de la muestra (cobertura geográfica,
temática, sesgos formales, etc.).
• Como partes de un puzzle, lo lógico será combinar productos para tratar de
cubrir el mayor espectro possible.
• En el solapamiento entre revistas que se da en los productos podemos
validar la calidad de las revistas y de los productos.

48
Extra
resources
Illustrations created by
Sergei Tikhonov.
Free illustrations
published under the MIT
License. You can use
them for personal and
commercial projects,
without the need to
include attribution.
See license.

SlidesCarnival icons are editable shapes.
This means that you can:
▸ Resize them without losing quality.
▸ Change fill color and opacity.
▸ Change line color, width and style.
Isn’t that nice? :)
Examples:
49
Find more icons at slidescarnival.com/extra-
free-resources-icons-and-maps

✋👆👉👍👤👦👧👨👩👪💃🏃💑❤😂😉
😋😒😭👶😸🐟🍒🍔💣📌📖🔨🎃🎈🎨🏈
🏰🌏🔌🔑 and many more...
😉
50
You can also use any emoji as an icon!
And of course it resizes without losing quality.
How? Follow Google instructions
https://twitter.com/googledocs/status/730087240156643328

Free templates for all your presentation needs
Ready to use,
professional and
customizable
100% free for personal
or commercial use
Blow your audience
away with attractive
visuals
For PowerPoint and
Google Slides