Presentación de Cristóbal Urbano en el Seminario Permanente de Editores del 17 de junio de 2015

1. Los ciclos de evolución/evaluación
como expresión de la profesionalización
en la edición de revistas científicas
Cristóbal Urbano (urbano@ub.edu)
Universitat de Barcelona
Facultat de Biblioteconomia i Documentació
Seminario Permanente de Editores UNAM
Red de Directores y Editores de Revistas Académicas y Arbitradas
México DF, 17 Junio 2015
Clausura del primer ciclo de conferencias

2. Sumario
1. Introducción
2. La gestión profesional de una revista como ciclo
evolutivo/evaluativo
I. Reflexionar
II. Actuar
III. Evaluar
3. Repertorios de evaluación y clasificaciones de revistas
I. Concepto
II. Tipología
III. Problemática
IV. El caso de MIAR
4. Epílogo: en busca de la raison d’être de una revista científica
2

3. 1. Introducción
3

4. ¿De qué año es este texto?
4
The production of scientific publications has long ago become so large that it is
recognized that a scientific worker can only read a small fraction of the papers in
what is itself a very small part of science. But how can he ensure that the papers he
does read are those that are to be of the most value in his work already done? (...)
The result is that it has become impossible for the average scientific worker, who
does not wish to devote the major part of his time to reading, to keep up with the
progress in his own field, (...).
The very bulk of scientific publications is itself delusive. It is of very unequal value; a
large proportion of it, possibly as much as three-quarters, does not deserve to be
published at all, and is only published for economic considerations which have
nothing to do with the real interest of science. The position of every scientific worker
has been made to depend far too much on the bulk rather than the quality of his
scientific publications. (...) The number of scientific journals is altogether excessive.
Each one had at its inception a certain raison d’être. It was founded to express the
results of some new science from a point of view other than the orthodox, but in the
course of time these distinctions disappear and the journal remains. A great deal in
science has been sacrificed to local patriotism or personal distinction.

5. ¿De qué año es este texto? (cont.)
5
It will be necessary to reorganize in a most comprehensive way the whole apparatus
of scientific communications. (...). In the old ideal of science, communications were
the only link between scientists. (…) In those days, however, the number of workers
was so small that there was a reasonable possibility of acquiring this knowledge, but
now (...) the very quantity of scientific information has made its diffusion an
enormous (....). Unless something is done we shall soon reach the position when
knowledge is being lost as rapidly as it is gained.
It is clearly no longer sufficient to see that every new observation and discovery is
published. The problem has to be looked at from the other end; we need to be sure
that every scientific worker, and for that matter every member of the general public,
receives just that information that can be of the greatest use to him in his work and
no more. (...) The present mode of scientific publication is predominantly through
the [N] odd scientific journals. It is, as we have already shown, incredibly
cumbersome and wasteful, and is in danger of breaking on account of expense.
What can we put in its place? (…) After all, periodicals exist for science and not
science for periodicals

6. 1938 (publicado en 1939)
J.D. Bernal. The Social Function of Science. London: Routledge, 1939. [Consultada la
edición de MIT Press de 1967, p. 117-118 y 292-293]. http://www.amazon.com/The-
social-function-science-Bernal/dp/B0007JL1QG
6
Andrew Brown .J. D. Bernal: The Sage of Science.
Oxford: OUP, 2007. http://www.amazon.com/J-D-
Bernal-Sage-Science/dp/0199205655/

7. 2. La gestión profesional de una
revista como ciclo
evolutivo/evaluativo
7

8. I. Reflexionar
La evolución de la comunicación científica no está predeterminada: la semilla
8
http://www.lincei.it/

9. I. Reflexionar
La evolución de la comunicación científica…: germinación
9
https://royalsociety.org/publishing350/

10. I. Reflexionar
La evolución de la comunicación científica… : mejora genética y diversificación
(“cultivada” fuera de la “academia” y con propósito comercial)
10http://www.nature.com/nature/about/first/

11. I. Reflexionar
La evolución de la comunicación científica… : mutación genética (en línea con
Watson Davis [1933] y J.D. Bernal [1939])
11
http://arxiv.org/

12. I. Reflexionar
La evolución de la comunicación científica …: integración de la mutación “open
access” en el paradigma “revista científica”
12
http://www.plosone.org/article/Metrics/info:doi/10.1371/journal.pone.0127502

13. I. Reflexionar
La evolución de la comunicación científica…: hibridación con nuevas especies
que quieren redescubrir la “Accademia dei Lincei” en la web social
13
https://www.researchgate.net/institution/Universidad_Nacional_Autonoma_de_Mexico

14. I. Reflexionar
La evolución de la comunicación científica…: “frutos con denominación de
origen” como los “Big 5” que triunfan, aún más, en el entorno digital y en WoS
14
Larivière V, Haustein S, Mongeon P (2015) The Oligopoly of Academic Publishers in the Digital Era.
PLoS ONE 10(6): e0127502. doi:10.1371/journal.pone.0127502
http://127.0.0.1:8081/plosone/article?id=info:doi/10.1371/journal.pone.0127502

15. I. Reflexionar
La evolución de la comunicación científica no está predeterminada:
¿reproducción descontrolada?
15
http://blog.impactstory.org/research-impact-challenge-ebook/

16. I. Reflexionar
“Revisitar” la función de nuestra revista científica desde el recuerdo a Mendel
(confrontando su trayectoria con el “30-day impact challenge” de Impactstory)
16
http://www.biodiversitylibrary.org/biblio
graphy/61004#/summary

17. II. Actuar (ejemplo 2)
Difusión y mercadeo: alertas para suscriptores, “digest” en blogs de reseñas,
consejos a los autores para “mover” el artículo acabado de publicar,…
17

18. II. Actuar (ejemplo 2)
Integración de funcionalidades en la plataforma OJS (web social, estadísticas,
gestores bibliográficos, potenciar suscripciones con servicios extra, …)
18
http://www.raco.cat/index.php/AnuariObservatori/article/view/262535

19. III. Evaluar (ejemplo 1)
Como elemento de transparencia
19
http://bid.ub.edu/es/bid-en-cifras
http://bid.ub.edu/21/olle2.htm

20. III. Evaluar (ejemplo 2)
Desde la perspectiva web y como método de valorar la consecución de objetivos
20http://analytics.google.com/

21. III. Evaluar (ejemplo 3)
Seguir estadísticas en gestores sociales de bibliografía: una nueva fuente de
datos para la evaluación
21
https://www.mendeley.com/catalog/la-evaluación-revistas-científicas-en-ciencias-sociales-
y-humanidades-1/

22. 3. Repertorios de evaluación y
clasificaciones de revistas
22

23. I. Concepto
Elementos de análisis y problemas metodológicos en la elaboración de
repertorios/listados que evalúan de revistas
• Calidad observada / inferida / percibida en:
– los trabajos que se publican (contenido, tipología, autoría, temas,
referencias bibliográficas, ...),
– repercusión (citas) o menciones en redes sociales de esos trabajos,
– características formales y funcionales de la publicación,
– procesos de selección y revisión de trabajos,
– características de las personas implicadas (dirección, asesores,
editores, revisores...)
• Cuestiones metodológicas:
– cómo captamos los datos de observación, inferencia o percepción ,
– grado de intervención “humana” en la elaboración,
– cómo delimitamos (materia, disciplina, lugar de publicación, lengua)
los títulos para dar consistencia a la comparación.
23

24. I. Concepto
Uso de los ránkings como mecanismo indirecto de evaluación individual. El
Manifiesto apuesta por la “Slow evaluation”…¿pero qué nivel de “slow” es viable?
24
http://www.leidenmanifesto.org/
1. La evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos.
Los indicadores pueden corregir la tendencia a perspectivas sesgadas que se dan en
revisión por pares y facilitar la deliberación. En este sentido, los indicadores pueden
fortalecer la evaluación por pares puesto que tomar decisiones sobre colegas es
difícil sin varias fuentes de información. Sin embargo, los evaluadores no deben ceder
a la tentación de supeditar las decisiones a los números. Los indicadores no pueden
sustituir a los razonamientos informados. Los decisores tienen plena responsabilidad
sobre sus evaluaciones.
http://www.leidenmanifesto.org/

25. I. Concepto
Clasificar, hacer ránkings, comparar, identificar… para la toma de decisiones
(de forma automatizada)
25
http://markets.ft.com/Research/Markets/Government-Bond-Spreads

26. I. Concepto
Clasificar, hacer ránkings, comparar, identificar… para la toma de decisiones
(evaluación basada en juicio experto o en la observación humana)
26
http://www.datosmacro.com/ratings

27. I. Concepto
El origen de MIAR como explicación del concepto
27
http://web.archive.org/web/20021206
011145/dursi.gencat.net/ca/re/cirit_av
al_i_3.htm
http://bid.ub.edu/10urbano.htm

28. II. Tipología
28
http://ref.scielo.org/dh6w2j

29. II. Tipología
Análisis de citas: factor de impacto y otros indicadores (WoS JCR)
29
http://thomsonreuters.com/en/products-services/scholarly-scientific-
research/research-management-and-evaluation/journal-citation-
reports.html

30. II. Tipología
Análisis de citas: SJR y otros indicadores (Scimago JR- Scopus)
30
http://www.scimagojr.com/journalrank.php?area=3300&category=3309&c
ountry=all&year=2013&order=sjr&min=0&min_type=cd

31. II. Tipología
Análisis de citas: Índice H y total de citas (Google Scholar)
31
https://scholar.google.com/citations?hl=es&user=D3rLhaYAAAAJ

32. II. Tipología
Análisis de citas en productos ad hoc (ejemplo de cese de proyecto)
32
https://web.archive.org/web/20140713064650/http://ec3.ugr.es/in-recs/

33. II. Tipología
Análisis de menciones/interacciones en redes sociales
33
https://www.altmetric.com/aboutexplorer.php

34. II. Tipología
“Ratings” y clasificaciones
34
http://qualis.capes.gov.br/webqualis/principal.seam

35. II. Tipología
“Ratings” y clasificaciones
35
http://www10.gencat.cat/agaur_web/AppJava/castellano/a_info.jsp?contingut=carhus_2014

36. II. Tipología
“Ratings” y clasificaciones (ejemplos “importantes” abandonados)
36
https://dbh.nsd.uib.no/publiseringskanaler/erihplus/

37. II. Tipología
“Ratings” y clasificaciones (ejemplos “importantes” abandonados)
37
http://www.arc.gov.au/era/era_2010/archive/era_journal_list.htm

38. II. Tipología
Sellos de calidad (información pública de carácter binario)
38
http://www.conacyt.mx/index.php/comunicacion/indice-de-
revistas-mexicanas-de-investigacion/category/listado-completo

39. II. Tipología
Sellos de calidad (información pública de carácter binario)
39
http://calidadrevistas.fecyt.es/Paginas/Home.aspx

40. II. Tipología
Sellos de calidad (con información del número de conformidades en criterios)
40
http://www.latindex.unam.mx/

41. II. Tipología
Sellos de calidad (con información del número de conformidades en criterios)
41https://doaj.org/

42. III. Problemática
Método de elaboración, criterios de selección, alcance temático y geográfico,…
42
http://rev.oxfordjournals.org/content/19/5/347

43. III. Problemática
Problemas de sostenibilidad (siempre que no sea el resultado de una
explotación métrica de un producto ya existente )
43http://rev.oxfordjournals.org/content/16/2/137

44. IV. El caso de MIAR
Un repertorio internacional, anual (actualizado en “tiempo real”) y sostenible:
cuando “menos es más”
44
Rodríguez-Gairín, Josep-Manuel and
Somoza-Fernández, Marta and
Urbano, Cristóbal MIAR: hacia un
entorno colaborativo de editores,
autores y evaluadores de revistas. El
profesional de la información, 2011,
vol. 20, n. 5, pp. 589-595.
(http://miar.ub.edu/about-miar)

45. IV. MIAR
Global, colaborativa, integradora, transparente y actualizada
45http://miar.ub.edu/es

46. IV. MIAR
Formulario de búsqueda por listados
46
http://miar.ub.edu/es/avanzada

47. IV. MIAR
Listado tipo + umbrales ICDS de difusión internacional (con complementos de
análisis español): 4 < 6 < 8, el usuario decide en contexto según objetivos
47
http://miar.ub.edu/about-miar

48. IV. MIAR
Registro tipo completo con aportaciones del editor
48http://miar.ub.edu/issn/0210-0614

49. IV. MIAR
Formularios de colaboración (sugerencias + actualización campos editor)
49
http://miar.ub.edu/sugerir

50. IV. MIAR
Formularios de colaboración (actualización campos editor en la ficha de revista)
50http://miar.ub.edu/user

51. 4. Epílogo: en busca de la
raison d’être de una revista científica
51

52. El proceso necesita de contraste externo
… ampliando fronteras (institucionales, internacionales) y masa crítica
52
https://books.google.es/books?id=14nA7_k05NsC&lpg=PP1&dq=%22Th
e%20critical%20mass%20in%20collective%20action&hl=es&pg=PP1#v=o
nepage&q&f=false

53. El proceso necesita de contraste externo
… ampliando fronteras (institucionales, internacionales) y masa crítica
53
http://revistes.iec.cat/index.php/JOCIH

54. Muchas gracias
Cristóbal Urbano (urbano@ub.edu)
Universitat de Barcelona
Facultat de Biblioteconomia i Documentació
http://www.researchgate.net/profile/Cristobal_Urbano