1. Europa y España tienen problemas similares con la ciencia aunque en España es peor porque nunca brilló. 2. La solución a los problemas de la investigación en España es improbable que sea endógena. 3. Pero si Europa corrige sus errores, España es un país demasiado grande para que la brecha transpirenaica se mantenga sin que ello sea un problema para Europa.

1. La medida de la ciencia: errores que
comprometen el futuro
Alonso Rodríguez Navarro

3. ¿Por qué es difícil medir el rendimiento de
la investigación científica?
1. El producto de la investigación es el progreso del
conocimiento, que es es normalmente intangible
2. Además, no todo el progreso del conocimiento es
socialmente o científicamente útil
Las publicaciones son tangibles y se pueden contar
pero ....
no todas las publicaciones conllevan progreso del
conocimiento

4. la “paradoja europea”: ciencia excelente,
tecnología débil, que son errores y
confusión por medir mal la ciencia
Contando publicaciones aparece

5. The European Report on Science and Technology Indicators (1994)
Green Paper on Innovation (1995)
Documentos Horizonte 2020 (2011)
*
* Knowledge and Innovation Communities

6. La “paradoja europea” es un paralogismo:
Supuesta observación empírica: Europa es excelente en ciencia y
defectiva en tecnología
Conexión: La tecnología depende de la investigación científica
y de su transferencia al sector productivo
Ergo: El defecto tecnológico europeo se debe a una mala
transferencia de la ciencia al sector productivo y hay
que mejorar la transferencia

7. El progreso del conocimiento importante y que importa
a la sociedad ocurre con muy baja frecuencia
Un ejemplo con el tratamiento del cáncer:
¡En 2015, la Web of Science recogió 141.356 publicaciones sobre
cáncer!Pero la sociedad demanda soluciones y no publicaciones
Revolucionario
Tipo de progreso Ejemplo Frecuencia
Paclitaxel, Imatinib, Antiangiogénicos,
Inmuterapia, etc.
Uno cada
varios años
Incremental
Mejora de protocolos, asociación de fármacos,
modificación de moléculas, detecciones más
precoces, etc.
Unas pocas
veces cada
año
Publicaciones y ciencia, una relación difícil

8. ¡En ciencia y en fútbol, solo los goles cuentan!
En un partido de fútbol las patadas al balón se cuentan por cientos y
contarlas puede ser entretenido, pero no aclara quién gana

9. La ciencia se genera y progresa en un sistema social
complejo sensible a la Ley de Goodhard
En ciencia, los goles son
avances del conocimiento
Investigación soporte
IMPRESCINDIBLE
Relevanciacientífica
delaspublicaciones

10. Galería: el progreso científico y su evaluación
James McKeen Cattell José Ortega y Gasset Thomas Kuhn
Eugene Garfield Derek John de Solla Price Francis Narin

11. El número de citas NO MIDE la importancia científica de una
publicación
Considerando muchas publicaciones (en el mismo área), el
número de citas CORRELACIONA con la importancia de las
publicaciones
Por razones formales:
La evaluación basada en el análisis de citas se puede aplicar
a instituciones o países pero JAMÁS a investigadores
Citas−observaciones muy importantes

12. 0
50
100
0
500
1000
1500
2000
2500
3000
3500
4000
4500
5000
Contando todos los artículos, Europa aventaja a
Estados Unidos en investigación
La Paradoja europea La realidad
Europa publica menos
artículos importantes que
Estados Unidos y consigue la
tercera parte de Premios
Nobel
Distribución de las citas de los trabajos
publicados en Europa y en Estados Unidos en el
área de química en 2005
Númerodeartículos
Número de citasEuropa
Estados Unidos

13. 0
20
40
60
80
100
200-315
316-501
502-794
795-1259
Número de citas
Númerodepublicaciones
La evaluación de la investigación por la cola de
los trabajos más citados
Dos posibilidades:
1. El número total de trabajos en la cola (p. e., en el 1% más citado)
2. La frecuencia de publicar algo muy importante
1
10
100
200-315
316-501
502-794
795-1259
Númerodepublicaciones
Número de citas

14. La cola de la distribución de
citas sigue una ley de
potencias; el antilogaritmo del
fragmento a es la ratio del éxito
USA/EU
USA
EU

15. Ratio estimada USA/UE de publicaciones de clase
Nobel en química, física y fisiología en 25 años
Química 2,8 ± 1,2
Física 3,1 ± 0,9
Fisiología 3,0 ± 0,8
Ratios muy parecidas a las
de los premios Nobel en
ciencias naturales

16. En conclusión
de la cola de los trabajos más citados se puede extraer la
información que interesa a la sociedad para evaluar la
ciencia
pero ......
aunque esta conclusión es conceptualmente interesante
su utilidad práctica se limita al ≈10% de las instituciones

17. La probabilidad de publicar un trabajo muy
importante no se puede calcular en
muchas instituciones porque la cola de los
trabajos muy citados es muy pequeña.
Un ejemplo es el número de publicaciones por
universidades españolas en el 1% más citado;
área de “ciencias de la vida y de la tierra”
U. Autónoma de Barcelona 9
U. Complutense 5
U. de Vigo 4
U. de Córdoba 2
U. del País Vasco 1

18. 0
10
20
30
40
50
60
70
0 10 20 30 40 50 60 70 80 90 100 110 120 130 140 150 160 170 180 190 200 210 220
Publicaciones
Citas
Cola
1%
Ciencia normal
Descubrimientos y
progreso científico
¿Se puede evaluar la ciencia socialmente relevante? ¿Se
puede medir esa ciencia como función de la ciencia normal?
El sistema
investigador es un
sistema social
complejo
El histograma de
citas refleja una
distribución log-
normal

19. 0
50
100
150
200
250
300
350
400
1 10 100 1000
N(númerodeorden)
Frecuencia de palabras, tamaño de ciudades,
intensidad de terremotos, ganancias de tenistas
1
10
100
1000
1 10 100 1000
N(númerodeorden;escalalog)
Frecuencia de palabras, tamaños de ciudades,
intensidad de terremotos, ganancias de tenistas
Distribución de Pareto y ley de Zipf
N = A x-α
La ley de Zipf es una ley de potencias
También la cola de la
distribución de citas, ≈1%
de las publicaciones
200 1
107 2
74 3
57 4
47 5
40 6
......
......

20. 1
10
100
1000
10000
1 10 100 1000
N(númerodeorden;escalalog)
Publicaciones USA en “plant
sciences”, citas en un año
Representación de Zipf
Número de citas (escala log)
Ciencia normal
¿Está la cola determinada por la ciencia normal?
0
10
20
30
40
50
60
70
0
15
30
45
60
75
90
105
120
135
150
165
180
195
210
225
0
1000
2000
3000
4000
5000
Número de citas
Frecuencias
Cola 1%

21. 1
10
100
1000
10000
100000
1 10 100 1000
N(númerodeorden;escalalog)
Número de citas (escala log)
1
10
100
1000
10000
1 10 100 1000
N(númerodeorden;escalalog)
Publicaciones USA en
“plant sciences”
Publicaciones del mundo en
“plant sciences”
1
10
100
1000
10000
1 10 100 1000 10000 100000
N(númerodeordenenUSA;escalalog)
Número de orden en el mundo (escala log)
Todas las publicaciones de un país
tienen dos números de orden: uno en el
país y otro en el mundo. Un sistema
científico es un sistema social complejo
Análisis de la doble posición
Representación de Zipf
Doble posición de las publicaciones USA
1%
N = A xα

22. El análisis de la doble posición de la viñeta anterior es
difícil de implementar

23. 50%
10%
1% Publicaciones en los percentiles
de la producción mundial =
número de trabajos de un país o una
institución en un percentil determinado
Todaslaspublicacionesdelmundoenunárea,
ordenadasporelnúmerodecitas,lasmáscitadasarriba

24. 1
10
100
1000
10000
100000
0.1 1 10 100
Númerodepublicaciones
Percentil
Biochemistry & Molecular Biology
USA
EU
1
10
100
1000
10000
100000
0.1 1 10 100
Númerodepublicaciones
Percentil
Chemistry
USA
EU
La distribución por percentiles es una distribución
de doble posición
Publicaciones de USA y EU en las áreas WoS de Biochemistry & Molecular Biology y Chemistry en 2007
F = A xα F = A xα

25. Así se mide la ciencia en un sistema complejo
Comparación de frecuencias de publicaciones por percentiles
Simulación de una institución muy competitiva (α = 0.65), como el MIT o la U. Stanford, y una menos competitiva
(α = 0.95), como una institución europea media o el CSIC
0
500
1000
1500
2000
2500
0.01 0.1 1 10 100
Frecuencia
Percentil
0.001
0.01
0.1
1
10
100
1000
10000
0.0001 0.001 0.01 0.1 1 10 100
Frecuencia
Percentil
Ratio = 31.7
Ratio = 8.0
Ratio = 0.5Rango de
Premio Nobel
F = A xα
log F = log A + α log x

26. La “paradoja española”, otro error en la
mediada de la ciencia

27. 0.001
0.01
0.1
1
10
100
1000
10000
0.0001 0.001 0.01 0.1 1 10 100
Frecuencia
Percentil
Si medimos aquí, somos la decima
potencia científica mundial
Aquí aún no se mide pero ....
hay otras
medidas posibles
También se pueden contar
las publicaciones
españolas entre las 100 o
500 más citadas del mundo
en un área determinada
Siempre contar los
goles, nunca las
patadas al balón

28. Un refrán español dice:
las desgracias nunca vienen solas
y eso le pasa a Europa

30. Europa destaca en los campos con escaso progreso
tecnológico y desatiende los de rápido progreso
a
aMedia de citas por publicación en la cola del 1% más citados; publicaciones en 2015, citas en septiembre 2017; indica la
actividad en el campo. El precio de la energía fotovoltaica disminuye a un 10% anual, aproximadamente; el de la energía
almacenada en baterías lo hace a un 20% anual
a

31. 0
200
400
600
800
1000
1200
1400
1600
1800
2000
2007 2008 2009 2010 2011 2012 2013 2014 2015
2016
Númerodepublicaciones
Años
Evolución de las publicaciones sobre grafeno
Francia
Alemania
Corea Sur

32. Producción anual (2010) de cinco variedades de queso
y artículos científicos publicados en 1991-2010 sobre
dichas variedades
Variedad de
queso
Producción
2010 (Tn)
Artículos SCI
1991-2010
Artículos SCI
/1000 Tn
Cabrales 456 16 35,09
Manchego 8.800 93 10,57
Pecorino 39.100 53 1,36
Roquefort 19.200 7 0,36
Cheddar 2.267.000 762 0,34
Autor: Manuel Núñez Gutiérrez

34. F = Ptop1% 10
-3 (lg Ptop10% - lg Ptop1%)
Frecuencia (o probabilidad) de publicaciones muy
citadas con los indicadores del Leiden ranking
Ptop10% y Ptop1% se calculan a nivel de microcampos que no se
distinguen por importancia u oportunidad

35. Brecha transatlántica en las universidades (EEUU – Europa)
Frecuencia para publicaciones con nivel de Premio Nobel, cálculos usando el Leiden
ranking 2017, área de “Physical sciences and Engineering” (años 2006-20015)

36. Brecha
transpirenaica
Frecuencia para publicaciones
con nivel de Premio Nobel,
cálculos usando el Leiden
ranking 2017, área de “Physical
sciences and Engineering” (años
2006-20015)

37. En resumen,
la filosofía y las correlaciones estadísticas demuestran
que la ciencia se mide por la probabilidad de hacer
descubrimientos o avances científicos importantes.
Fuera de eso, el brillo se confunde con la rutina.
El hecho de que los sistemas científicos se comporten
como sistemas complejos analizables permite
mediciones sencillas. Hacerlas o no hacerlas depende
de la voluntad política, no de las matemáticas.

38. The European Report on Science and Technology Indicators (1994)
Green Paper on Innovation (1995)
Documentos Horizonte 2020 (2011)
1. Europa y España tienen problemas
similares con la ciencia; aunque en
España es peor porque nunca brilló.
2. Por ello, la solución a los problemas
de la investigación en España es
improbable que sea endógena.
3. Pero si Europa corrige sus errores,
España es un país demasiado
grande para que la brecha
transpirenaica se mantenga sin que
ello sea un problema para Europa.
Un futuro comprometido para
Europa y para España por
medir mal la ciencia