Analysis of scientific domains using Scopus-based scientometrics tools: experiences of the SCImago Research Group

1. Analysis of scientific domains
using Scopus-based
scientometric tools: experiences
of the SCImago Research Group
Zaida Chinchilla Rodríguez
Instituto de Políticas y Bienes Públicos.
CSIC. SCImago Research Group.
I International Workshop on Scientometric Studies related to the
Biomedical Sciences. CNIC, 2010. La Habana, Cuba.

2. Estructura de la presentación
1. Consideraciones generales sobre el
análisis de dominios científicos. La
necesidad de evaluar y evaluar qué?
2. Herramientas basadas en datos Scopus
3. Cuba en el contexto nacional, regional e
internacional
4. Recomendaciones generales

3. Análisis cienciométricos
¿para qué?
• Necesidad de evaluar
– Políticas públicas de ciencia y tecnología
– Desarrollo de herramientas metodológicas
– Fuentes de información científica
– Batería de indicadores
– Sistemas de información científica
– Benchmarking

4. Instrumentos
de
interface
Subsistema
de
Generación de Conocimiento
Subsistema
de
Innovación
Sistema Científico-Tecnológico
InstrumentosdeInterface

5. Cuba

6. Cantidad y calidad
• Políticas Científicas Distribución de fondos I+D
– Grupos excelentes, líneas prioritarias consolidadas (tamaño y visibilidad)
• Recuento de publicaciones = productividad investigadora
• Volumen/Tamaño no Repercusión/Visibilidad
• Indicadores de recuento se relacionan con la investigación de
calidad, son los indicadores de citación los más próximos a este
concepto.
•
• Artículo se publica en una revista académica = proceso de revisión
inter pares, (signo de calidad).
• Pero…no supone más que una oferta a la comunidad científica. Es el
uso lo que certifica el grado de calidad real de una contribución
(artículo, libro, etc.)

7. Calidad
• Calidad no es medible, no se reduce a un
número
– Grado que un agente contribuye al progreso
del conocimiento
– Capacidad de resolver problemas
– Ofrecer nuevas ideas sobre la “realidad”
– Desarrollo de nuevas tecnologías
• Comunidad científica quién pone la
etiqueta. Son los pares los que
determinan la superación de un umbral
mínimo que pueda garantizar la calidad

8. Impacto/Visibilidad/Repercusión
• Influencia real de los resultados
• Está afecta por factores:
– Ubicación del autor (institución, grupo)
– El idioma o accesibilidad del canal de
comunicación usado
– Campo temático
• Aspecto de calidad medible por
indicadores cuantitativos
• Calidad-pares-cienciometría-complemento

9. Excelencia
• Identificación de canales y elaboración de modelos de medición
• Denota superioridad comparativa. Los resultados superan un
umbral prefijado
• Su identificación es necesaria para la potenciación de determinadas
áreas pero puede incurrir en una exclusión de interés en otras.
• Ejes de actuación y estructuración del sistema de ciencia que
permitan continuidad y atracción de recursos
• Detección de zonas de mejora para el establecimiento de redes de
colaboración, la creación de una mayor interconexión entre los
niveles micro-macro, estimular la movilidad y transferencia de
conocimientos

10. Sistemas de evaluación
• Basado en canales de comunicación científica que
aseguren la calidad
• Dos elementos esenciales:
– Umbral mínimo de calidad
– Ranking de publicaciones
• Los umbrales bajos reducen la visibilidad y por tanto, el
impacto
• Los sistemas binarios no aseguran la calidad del
conocimiento generado. Necesitamos sistemas difusos
• Los sistemas de evaluación deben ser adaptados
periódicamente según la evaluación de resultados

11. Consideraciones metodológicas
Muestradedatos
Gauthier, E. (1998) Bibliometric Analysis of Scientific and Technological Research: A User's Guide
to the Methodology. ST - 98 - 08, Canada: Observatoire des Sciences et des Technologies
(CIRST).
Niveldeconfianza
• Ciencia Básica
• Ingeniería, informática
• Economía
• Humanidades
• Revistas internacionales
• Congresos, informes,
patentes, revistas
internacionales y nacionales
• Informes técnicos, revistas
internacionales y nacionales
• Libros, monografías, revistas
nacionales
GÓMEZ, I.; BORDONS, M. (1996 ). Limitaciones en el uso de los indicadores
bibliométricos para la evaluación científica. Política Científica, 46:

12. Arbitradas (±30000)*
ISI-WOS (±9000)
SCOPUS (±17000)
Fuentes de datos
(*) Fuente UlrichsWeb

13. Resumiendo,
• Fuentes confiables que aseguren
representatividad y calidad mínima
• Generación de indicadores de acuerdo a
estándares internacionales
• Benchmarking global
• Categorización temática que permite la
ubicación en contextos globales
• Inducción de mejores prácticas

14. Herramientas

15. Ejemplos para el caso de Cuba

16. Distribución regional de la producción
WESTERN
EUROPE
EASTERN
EUROPE
NORTHERN
AFRICA
CENTRAL
AFRICA
SOUTHERN
AFRICA
NORTHERN
AMERICA
LATIN AMERICA MIDDLE EAST
ASIATIC
REGION
PACIFIC
REGION
1996 29,77 5,95 0,15 0,19 0,56 31,52 1,97 1,54 14,14 2,32
2000 30,66 5,90 0,20 0,18 0,52 28,56 2,50 1,61 16,29 2,44
2004 28,14 5,42 0,26 0,19 0,55 23,06 2,65 1,78 18,93 2,52
2008 28,08 5,34 0,37 0,28 0,65 22,32 3,41 2,39 25,36 2,89
0,00
4,00
8,00
12,00
16,00
20,00
24,00
28,00
32,00
58,30 50,72
326,85
152,43 95,59
18,84
190,47 160,62 200,94
108,87
0,00
500,00
average
growth

17. Citas por documento respecto al
promedio mundial
0,40
0,60
0,80
1,00
1,20
1,40
1,60
1,80
2,00
WESTERN EUROPE EASTERN EUROPE NORTHERN AFRICA CENTRAL AFRICA SOUTHERN AFRICA NORTHERN AMERICA LATIN AMERICA MIDDLE EAST ASIATIC REGION PACIFIC REGION
1996 2000 2004 2008 Average
WORLD

18. Ranking mundial de países (I)

19. Ranking mundial de países (II)

20. Evolución de la producción científica en los
principales países latinoamericanos
Brasil México Argentina Chile Colombia Venezuela Cuba
2003 1,35 0,58 0,42 0,22 0,08 0,11 0,07
2004 1,41 0,58 0,40 0,22 0,08 0,10 0,07
2005 1,42 0,59 0,38 0,22 0,09 0,10 0,07
2006 1,74 0,63 0,39 0,26 0,11 0,09 0,09
2007 1,84 0,61 0,40 0,27 0,12 0,10 0,09
2008 2,01 0,63 0,43 0,29 0,16 0,10 0,10
0,00
0,20
0,40
0,60
0,80
1,00
1,20
1,40
1,60
1,80
2,00

21. Ranking latinoamericano. Número de documentos

22. Datos sobre la producción cubana

23. Ranking latinoamericano. Impacto normalizado

25. Distribución temática (Cuba, Colombia y Chile)

26. Citas por documento por áreas

27. Fortalezas y debilidades
MED
BIO
CHEM
AGR
PHY
IMMU
EAR
ENV
MAT
NEU
ENG
CENG
PHAR
GEN
VET
PSY SOC
ENER
DEC
HEAL
NUR
DEN
ART
MATH
10000 documentos
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
1,1
1,2
1,3
1,4
1,5
1,6
1,7
1,8
1,9
2
2,1
2,2
2,3
2,4
2,5
2,6
-0,90 -0,80 -0,70 -0,60 -0,50 -0,40 -0,30 -0,20 -0,10 0,00 0,10 0,20 0,30 0,40 0,50
attractivityindex
activity index
WORLD
WORLD

29. Especialización temática, índice de atracción y volumen
de producción en Medicina
Colombia
Cuba
Puerto Rico
Peru
Costa Rica
Panama
Trinidad yTobago
Jamaica
Guatemala
Barbados
Nicaragua
Guadaloupe
Brazil
Mexico
Argentina
Chile
Venezuela
Uruguay
Ecuador
Bolivia
250 documents
0,5
1
1,5
2
2,5
-0,3 -0,2 -0,1 0 0,1 0,2 0,3 0,4
activity index
attractivityindex
LATIN AMERICA
LATIN AMERICA

30. Volumen frente a Calidad (Áreas)

31. Volumen frente a calidad (categorías)

32. Patrones de citación

33. Patrones de publicación

34. Revistas cubanas en Scopus

35. ¿Dónde se publica la ciencia cubana?

36. Principales revistas de publicación

37. Países de publicación, revistas y visibilidad

38. Publicación Q1 y la visibilidad (I)

39. Publicación Q1 y la visibilidad (II)

40. Evidencias

41. Evidencias (III)

42. Patrones de colaboración

43. Tipos de colaboración por áreas

44. Colaboración internacional de la medicina
cubana.

45. Socios colaboradores

46. Colaboración interinstitucional en Medicina

47. Análisis institucional
Finlay Institute
Instituto Superior de Medicina Militar Dr. Luis Diaz
Soto
Instituto Nacional de Oncología y Radiobiología
Universidad de La Habana
Instituto de Medicina Tropical Pedro Kouri
Centro de Ingenieria Genetica y Biotecnologia La
Habana
Universidad Central Marta Abreu de Las Villas
Centro Nacional de Investigaciones Cientificas de
Cuba
Hospital Clinico Quirurgico Hermanos Ameijeiras
Instituto de Ciencia Animal
Universidad de Oriente
Instituto Superior de Ciencias Medicas de La
Habana
Centro de Quimica FarmaceuticaInstituto de Cibernetica, Matematica y Fisica
CNIC
Universidad de Matanzas Camilo Cienfuegos
Instituto Superior Politecnico Jose Antonio
Echeverria
Agencia de Energia Nuclear y Tecnologias de
Avanzada
Centro de Investigacion y Desarrollo de
Medicamentos
Centro de Inmunologia Molecular
Centro Provincial de Higiene y Epidemiologia de
Ciudad de La Habana
Instituto de Hematologia e Inmunologia
Hospital Psiquiatrico de La Habana Cdte. y Dr.
Eduardo Bernabe Ordaz Ducunge
Centro Internacional de Restauracion Neurologica
Instituto Nacional de Neurología y Neurocirugía
Escuela Nacional de Salud Publica
Hospital Militar Universitarios J. Carlos Finlay
Instituto de Cardiología y Cirugía Cardiovascular
100 documentos
-0,1
0,1
0,3
0,5
0,7
0,9
1,1
1,3
-0,3 1,7 3,7 5,7 7,7
citas por documento
impactonormalizado

48. Ranking Iberoamericano SIR 2010

50. Recomendaciones (I)
• Convertir en objetivo institucional la visibilización de los resultados de
investigación tanto a nivel nacional e institucional:
– Desarrollar e impulsar el uso por parte de los investigadores de
repositorios institucionales. Adhesión formal a las declaraciones de
Berlin y Budapest
– Creación de un cosechador nacional de repositorios. Difusión en
Google Scholar y otros difusores internacionales de los contenidos en
repositorios
– Aprobación de un protocolo para la inclusión de trabajos vinculándolo
con la concesión de incentivos.
– Implicar a los servicios de investigación, biblioteca y editorial en la
visibilización internacional de la investigación
– Mejorar el posicionamiento web del ‘site’ institucional a fin de lograr
una mayor presencia de los contenidos de investigación en el mundo
científico.

51. Recomendaciones (II)
• Trabajar con los editores de las revistas para conseguir
que mejoren sus posiciones en los índices
internacionales o que accedan a ellos
• Minimizar el impacto de la publicación Q4 buscando
mejores destinos de publicación con independencia de
la vinculación del investigador con el editor de la revista
(análisis diferencial por áreas)
• Fomento de la colaboración internacional dentro de
intervalos de confianza del rango de las autorías.

52. Recomendaciones (III)
• Aumentar la base de investigadores activos internacionalmente.
• Asegurar calidad homogénea en las diferentes áreas apoyándose en la
colaboración internacional.
• Crear una unidad de apoyo a la publicación científica con tres misiones
específicas:
– Hacer el seguimiento de las prácticas de comunicación científica en
cada institución. Mejorar el conocimiento de los investigadores en lo
referente a los procesos de comunicación científica. En particular, lo relativo a
las publicaciones de su especialidad y su visibilidad en el mundo.
– Apoyar a los investigadores que lo necesiten en el proceso de
traducción científica, corrección de estilo, adecuación a las normas
para autores de las revistas y formateo de los documentos
– Difundir ente los investigadores los destinos de publicación por
especialidades y rango de visibilidad para facilitar su selección

53. Gracias por la atención
Seguimos trabajando…

54. Analysis of scientific domains
using Scopus-based
scientometric tools: experiences
of the SCImago Research Group
Zaida Chinchilla Rodríguez
Instituto de Políticas y Bienes Públicos.
CSIC. SCImago Research Group.
I International Workshop on Scientometric Studies related to the
Biomedical Sciences. CNIC, 2010. La Habana, Cuba.