Este documento resume un seminario sobre las metodologías de los rankings universitarios realizado en la Universidad de Granada. Explica que los rankings i-UGR miden la investigación publicada en revistas de impacto internacional por campos y disciplinas científicas. Se basan en indicadores cuantitativos como número de documentos y citas, e indicadores cualitativos como porcentaje de documentos altamente citados. También cubren 12 campos científicos y 37 disciplinas, y periodos quinquenales y decenales. Finalmente, presenta resultados generales que mue

1. Seminario sobre Metodologías
de los Rankings Universitarios
Universidad de Granada 22 de Junio
ASPECTOS
METODOLÓGICOS
Daniel Torres-Salinas

2. Índice de contenidos
1.Introducción general a ranking i-ugr
2.Construcción de los rankings i-ugr
3.Aspectos metodológicos
4.Resultados generales y de la UGR

3. INTRODUCCIÓN

4. ¿Quiénes hacemos el ranking?
• Soft Computing and Intelligent Information Systems
• Grupo Evaluación de la Ciencia y la Comunicación Científica
Ah! En esta 3ª Edición 2012 hemos cambiado el nombre

5. ¿Cómo se definen Rankings I-UGR?
Ranking de investigación de universidades
españolas públicas y privadas
Investigación publicada en revistas de
impacto internacionales.
No es un ranking general sino una suma de
rankings por campos y disciplinas
Utilización de períodos cronológicos amplios:
quinquenios y décadas. Mayor estabilidad.

6. ¿Porqué es necesario?
No existen rankings a nivel nacional que
estudien las universidades por áreas
temáticas de forma sistemática y continuada
No todas las universidades tienen el mismo
perfil de investigación, la misma
especialización temática
Las universidades españolas no están los
suficientemente representadas en los
rankings internacionales más empleados

7. La fuente de datos
Web of Knowledge
- Web of Science
- Journal Citation Reports
REFERENCIA EN LAS REFERENCIA EN OTROS
AGENCIAS EVALUACIÓN RANKINKGS
- CNEAI - SHANGAI
- ANECA - THE RANKING
- ETC… - TAIWAN

8. Filosofía que nos guía
1) Presentar los datos con la mayor actualidad posible de forma que sean
útiles. Por ejemplo este años en junio hemos ofrecido datos hasta 2011.
2) Ser conscientes de las limitaciones del ranking y transmitirlas a nuestros
usuarios. En esta presentación veremos algunas de ellas.
3) Ofrecer indicadores objetivos que puedan ser replicados fácilmente por los
usuarios. Se pueden consultar todos los indicadores brutos.
4) Presentar la mayor cantidad de materiales posible sobre los detalles de la
construcción del ranking.
5) Aceptar errores y corrección de los mismos con la mayor agilidad posible
6) Ofrecer una herramienta que vaya más allá de los propios rankings de
universidades y ayude a las universidades a comprender su situación.

9. Construcción de los
rankings i-ugr 2012

10. El criterio de ordenación
NDOC: Número de documentos citables
DIMESIÓN
CUANTITATIVA
NCIT: Número de citas
ÍNDICE H: Índice H según Hirsch
TOPCIT: Porcentaje altamente citados
DIMESIÓN
1Q: % indexados en el primer cuartil CUALITATIVA
PCIT: Promedio de citas

11. Ejemplo cálculo IFQ2A-Index.
1. Se calculan los indicadores. El valor máximo normaliza.

12. Ejemplo cálculo IFQ2A-Index.
3. Se calculan las medias para cada dimensión
X

13. Cobertura campos & disciplinas
12 CAMPOS CIENTÍFICOS
37 DISCIPLINAS CIENTÍFICAS
2 PERIODOS CRONOLÓGICOS
QUINQUENIOS y DÉCADAS Campos Disciplinas
Ed.
2010 2005-2009 | 2000-2009 12 No se publicaron
Campos disciplinas
2011 2006-2010 |2001-2010 12 19 disciplinas
Campos
2012 2007-2011 |2002-2011 12 37 disciplinas
Campos

14. ¿Cómo se han creado?
Agregación de las 230 Categorías del JCR

15. Portal ‘Rankings I-UGR’
http://www.rankinguniversidades.es/
1
2 3

16. Aspectos Metodológicos
de rankings i-ugr

17. La necesidad de campos y disciplinas

18. La excelencia cuenta. Bidimensionalidad
MATEMÁTICAS 2007-2011

19. En rankings I-UGR no hay Humanidades
Heredamos las limitaciones de nuestra fuente (WoK).
¿Cuánto perdemos?. Veamos el caso de la UGR
Retrato de la UGR 2007-2011 por grandes áreas

20. La regla de la producción mínima
Para figurar en los rankings por campos y disciplinas las
universidades deben contar con una producción mínima.
Utilizamos los cuartiles y terciles de producción (NDOC).
¿Qué queremos evitar? El EFECTO PANAMÁ
UNIVERSIDADES CON POQUÍSIMA PRODUCCIÓN PUEDEN CONDICIONAR RESULTADOS

21. ¿Y los recursos? ¿Y la productividad?
Uno de los aspectos que se deberían medir son los
recursos destinados por las universidades. Como
por ejemplo los recursos humanos o proyectos de
I+D obtenidos para crear una 3ª dimensión
Sin embargo en la actualidad no contamos con las
fuentes necesarias que nos permitan éstas
variables por campos y disciplinas y menos
asignarlas debidamente. Por tanto mejor presentar
un ranking objetivo que un ranking equivocado

22. ¿Hablamos de rankings de facultades?
Necesariamente los rankings no reflejan la
producción científica de una facultad o un
departamento. Es la producción en un área temática
LA FACULTAD DE CIENCIAS No todo lo que publica está
DEL DEPORTE UGR en la disciplina de “Actividad
Física y Deporte”. Reparte su
producción científica en
otras categorías JCR
LA DISCIPLINA I-UGR DE No todo lo que se publica en Existen profesores en la
DOCUMENTACIÓN esa disciplina ni en la UGR de la ETSIIT y de la
categoría JCR pertenece a Facultad de Psicología
profesores de la Facultad de publicando en está área
Comunic. y Documentación científica.

23. Resultados de la
Universidad de Granada

24. El sistema universitario español
J. A. García, Rosa Rodríguez-Sánchez, J. Fdez-Valdivia, N. Robinson-García, D. Torres-Salinas. Mapping Academic Institutions
According to Their Journal Publication Profile: Spanish Universities as a Case Study. Journal of the American Society for
Information Science & Technology. (2012) (Accepted Paper)

25. Resultados generales. Campos. 2007-2011
8 universidades que aglutinan el 92% de
las tres primeras posiciones en los
Campos Científicos

26. Resultados generales. Disciplinas. 2007-2011
por 8 universidades que aglutinan el
61% de las tres primeras posiciones en
el caso de las disciplinas

27. Resultados generales. Campos. 2007-2011

28. Resultados generales. Campos. 2007-2011

29. Resultados generales. Disciplinas. 2007-2011

30. http://www.rankinguniversidades.es/
torressalinas@gmail.com
@torressalinas