1.
© Laboratorio de Estudios Métricos de Información (LEMI)
CONFERENCIA ANUAL RED OTRI 2014
Las universidades españolas en los rankings internacionales: conclusiones del grupo de trabajo interministerial
Elías Sanz-Casado
Laboratorio de Estudios Métricos de la Información (LEMI).UC3M
Instituto de Estudios Avanzados sobre la Evaluación de la Ciencia y la Universidad (INAECU UAM-UC3M)

2.
¿Por qué evaluar la investigación en la Universidad? 2

El sector universitario es uno de los principales motores del desarrollo científico y económico en la mayoría de los países (financiar la educación y la investigación es una inversión no un gasto)

Algunas cifras en UK (Fuente: Universities UK, 2013 y 2014)

Las universidades generan más 59 mil millones de libras/670.000 puestos de trabajo directos o indirectos

Las universidades atraen más de 3 mil millones de libras de ingresos de colaboración con empresas, etc.

Los estudiantes internationales contribuyen con más 7 mil millones de libras a la economía de UK

Las ocho universidades públicas catalanas contribuyen con el 0,6% del PIB de Cataluña. (Fuente: Asociación Catalana de Universidades Públicas, 2012)

En España la producción científica de las universidades representa el 65%, el 37% del personal de I+D, y el 28% de los gastos I+D. (Fuente: WoS e INE)

3.

A la hora de evaluar la actividad en las universidades hay que tener en cuenta los diferentes tipos de instituciones que existen, y cuyas misiones y actividades son diferentes:
Univ. Internacionales / Investigadoras/ Generalistas o Especializadas
Univ. Nacionales
/ Docentes/ Formación continua
Univ. Locales /orientadas a la transferencia/intensa relación con el ámbito empresarial
Actualmente coexisten en el sistema universitario español instituciones de los tres tipos
¿Por qué evaluar la investigación en la Universidad?
3

4.
Los rankings como herramienta de evaluación
Los rankings se han convertido en una herramienta de interés para la evaluación, comparabilidad y visibilidad de las universidades en un ámbito global
Desde el lanzamiento en 2003 del Ranking de Shanghái, muchas han sido las iniciativas similares desarrolladas en todo el mundo (Leiden, QS, THE, U-MULTIRANK).
El crecimiento y evolución de estos rankings da cuenta de la utilidad e interés para:
Los gestores de política científica
Los gestores académicos
Los estudiantes y los profesores (atracción de talento). En un mundo cada vez más competitivo y con altos niveles de incertidumbre la movilidad es un factor importante. El nº de estudiantes buscando universidades externas para su formación terciaria, se duplicó desde el año 2000 al 2012 (desde 2,1 millones a 4,5 millones) (Fuente OECD, 2014)
4

5.
¿Cuál es la utilidad de los rankings dentro de la propia institución?
Ayudar a la modernización de las instituciones universitarias
Rendición de cuentas
Transparencia. Ayudan a centralizar la información
Eficiencia: Reorganización de estructuras y procedimientos
Reorganización de la investigación en campos competitivos a nivel nacional e internacional
Permiten comparar las universidades en el ámbito nacional e internacional
Los rankings como herramienta de evaluación
6

6.
Rankings Universitarios Internacionales: Relevancia 6
Los rankings internacionales permiten comparar el rendimiento de las instituciones, utilizando una serie de indicadores que pretenden medir (entre otros aspectos):
La educación (recursos, profesorado, entorno de aprendizaje)
La investigación (recursos, repercusión, producción)
El tamaño
Las transferencias de conocimiento a la industria
La reputación académica y en el mundo laboral
Las relaciones con el entorno

7.
Problemas metodológicos

Desconocimiento de muchas fuentes de obtención de datos, fundamentalmente en otros países

Las encuestas no se sabe quiénes las contestan y cómo se han seleccionado a los encuestados

A veces los indicadores solicitados no están bien definidos

La asignación de pesos a los indicadores así como los indicadores basados en reputación introducen un elevado grado de subjetividad
Existencia de sesgos

Factores como el idioma, la trayectoria institucional y el prestigio internacional favorecen a instituciones norteamericanas y europeas

Se favorece la presencia de universidades con una fuerte orientación investigadora en detrimento de las que tienen perfil más docente o tecnológico

No se tiene en cuenta el tamaño de las instituciones. Las grandes salen favorecidas

Apenas se tiene en cuenta la producción científica en CCSS y Humanidades.
Limitaciones que presentan los rankings 7

8.
EL GRUPO DE TRABAJO DEL MECD PARA LA MEJORA DE LA POSICION DE LAS UNIVERSIDADES EN LOS RANKINGS INTERNACIONALES 8
Secretaría General de Universidades :
“Grupo de Trabajo para la mejora de la posición de las universidades españolas en los Rankings Internacionales”
Debido a :
•
La dificultad de conocer los datos reales que las universidades españolas aportan a los rankings internacionales
•
La complejidad de cada una de las metodologías utilizadas por los rankings
Actividades del Grupo de Trabajo:
•
Analizar los rankings internacionales (metodología, indicadores, limitaciones, etc.) a partir del análisis de los datos que las universidades españolas envían a los rankings internacionales.
Elaboración de una
Guía de buenas practicas

9.
OBJETIVOS 9

Detectar las universidades españolas que envían datos a los rankings QS, THE, ARWU.

Analizar la consistencia de los datos estructurales (nº de estudiantes, profesorado, financiación, etc.) que aparecen en los informes de cada universidad española en los rankings.

Contrastar la consistencia de los resultados elaborados por los tres rankings internacionales en función de las metodologías seguidas en su construcción.

Validar los resultados bibliométricos de los perfiles suministrados por los rankings con fuentes externas, p.e. Observatorio de la Actividad Investigadora en la Universidad Española (IUNE).

Analizar la influencia de los indicadores en los resultados obtenidos en cada una de las dimensiones consideradas en los 3 rankings.

10.
METODOLOGÍA 10
Vías de obtención de datos:
•
Contacto con las universidades para solicitar datos (se enviaron varias cartas de solicitud)
•
Análisis de informes que las universidades recibían de los rankings Fuentes para la obtención de los datos:
•
A través de los propios rankings, consulta a sus páginas.
•
Consulta directa a las personas de contacto de cada uno de los rankings
•
Recogida directa de información procedente de las universidades españolas
•
Otras fuentes: Web of Science de Thomson Reuters. IUNE (Observatorio de la Actividad Investigadora de la Universidad Española) Análisis estadístico:
•
WEKA
•
Estimación a través de indicadores y las herramientas de ARWU

11.
Rankings Universitarios Internacionales: (QS, ARWU, THE) 11
Criterio
QS
THE
ARWU
Total universidades evaluadas
5000
2000
3000
Universidades españolas evaluadas
No dan dato por confidencialidad
22
29
Total Universidades rankeadas
700
400
500
Universidades españolas rankeadas
14
7
12

12.
Rankings Universitarios Internacionales: indicadores 12
QS World University Ranking
INDICADORES QS
DEFINICIÓN
FUENTE DATOS
Prestigio académico (40%)
Mide el prestigio universitario-académico
Encuestas
Prestigio laboral (10%)
Mide el Prestigio universitario laboral
Encuestas
Citas PDI (20%)
El Nº de citas recibidas durante cinco años entre el Nº de PDI
SCOPUS
Ratio PDI/alumno (20%)
El promedio de estudiantes por profesor/investigador
Universidades
% Estudiantes internacionales (5%)
Se mide por medio de la proporción de estudiantes extranjeros
Universidades
% Profesores internacionales (5%)
Se mide por medio de la proporción de profesorado extranjero
Universidades
THE World Ranking
DIMENSIONES
INDICADORES
WORLD RANK
FUENTE DE DATOS
Enseñanza: ambiente de aprendizaje 30%
Reputación académica
15%
Encuesta
Ratio Prof/Alumno
4,50%
Universidad
Proporción doct/ licenc
2,25%
Universidad
Ratio doctorandos/PDI
6%
Universidad
Ingresos institucionales/PDI
2,25%
Universidad
Investigación: ingresos y reputación 30%
Reputación Investigadora
18%
Encuesta
Ingresos investigación
6%
Universidad
Citas: influencia de investigación 30%
Nº artículos en Web of Science/Nº Prof
6%
Thomsom Reuters
Nº Citas en 5 años en Web of Science
30%
Thomsom Reuters
Ingresos Industria: innovación 2,50%
Ingresos investigación procedentes de la industria/PDI
2,50%
Universidad
Perspectiva internacional: PDI, Alumnos, investigación 7,50%
Ratio Alum intern/Alum nac
2,50%
Universidad
Ratio PDI intern/PDI nac
2,50%
Universidad
Publicaciones con coautoría internacional
2,50%
Universidad
ARWU-World Ranking
INDICADOR
DEFINICIÓN
FUENTE DE DATOS
(Alumni) 10%
Nº alumnos con premios Nobel o medallas Fields.
Página oficial del Premio Nobel y Medalla Fields
(Awards) 20%
Nº de PDI de con medallas Fields o premios Nobel
Página oficial del Premio Nobel y Medalla Fields
(HiCi) 20%
Nº de investigadores muy citados dentro de la Web of Science
Thomson Reuters http://www.highlycited.com/
(N & S) 20%
Nº de artículos publicados en Nature y Science (5 años)
Thomson Reuters hhttp://www.webofknowledge.com/
(PUB) 20%
Nº de publicaciones en SCI-E y SSCI durante 2012.
Thomson Reuters hhttp://www.webofknowledge.com/
PCP 10%
Las puntuaciones ponderadas de los cinco indicadores anteriores divididos por el número de personal académico equivalente a tiempo completo (FTE).
Dato obtenido de agencias nacionales como Ministerios de Educación Instituto nacional de estadistica, etc.

13.
Respuesta de las universidades (universidades que han enviado sus datos a los rankings internacionales) 13
UNIVERSIDADES que envían datos a los rankings y su posición en el ranking de 2013
QS
THE
ARWU
U. Autónoma de Madrid
SI
195
SI
301/350
SI
201/300
U. Politécnica de Valencia
SI
345
SI
351/400
SI
301/400
U. Autónoma de Barcelona
SI
177
SI
201/225
SI
201/300
U. Carlos III de Madrid
SI
317
SI
--
SI
--
U. de Navarra
NO
315
Si
351/400
SI
--
U. Rovira i Virgili
NO
--
SI
351/400
SI
--
U. Salamanca
NO
441-450
SI
--
SI
--
U. Valencia
SI
471-480
SI
351/400
SI
301/400
U. Alicante
NO
--
NO
--
SI
--
U. Islas Baleares
NO
--
NO
--
SI
--
U. de la Laguna
NO
--
NO
--
SI
--
U. Miguel Hernández
NO
--
NO
--
SI
--
U. Santiago de Compostela
NO
501-550
NO
--
SI
--
U. Sevilla
SI
551- 600
NO
--
SI
--
U. Pompeu Fabra
SI
281
SI
164
NO
301/400
U. Zaragoza
NO
481-490
SI
--
NO
401-500
U. Politécnica de Madrid
NO
389
SI
--
NO
--
U. de Barcelona
SI
178
SI
201/225
SI
201/300
U. Complutense de Madrid
NO
216
SI
--
NO
201/300
Respuesta de las Universidades a la solicitud de datos
Nº
Nº de universidades a las que se envía solicitud
72
Responden
51
(70,8%)
19 Envían datos a los rankings
32 No envían datos a los rankings
No responden
21 (29,2%)
Ranking
Nº de universidades que envían datos
ARWU
15
QS
8
THE
13

14.
14
El ranking QS en 2013 ordenaba los datos de:
18 universidades españolas entre las 700 primeras
14 universidades españolas entre las 500 primeras
De las cuales 13 universidades públicas y 1 privada
Puntuación QS 2013
79
84,7
72,8
78,2
41,4
26,6
43,5
38,1
34,7
32,7
0
0
0
44
61,5
67,6
76,1
40,4
50
61,9
32
49,5
58,4
34,9
29
37,8
33,7
40,8
70,7
54,3
65,6
56
51,1
37,8
22,5
52,9
48,7
39,3
37
14,8
34,1
24,9
6,3
14,4
14,3
7,7
16,2
26,6
16
22,8
6
15,5
3,7
78,8
33,5
30
14,2
7,5
2,9
3,4
2,4
7
30,5
23,4
18,2
19,7
42,5
49
28,4
37,6
16
52,9
13,2
14,7
6,5
55,6
55,4
52,7
49,9
41,8
39
38,8
37,2
34,2
33,6
30,4
29
28,6
UAB
UB
UAM
UCM
UPF
UNAV
UC3M
UPC
UPV
UPM
USAL
UV
UZAR
Puntos QS de las universidades españolas 2013
Academic Reputation
Emplyer Reputation
Faculty Student
Citations Faculty
International Faculty
International Student
Puntuacion final

15.
Puntuación THE 2013 15
*9 universidades españolas entre las 400 primeras en el año 2013
*En el ranking de universidades de menos de 50 años las españolas salen mejor representadas
*En los rankings por materias en el año 2013 entre las 100 primeras universidades en cada materia y aparecen:
UAM y UCM En el área de Arts and Humanities
UB En el área de Clinical, Pre-Clinical and Health
UPF En el área de Social Sciences

16.
Puntuación ARWU 2013 16
El ranking ARWU en su edición de 2013 evaluaba a 29 universidades españolas
En el TOP 500 de 2013 se incluían 10 universidades españolas (todas públicas)
0
0
20
0
0
0
0
10,2
12,5
0
7,2
6,6
0
0
7,2
5,1
11,1
11,2
13,8
8,1
10,2
12,6
17,2
9,2
6,5
2,1
50,5
39,1
45
42,3
40,7
32
25,6
40,4
33
33,7
16,8
16,8
19,1
11,7
13,6
14,1
28,9
12,7
11,8
12,3
16,5
14,6
14,1
13,6
13,3
12
11,8
11,5
10,8
9,7
0
20
40
60
80
100
UB
UAM
UAB
UCM
UV
UPV
UPF
UGR
EHU
UNIZAR
Puntos ARWU de las universidades españolas 2013
Alumni
Award
HICI
N&S
PUB
PCP
TOTAL Puntos

17.
Análisis de los datos obtenidos de universidades 17
Rankings
Sub-Rankings
Indicadores
Información Solicitada
QS
• World University Ranking • Field • Subject • Top Under 50
• Prestigio Académico • Prestigio Laboral • Citas por Profesor • Promedio Estudiante-Profesor • Internacionalidad del profesorado • Internacionalidad del alumnado
Cuestionario con 36 ítems: • Nº Personal Docente e investigador • Nº Estudiantes de grado (nacionales e internacionales) • Nº Estudiantes de postgrado (nacionales e internacionales) • Coste matrícula de grado (nacionales e internacionales) • Coste matrícula de postgrado (nacionales e internacionales) Se proporcionan datos de dos años (2012-2013 y 2011-2012) por lo que el total de ítems se eleva a 72.
THE
• World University Ranking • World Reputation Ranking • Subject • Top 100 Under 50
• Docencia • Investigación • Citas • Ingresos-Innovación • Internacionalidad
Cuestionario con 36 Ítems: • Nº Personal Docente • Nº Personal Investigador • Nº Estudiantes • Nº Matriculados • Precios Matriculas • Nº de Tesis leídas
15 de los 36 items se solicitan además desagregados en 6 áreas de conocimiento, lo que supone 90 items adicionales
ARWU- Shanghái
• World Top 500 • Field • Subject
• Calidad docente (Alumni) • Calidad del profesorado (Award) • Calidad de la investigación: dos indicadores (HiCi y Nature y Science) • Producción científica (SCI) • Tamaño de la universidad (size) • Porcentaje de artículos en revistas Top 20% (solo Field y Subject) • Gasto de investigación en ingeniería (solo área ingeniería)
Cuestionario con 42 Ítems: • Nº Personal Docente-Investigador • Nº Estudiantes • Nº Matriculaciones • Ratio de desempleo • Ingresos Universidad • Nº de titulados • Información general de la universidad
Se proporcionaron datos de tres años: 2009, 2010 y 2011, por los que el total de datos enviados fue de 126

18.
El ranking QS datos enviados por las universidades 18

19.
El ranking THE datos enviados por las universidades 19
0,00
5,00
10,00
15,00
20,00
25,00
UPV
USAL
UAM
UV
UAB
UNIZAR
URV
UNAV
UPM
UC3M
UPF
UCM
UB
Perfil de datos de las universidades españolas en el ranking THE
Nº PDI (millares)
Nº PDI internacionales (En
decenas)
Nº PDI investigador (centenas)
Nº estudiantes (Decenas de
millare)
Nº estudiantes internacionales
(En millares)
Nº_Grados (En millares)
Nº_Doctorados (En centenas)
Ingresos_Institucionales(centena
s de millon)
Ingresos_investigación (Decenas
de millones)

20.
Ingresos investigación ARWU 20
Estadístico
Total de ingresos de Investigación
Nº de universidades
15
Mediana
45.077.567,0
Media
43.481.540,9
Mínimo
5.263.957
Máximo
83.271.214,0
Estimación para las universidades españolas
Top 100
101- 200
201- 300
301- 400
401- 500
501-
Probabilidad para la Mediana del total ingresos de investigación de las universidades españolas
0.9%
5.4%
9.9%
13.5%
18.0%
52.3%
Probabilidad para la Media del total ingresos de investigación de las universidades españolas
0.8%
5.1%
12.7%
17.8%
18.6%
44.9%
Probabilidad para el valor Mínimo del total ingresos de investigación de las universidades españolas
0.0%
0.0%
0.0%
0.0%
0.0%
100.0%
Probabilidad para el valor Máximo del total ingresos de investigación de las universidades españolas
3,6%
11.8%
20.0%
24.5%
14.5%
25.5%

21.
Total PDI Institucionales ARWU 21
Estadístico
Total PDI
Nº de universidades
15
Mediana
1.984
Media
2.395
Mínimo
1.036
Máximo
3.973
Estimación para las universidades españolas
Top 100
101-200
201- 300
301-400
401- 500
501-
Probabilidad para la Mediana del total de PDI de las universidades españolas
9.0%
12.9%
17.6%
11.9%
9.0%
39.5%
Probabilidad para la Media del total de PDI de las universidades españolas
13.9%
17.5%
16.0%
11.3%
9.3%
32.0%
Probabilidad para el valor Mínimo del total de PDI de las universidades españolas
3.8%
5.1%
12.7%
12.0%
12.7%
53.8%
Probabilidad para el valor Máximo del total de PDI de las universidades españolas
41.3%
18.7%
5.3%
14.7%
6.7%
13.3%

22.
El ranking ARWU (Análisis de los datos obtenidos de IUNE) 22
UB
UAM
UAB
UCM
UV
UPV
UPF
UGR
EHU/UPV
UNIZAR
UPC
US
USC
UNIOVI
UPM
ULL
0
2
4
6
8
10
12
14
16
18
20
22
24
26
28
30
32
34
36
38
40
42
44
46
48
50
52
54
56
58
60
62
64
0
200
400
600
800
1000
1200
1400
1600
1800
2000
2200
2400
2600
2800
3000
3200
3400
3600
3800
4000
4200
Número de publicaciones Nature/Science
Nº de Publicaciones en Web of Science (SSCI-SCIE)
Universidades con más de 6 Publicaciones en Nature/Science y con más de 1844 publicaciones en SSCI-SCIE)
Universidades con más de 6 Publicaciones en Nature/Science y con menos de 1844 publicaciones en SSCI-SCIE)
Univ. con menos de 6 Publicaciones en Nature/ Science y con más de 1844 publicaciones en SSCI-SCIE)

23.
RECOMENDACIONES ESTRATÉGICAS 23

Fortalecimiento de la identidad de marca de la institución. Las universidades deberían tener una identidad institucional única y fácilmente reconocible a nivel internacional que utilicen en todas sus publicaciones (firma única y normalizada)

Las universidades deberían ser más proactivas en la colaboración con los rankings internacionales recomendando a expertos académicos y empleadores.

Incremento de la colaboración investigadora con otros centros de investigación ubicados en el entorno de las universidades, desarrollando estrategias que impliquen alianzas de investigación con estos centros (OPIs, CSIC y hospitales)

Desarrollar políticas capaces de atraer talento internacional a la universidad (profesores, investigadores y estudiantes)

24.
RECOMENDACIONES OPERATIVAS (1) 24

Establecer un centro de contacto entre los principales rankings internacionales y el SUE que desarrollase un protocolo para que las universidades que lo deseen sepan adonde dirigirse.

Las universidades deben colaborar de manera activa con los principales rankings internacionales enviando los datos que les solicitan (sólo lo hacen el 37% de las que han contestado). Esto mejoraría su visibilidad y competitividad internacional.

Los datos que envían las universidades deberían ser revisados y consensuados con los responsables académicos, con el fin de que reflejen la realidad de la actividad investigadora, docente y de transferencia.

Las universidades deberían tener un interlocutor único para la difusión de sus datos, con el fin de controlar en todo momento la precisión de los datos que envían. Sería recomendable que las universidades contaran con unidades de evaluación y bibliometría.

25.
RECOMENDACIONES OPERATIVAS (2) 25

Fomentar la viabilidad y utilización de bases de datos únicas tipo SIIU, IUNE y Encuesta de la Red OTRI, que contienen información relevante y fiable sobre las actividades realizadas por las universidades españolas.

Creación de unidades de provisión de datos centralizada que faciliten a todas las partes interesadas (gestores públicos y universitarios, profesores, estudiantes, empresas, etc.) los resultados del SUE en los rankings internacionales.

Incentivar al profesorado para que publique en revistas de prestigio internacional y que lo haga en aquellas de mayor impacto y visibilidad (primer cuartil) y reconocer aquellas publicaciones de mayor influencia Nature y Science.

26.
MUCHAS GRACIAS POR VUESTRA ATENCIÓN
elias.sanz@uc3m.es http://lemi.uc3m.es
Elías Sanz Casado