Bibliometría y evaluación de la ciencia

Evaluación de la actividad científica y
escritura de artículos de impacto
Orlando Gregorio-Chaviano

Taller
• Evaluar tendencia a partir de las necesidades.
- Revistas de mayor visibilidad
- Autores e instituciones de mayor importancia.
• Obtención de indicadores de impacto de
revistas
- Indicadores desde JCR y SJR
• Evaluación de aspectos de gestión
- Alcance, tiempos de gestión
• Construcción de la identidad digital para la
visibilidad de los autores

REVISTA FACTOR
IMPACTO
Q Promedio
autores
Promedio
referencias
No.
palabras
clave
Tiempos de
respuesta
Scientometrics 2.084 1 6 41 5 3 meses
Profesional de
la información
0.710 3 4 29.3 6 2 meses
Rev. Española
Doc. Científica
0.551 3 5 33.1 5 2 meses
Journal of
Documentación
1.063 2 6 60.9 4 1 mes
Investigación
Bibliotecológica
0.146 4 5 40 8 6 meses
GESTION

Proceso de publicación (ANTES)
Análisis de tendencias (cambio de enfoque y de estrategia)
- Estándar internacional, menos publicaciones, problemas
relevantes.
Colaboración
- Número de autores, firmas internacionales…
Selección de la revista
- Indicadores bibliométricos y de gestión

Proceso de publicación
(DURANTE)
Bibliografía
-Actualidad, trabajos que ha publicado la revista,
citar toda la estructura de citación del tema. Autores
y revistas relevantes…..
-Equilibrio en las referencias (promedio de las
revistas)
Tablas y gráficos (equilibrio)
Normas de la revista
Envío a colegas …

Proceso de publicación
(DESPUES)
o Hacer una “cover letter”
o Organizar el manuscrito…
o Dejar claro el autor de correspondencia
o Organizar el trabajo de revisión para dar
respuesta a los revisores…
o Incluir ORCID (orcid.org)

Cover letter
CARACTERISTICAS
•Dirigirla al editor
•Carácter más informar que el manuscrito
•No extensa
•No es un copy/paste del resumen
QUE DEBE INCLUIR
•Título y autores
•Premisas básicas del estudio
•Novedad e importancia
•Qué no se ha enviado a otra revista
•Propuesta de revisores o No

Firma del artículo
FIRST - LAST - AUTHOR

o Herramienta de evaluación y disciplina
instrumental…
o Su importancia radica en los indicadores que
aporta y que posibilitan el análisis cuantitativo
y cualitativo para conocer regularidades.
Bibliometría

Aplicación de las matemáticas y los métodos estadísticos al
objeto de estudio de la Bibliotecología. Comprende la
aplicación de análisis estadísticos para estudiar las
características del uso y creación de los documentos, el
estudio cuantitativo de la producción de documentos, la
aplicación de métodos matemáticos al análisis del uso de los
libros y otros soportes, dentro y entre los sistemas de
bibliotecas.
Bibliometría: el origen

Topic Ndoc
Bibliometric 4907
Informetric 312
Scientometric 1331

Bibliometría: aplicación
matemática y estadística
a los libros (Alan
Pritchard, 1969)
Cienciometría: Aplicación de
métodos cuantitativos al
desarrollo científico. (V.V.
Nalimov y B. M.
Mulchenko, 1969)
Informetría: Aplicación de
métodos matemáticos y
estadísticos al objeto de
estudio de la ciencia de la
información para describir
fenómenos. (Otto Nacke,
1979).

INDICIOS DE CALIDAD – MEDIDAS DE
EVALUACIÓN DE LA INVESTIGACIÓN
PRODUCCIÓN CIENTIFICA EN REVISTAS DE
IMPACTO
POSICIÓN DE LA REVISTA EN LA CATEGORÍA
SEGÚN IMPACTO

o El “prestigio” de un investigador se mide por
sus publicaciones científicas.
o La publicación científica como principal
insumo en la evaluación.
o La cita es reflejo de la visibilidad y la
influencia científica.
Principios básicos

Cuantitativos
- Bibliometría
- Indicadores de I+D
Cualitativos
- Per Review
- Revistas
Mixtos
- Combinación de los anteriores
La evaluación de la
calidad

Niveles de agregación
o Macro
Países, regiones, instituciones….
o Meso
Universidades, departamentos, grupos de
investigación…
o Micro
Personas, grupos, secciones….

Tener en cuenta
o Hábitos de citación.
o Envejecimiento de las disciplinas
o Formas de comunicación de la ciencia
o Tipologías documentales.
o Indicadores basados en las citas
o Calidad de la investigación desde las citas.
o Ventanas de citación
o Formas de recuento

Hábitos de citación
Cada disciplina tiene sus propios hábitos de
citación y obsolescencia

HISTORIA
2011
2003
BIOLOGIA
CELULAR

Tipologías documentales
NOTAS

La publicación como medida
de calidad

Qué es una revista de
impacto?
Aquellas indexadas en ISI WoS y Scopus……que generan
visibilidad e impacto….
Y las que no están? ………….

Porqué publicar en revistas de
impacto?
o Mayor visibilidad (autores e instituciones)
o Atracción de recursos económicos (institucion)
o Avances en la carrera científica (autores)

Web of Science (WoS)
Servicio de Thomson (antiguamente ISI), contiene
aproximadamente 1,5 millón de registros y más de 23
millones de referencias citadas por año de más de 230
disciplinas de la ciencia, las ciencias sociales, las artes y las
humanidades. 11 mil revistas científicas.
Incluye información bibliográfica completa para todos los
archivos, incluyendo referencias citadas. Se actualiza
semanalmente y brinda acceso a las ediciones del Science
Citation Index, Social Science Citation Index y Arts &
Humanities Citation Index y el Journal Citation Report (JCR).

Scopus (Elsevier)
o Base de datos multidisciplinaria y de citas
de revistas científicas …..
o El número de revistas cubiertas por
SCOPUS es mayor que el de la WoS
o Al igual que ISI WoS tiene funcionalidades
de uso bibliométrico

Google Scholar
Proporcionado por Google permite realizar
búsquedas en publicaciones académicas:
revistas, tesis, libros, resúmenes e informes
técnicos de áreas de investigación
Acceso a Google Scholar Metrics para
evaluar revistas.

La Bibliometría se fundamenta en un
conjunto de “leyes empíricas”, las
cuales se han establecido gracias a
estudios cuantitativos en los que
interviene el recuento de nº de
artículos, nº de revistas, nº de autores,
etcétera.
Fundamentación

Algunas leyes
o Ley de Bradford o concentración-dispersión
de la literatura.
o Ley de Lotka o Ley de crecimiento
exponencial (distribución de autores).
o Ley de Price o crecimiento exponencial.
o Ley de obsolescencia (Índice de Price)

Ley de Bradford
o Origen marcado por su importancia
estratégica en el desarrollo de colecciones.
o En la actualidad posibilita conocer los
núcleos de especialización temática y de
productividad en las áreas del conocimiento,
es decir, cuáles son las revistas más
productivas por área.

o De esta verificación llega a la conclusión de que “en una
determinada materia las publicaciones periódicas pueden ser
clasificadas en tres grupos, de acuerdo con los criterios
siguientes:
Aquellas altamente productivas; las medianamente
productivas y las escasamente productivas.
Formulación teórica

...tres zonas con la misma cantidad
aproximada de artículos, pero diferente
cantidad de publicaciones: la zona
núcleo con pocas revistas y la zona III o
alejada del núcleo con muchas
revistas.....
Formulación teórica

Ejemplo

REVISTAS POR
ZONA
ARTICULOS POR
ZONA
Núcleo 3 101
Zona 2 7 130
Zona 3 30 84

Importancia
• Un núcleo reducido de revistas
concentra la mayor cantidad de
artículos sobre un tema.
• La concentración de la productividad es
sinónimo de especialización.
Ley 80/20

o Postulado de Lotka “…un menor número de autores
publica el mayor número de artículos siendo el
grupo más representativo y productivo en el área
del conocimiento estudiada.”
o Distribución inversa
Ley de Lotka

o La literatura científica pierde actualidad cada vez
más rápido, mientras que el número de
publicaciones (Ndoc) se multiplica por dos cada 10-
15 años, el número de citas (Ncit) que reciben tales
publicaciones se divide por dos cada diez años
aproximadamente.
o La vida media de la literatura de las diversas ramas
científicas es variable; por ejemplo en Física, es de
tres a cinco años, en Química, de siete a ocho, en
Matemáticas de diez años y en algunas ciencias
sociales más de diez años.
Ley de Price

o Relacionado con el consumo de
información.
o Porcentaje de referencias con una
antigüedad menor a 5 años (Price,
1965). Las revistas que publican
artículos referidos a campos muy
dinámicos suelen tener una vida
media baja y un índice de Price alto.
Índice de Price

Análisis bibliométrico de la literatura científica publicada en "Ciencia.
Revista hispano-americana de ciencias puras y aplicadas" (1940-1974)

Índice de Price para una
revista

o Representan una medición agregada y compleja
que permite describir o evaluar un fenómeno, su
naturaleza, estado y evolución.
o Miden las acciones relacionadas con la
generación, difusión, transmisión y aplicación de
conocimientos científicos y tecnológicos.
o Constituyen una de las herramientas más
utilizadas para la medición del producto de la
investigación científica.
Martínez E, Albornoz M. Indicadores de Ciencia y Tecnología: estado del arte y perspectivas. Caracas:
Nueva Sociedad-UNESCO. 1998.
Macías Chapula CA. Papel de la informetría y de la cienciometría y su perspectiva nacional e
internacional. Acimed. 2001;9
Indicadores

Importancia de indicadores
Se emplean como herramienta de apoyo a la
toma de decisiones en la gran cantidad de
escenarios de la política científica:
oRankings
oEvaluaciones institucionales
oAgencias nacionales de evaluación

Herramienta de diagnóstico
Dirección de la investigación:
- Discusión sobre las posibles estrategias de
publicación y dirección de la investigación
Complemento del Peer Review:
- Juicios de calidad sobre la investigación
Conocimiento de los sistemas de investigación:
- Conocer cuestiones críticas para el
direccionamiento de la investigación

Indicadores
o Los que miden la cantidad de las
publicaciones científicas
(indicadores de publicación)
o Los que miden la calidad y el
impacto desde las relaciones entre
las publicaciones científicas
(indicadores de citación)

PRODUCCION IMPACTO
COLABORACION ALTMETRICOS
Indicadores

Producción
oProducción absoluta (Ndoc total y por años)
oNo. de documentos citables (Totales y por años)
oTasa de variación interanual (TV)
oÍndice de actividad (IA)
oÍndice de esfuerzo temático (IET)
Indicadores

Limitaciones
Indicadores de producción
o Miran o evalúan solo la cantidad obviando la
calidad.
o Potencian el síndrome Publicar o Perecer (PoP) al
dividir investigaciones en varias publicaciones
o No siempre la productividad es sinónimo de
relevancia el progreso científico.

Citación
oNúmero de citas y citas por documento
o Citas en tipologías citables y niveles de
agregación
o Factor de impacto (impact factor)
o Factor de impacto normalizado (FIN)
o SJR (Scopus)
o Distribución de revistas por cuartiles (Q)
o Cantidad de publicaciones altamente citadas
(top)
o Indice h y sucesivos

Limitaciones
Indicadores de citación
o Los científicos y las revistas científicas (editores)
pueden hacer “ingeniería de impacto”.
o La cita no debe verse 100% como reflejo de la
calidad de la investigación pues viene unida a
diversos factores.

Colaboración científica
o Documentos en colaboración
o Indice de coautoría (autores por
documento)
o Colaboración nacional,
internacional…..
o Citas con colaboración
o % de documentos citados
o Liderazgo científico

Colaboración
- Número de documentos en colaboración, tasa de
colaboración (%)
-Tipología y patrones de colaboración
La colaboración con científicos muy productivos
y visibles aumenta la citación
Altmétricos
- Se obtienen de las redes sociales (especialmente
visualizaciones y descargas)
Indicadores (otros)

Tasas de colaboración (número y % de doc
en colaboración)
Índice de coautoría general (aut/art)
Índice de coautoría institucional (autores inst
/ total autores)
Número de Instituciones firmantes (absoluto)
Patrones de colaboración (interna, nacional,
internacionales) (absoluta y en%)
Indicadores de colaboración

Sin colaboración (WithoutC): Documentos con
afiliación única. Solo participa UNA institución.
Colaboración nacional: DOS instituciones
distintas de un mismo país.
Colaboración internacional: Documentos con
afiliaciones de más de un país. Si se analizan
documentos de COL y hay un autor de USA, ya
es internacional.
Tipos de colaboración

Causas aumento colaboración
La alta especialización de la ciencia actual - creación
de equipos de investigación cada más vez más
amplios.
Multidisciplinariedad de los programas de
investigación - provocan la necesidad de contar con
científicos de diferentes áreas.
El coste de determinados proyectos donde se hace
necesario compartir los recursos disponibles.
El desarrollo de internet que ha agilizado y facilitado
el intercambio fluido de ideas.
Los tiempos de dedicación a la investigación.

Limitaciones
Indicadores de colaboración
o Tendencias desmesuradas en las colaboración
o Se afirma que la colaboración genera citas, pero
depende no se la colaboración en cuanto a
números sino en cuanto a con quién se
colabora.

o Indicios de calidad
- La revista donde se publica (factor
de impacto, SJR, índice h..)
- Las citas que recibe un agregado
- Índice h del autor, h del grupo de
investigación…..

Se calcula dividiendo el número de citas recibidas en
el año actual sobre el total de artículos publicados en
los dos años anteriores.
Ejemplo:
FI = citas recibidas en el año actual por los artículos
publicados en los dos años precedentes vs cantidad
total de artículos publicados en los dos años
precedentes.
Factor de impacto ISI

Factor de impacto - Ejemplo
Citas recibidas en 2013 por los artículos publicados en 2011 y 2012
o Citas recibidas 2013 por los artículos publicados en 2011 = 85
o Citas recibidas 2013 por los artículos publicados en 2012 = 98
Total Citas = 183
Número de artículos publicados en 2011 y 2012
o Número de artículos publicados en 2011 = 178
o Número de artículos publicados en 2012 = 185
Total Artículos = 363
IMPACT FACTOR = Citas (183) / Artículos (363) = 0,50

Mide el prestigio científico de las
fuentes: Una publicación transmite su
propio “prestigio” a otra por el hecho
de citarla. Una cita de una revista con
un SJR relativamente alto tiene un
mayor valor que una cita de una con
un SJR más bajo. Se calcula con una
ventana de tiempo de 3 años.
Scimago Journal Rank (SJR)

SNIP (Impacto normalizado por publicación)
Número de citas del año actual a las publicaciones
de tres años atrás dividido por el total de
publicaciones de esos tres años anteriores.
La diferencia con IPP es que en el caso de citas son
normalizados para corregir diferencias de prácticas
de cita entre campos científicos.
http://www.journalindicators.com/

Listado de revistas ordenadas de mayor
a menor factor de impacto (o SJR) se
divide en cuatro partes iguales, cada
una de las partes sería un cuartil.
Las revistas con el IMPACTO más alto
están en el primer cuartil.
Distribución por cuartiles

Cuartiles
Revistas más citadas Q1
Q2
Q3
Revistas menos citadas Q4
+ Grado de
dificultad
- Grado de
dificultad

Mide el prestigio científico de fuentes de
investigación: valor de citas ponderadas por
documento. Una publicación transmite su
propio “prestigio” o estatus a otra por el
hecho de citarla. En la práctica, esto
significa que una cita de una fuente con un
SJR relativamente alto tiene un mayor valor
que una cita de una fuente con un SJR más
bajo. Se calcula con una ventana de tiempo
de 3 años.
Scimago Journal Rank

o Se toman cada uno de los trabajos de un autor en
un período de tiempo y se listan en forma
descendente en función del número de citas
recibidas.
o Se construyen dos (2) listas; una ascendente
(ranking) y una descendente (citas).
Mayor número de orden donde la cantidad de citas sea
mayor o igual (no menor) al número de orden, será
considerado el Índice Hirsch o Índice h de ese autor.
Índice h

RANGO CITAS
1 6
2 5
3 4
4 4
5 2
6 1
7 1
8 1
9 0
10 0

RANGO A1 A2
1 21 133
2 17 15
3 15 9
4 15 4
5 15 4
6 13 3
7 11 3
8 10 3
9 9 2
10 8 1
11 7 1
12 5 1
13 5 1
14 4 1
15 4 1
16 4 1
Autor 1 (A1)
o Índice h: 9
AUTOR CON 9
TRABAJOS CON AL
MENOS 9 CITAS
Autor 2 (A2)
o Índice h: 4

o Valora un esfuerzo científico prolongado a lo largo
de la vida académica e investigativa.
o El aumento del número de artículos publicados no
tiene efecto inmediato sobre el índice h.
o Un artículo muy citado no influye en el índice h.
o Los artículos pocos citados tampoco influyen en el
valor del índice.
Características

Índice h sucesivos
* Se calculan siguiendo la misma distribución o
aplicación metodológica que el índice h. (llamado acá
h1. Se pueden calcular para diferentes agregados.
1.Para un grupo de investigación
Se ordenan todos los miembros del grupo en orden decreciente
por su índice h individual (h1). Donde cruzan los umbrales se
obtiene el índice h del grupo de investigación (h2)
2. Para una institución
Se ordenan todos los grupos de investigación de la institución
en orden decreciente por su índice h (h2). Donde cruzan los
umbrales se obtiene el índice h de la institución (h3)

http://www.scimagoir.com/research.php

o Output: cantidad total de publicaciones de un agregado.
o Publicaciones en Q1 (cuartil 1): proporción de artículos que un
país o institución logra publicar en las revistas científicas más
prestigiosas del mundo en cada disciplina (25% superior). Este
es un indicador de calidad que permite predecir que el
impacto que alcanzarán los artículos publicados en esta
revistas estará por sobre la media del mundo.
o Excelencia: representa la proporción de artículos de un
agregado (país, área, categoría) incluido en el conjunto
formado por el 10% de los trabajos científicos más citados del
mismo agregado. (Q1)
o Liderazgo: Producción científica donde la institución evaluada
está en el “correspondence author”.
o Colaboración: cantidad de la producción científica de un
agregado que tiene colaboración (nacional, internacional)
Indicadores Scimago

Enfoques estratégicos para la
evaluación
o Selección de revistas para publicar.
o Análisis de tendencias ( artículos citados, revistas
más productivas, instituciones …..
o Cómo evaluar el output científico de la
institución o área, autores
o Cómo ascender en el cuartil.
o Cómo acceder a corriente principal.

Evaluación y selección de revistas: análisis
de tendencias

Resultados ordenados por citas

1
2
3
Resultados pertinentes (fuente y
relacionados)

Evaluación desde Journal
Citation Report (Incites)

Tener en cuenta Cuartil o
tendencia, seleccionar las
revistas, el año, y la métrica

Evaluación de áreas del
conocimiento

INDICADORES
BIBLIOMÉTRICOS Y
DE GESTIÓN

En conclusión para medir y evaluar
se necesita conocer…….
o Producción total de documentos (Ndoc) – (para diferentes
agregados) y tasa de variación (con respecto a etapas
anteriores)
o Citas recibidas (Ncit)
o Documentos por cuartiles (Q) (alta, mediana y escasa
visibilidad)
o Porcentaje de documentos citados (N doc cit)
o Indice h de los autores (h index)
o Producción con liderazgo.
o Documentos en colaboración (nacional e internacional)
o Citas con colaboración.
o Indice de co-autoría.
o Tasa de autoacitación.
….. y otros…..
Diseñar ficha de indicadores institucionales

Construcción de la identidad digital
de los investigadores
o Identidad personal: ORCID, ResearcherID.
o Repositorios, institucionales y temáticos.
o Motores de búsqueda académicos: Google
Scholar Citations.
o Redes sociales académicas: Academia.edu,
ResearchGate, Mendeley.
o Redes sociales profesionales: LinkedIn.
o Servicios contenedores: ImpactStory, Scholar
Mirrors.

Contribuciones
Interacciones
Reputación
COMPETIR
Visibilidad e impacto

Indicadores para todo el perfil
Indicadores históricos
Indicadores para un documento

De nada sirven todas
las herramientas sino
tienes algo que
decir……

Conocer el estado actual de la actividad científica
institucional posibilita el diseño acertado de
políticas científicas futuras, aumentar el output
científico, la visibilidad y el impacto …
Deben estar involucrados
los investigadores, los grupos de
investigación, editores…

Gracias !!!!!
orlando.chaviano@gmail.com

Bibliometría y evaluación de la ciencia

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a Bibliometría y evaluación de la ciencia

Similar a Bibliometría y evaluación de la ciencia (20)

Más de Orlando Gregorio-Chaviano

Más de Orlando Gregorio-Chaviano (16)

Último

Último (20)

Bibliometría y evaluación de la ciencia