Relevancia del factor de impacto y otras mediciones estandarizadas de revistas biomédicas en la investigación científica
1. Dr. Juan Carlos Munévar N. Od, MSc, D.E.A. Biólogo Oral
Especialista en Bioética, Postgrado en Docencia Universitaria
Profesor Asociado. Instituto Unidad de Investigación Básica Oral. U.I.B.O.
2. • Generalidades.
• Evaluación del Factor de Impacto.
•Como verificar la validez del factor de impacto.
• Uso y mal uso del factor de Impacto.
• Conclusiones.
3. EN CIENCIAS DE LA SALUD Y EN EL ÁREA BIOMÉDICA DEBEMOS ESTUDIAR,
ANALIZAR CRÍTICAMENTE NUESTROS RESULTADOS, REFLEXIONAR ANTE NUESTROS
FRACASOS Y GENERAR NUEVAS IDEAS. POR ESO DEBEMOS INVESTIGAR.
EL PRODUCTO FINAL DEL PROCESO CIENTIFICO ES NECESARIAMENTE LA
PUBLICACION EN UNA REVISTA BIOMEDICA.
¡El reconocimiento obtenido por los De otro modo, el proceso
quedaría inacabado!
esfuerzos en investigación es mínimo !
4. REFLEXIONES INICIALES
La humanidad a generado más información en los últimos 30 años que en los pasados 5000
Una edición normal de un día de semana del “The New York Times” contiene más
información que la que oyó en toda su vida una persona promedio de la Inglaterra del siglo
XVII
Se publican internacionalmente 1000 libros por día
El conocimiento impreso se duplica cada 8 años
El tiempo de duplicación en las publicaciones periódicas en medicina es de 19 años, el
conocimiento médico aumenta cuatro veces durante el ejercicio profesional de un médico*
*Wyatt, J, Use and sources of medical knowledge. Lancet, 1991. 338(8779): p. 1368-73.
Agosto 2011 Juan Carlos Munévar N
5. REFLEXIONES INICIALES
Se publican cerca de 2 millones de artículos biomédicos anualmente**
Habría que leer 6000 artículos biomédicos por día para mantenerse al tanto de los avances
de la medicina***
En la actualidad existen alrededor de 25.000 revistas médicas y se publican más
de 2.000.000 de artículos por año, unos 2000/día. Por lo que se calcula que un
médico para poder leer todo lo que se publica en un año sobre su especialidad
necesitaría 19 horas diarias durante los 365 días del año.
**Arndt, KA, Information excess in medicine. Overview, relevance to dermatology, and strategies for coping. Arch Dermatol, 1992. 128(9): p. 1249-56
***Lundberg, GD, 2nd, Perspective from the editor of JAMA, The Journal of the American Medical Association. Bull Med Libr Assoc, 1992. 80(2): p. 110-4
Agosto 2011 Juan Carlos Munévar N
6. Las leyes de Murphy
La información que uno tiene no es la que uno quiere
La información que uno quiere no es la que uno necesita
La información que uno necesita no es la que puede obtener
La información que puede obtener es más cara de lo que uno quiere
pagar
“La frustración aparece cuando existe una gran cantidad de información, pero no nos
brinda lo que necesitamos o queremos conocer”
Wurman, R., Facts. statistics and the anxiety syndrome. Lancet, 1991. 337: p. 37-38
Agosto 2011 Juan Carlos Munévar N
8. ¿Por qué buscar en PUBMED?
Contiene más de 12 millones de referencias a artículos de publicaciones periódicas de todo
el mundo en el ámbito de la biomedicina.
Indiza citas desde 1966 a la fecha.
Citas de más de 4600 publicaciones periódicas en 30 idiomas
Cerca del 52% de las mismas fueron originalmente publicadas en EE.UU.
El 86% tiene como idioma de origen el inglés
El 76% de las citas posee resúmenes escritos por los autores.
Aproximadamente 8,000 referencias son ingresadas semanalmente a la base.
Agosto 2011 Juan Carlos Munévar N
9. Antes de usar PubMed tenga en cuenta:
Estrategia de búsqueda
¿Entiendo realmente lo que estoy buscando?
Me aclaro el tema con un especialista en el área
No subestimar las guías, diccionarios y libros de
referencia
Aclaración del tema
¿Conozco el significado exacto del tema?
Busca los términos más adecuado y autorizados
Hacer uso de tesauros y diccionarios tematicos
Agosto 2011 Juan Carlos Munévar N
10. Antes de usar PubMed tenga en cuenta:
Estrategia de búsqueda
Informes de Casos
Articulo de revisión
Artículo Histórico
¿Que tipo de información Revisión Multicasual
necesito ?
Revisión de Casos Relatados
Artículo Clásico
Ensayo Clínico
Metaanálisis
Agosto 2011 Juan Carlos Munévar N
11. Antes de usar PubMed tenga en cuenta:
Estrategia de búsqueda
Ingles
Alemán
¿En que idioma Francés
deseo la información?
Español
Ruso
Agosto 2011 Juan Carlos Munévar N
12. Antes de usar PubMed tenga en cuenta:
Estrategia de búsqueda
Infantes: Nacimiento – 23 meses
Todos los niños: 0-18 años
Recién nacidos: nacimiento – 1 mes
Niños: 6 – 12 años
Si aplicará,
¿Cuál es la edad del paciente? Niños preescolares: 2 – 5 años
Adolescentes: 13 – 18 años
Adultos: 19 – 44 años
Adulto medio: 45 – 64 años
Mayores: 65 -
Agosto 2011 Juan Carlos Munévar N
13. Antes de usar PubMed tenga en cuenta:
Estrategia de búsqueda
Solo abstracts
Solo textos completos
¿Cómo quiero la información?
Disponibles en la Biblioteca
¿Estoy dispuesto a pagar?
Agosto 2011 Juan Carlos Munévar N
14. ¿QUE ES PUBMED?
PubMed es una base de datos desarrollada por la National Center for Biotechnology
Information (NCBI) en la National Library of Medicine (NLM).
Permite el acceso a bases de datos bibliográficas compiladas por la NLM: MEDLINE,
PreMEDLINE (citas enviadas por los editores), Genbak y Complete Genoma.
Medline contiene subbases de datos como: AIDS, Bioethics, Cancer, Complementary Medicine,
Core Clinical Journals, Dental Journals, Nursing Journals, PubMed Central.
Agosto 2011 Juan Carlos Munévar N
15.
16.
17.
18.
19.
20. Con frecuencia los investigadores clínicos son
cuestionados y menospreciados
En Colombia, se subvalora el mérito
científico de publicar en revistas
nacionales de prestigio.
Estimular con medidas efectivas y palpables la investigación y la
publicación entre los odontólogos que aspiren a una carrera académica
Por que no analizar los aportes originales de los artículos nacionales / regionales
o comprobar el impacto que alcanzan en la comunidad científica?
21. El factor de impacto se creo en la investigación
biomédica para medir el valor de una revista
Calculando el promedio de referencias por articulo en un periodo de tiempo.
Se desarrollo inicialmente para ayudar a los
bibliotecólogos a decidir a cuales revistas de
alta referenciación suscribirse
Pero es mal utilizada para juzgar la calidad de
un investigador así como la calidad de su
trabajo.
Se generan fuentes de error y defectos, lo que
resulta en fuertes sesgos contra la cultura y
el lenguaje medico y científico.
Journal Citation Reports (JCR)
Science Citation Index (SCI)
22. Citas que provienen de artículos cuyos autores son
miembros de los propios comités editoriales
• En 9 de las revistas (35%), al
menos el 25% de citas que
componen el factor de impacto
provienen de artículos con algún
autor miembro del comité
editorial.
• En 13 revistas el porcentaje es
del 20% o más.
• En 10 de las 13 revistas
• Citas a artículos cuyos autores son anteriores, el 40% o más de las
miembros de los comités editoriales citas de editores proceden de
(citados) artículos publicados en la propia
• Espacio en una revista ocupado por revista (autocitas de revista).
artículos cuyos autores son miembros de
los comités editoriales
23. Institute for Scientific Information (ISI)
El Instituto para la Informacion Cientifica (ISI) fue fundado por Eugene Garfield en 1960. Fue
adquirido por Thomson Scientific & Healthcare en 1992, convirtiendose en Thomson ISI y ahora es
parte del negocio de Thomson Reuters Corporation.
http://science.thomsonreuters.com/
ISI Web of Knowledgesm es la plataforma integrada
basada en la Web que ofrece a todos los profesionales
de la investigación científica y académica la forma más
sencilla de adquirir y administrar información sobre
investigaciones en un único y práctico punto de acceso.
Herramientas y tecnologías sofisticadas que
permiten a los usuarios obtener, analizar, y
administrar con eficacia la información de
investigaciones
24. ISI Web of Knowledge
El contenido multidisciplinario proviene de publicaciones, actas de conferencias,
patentes, reacciones y compuestos químicos y sitios Web internacionales, incluidos
documentos individuales de esos sitios Web. (Web of Science, Current Contents Connect,
ISI Proceedings, Derwent Innovations Indexsm)
Contenido analítico: Los datos basados
en las citas ayudan a los usuarios a • Journal Citation Reports® on the Web
analizar y evaluar la influencia científica • Essential Science Indicators®
y académica.
Contenido complementario: Recursos especializados de prestigio obtenidos
de sociedades con otros proveedores de información complementan el • Biological Abstracts®
contenido principal de Thomson Scientific y garantizan una cobertura • Zoological Record®
completa, facilidad de uso y diversidad de fuentes en cada disciplina.
Contenido externo: Consulta en recursos electrónicos de alta calidad
disponibles de forma gratuita no incluidos en ISI Web of Knowledge pero
importantes para los investigadores.
Contenido Web —Los documentos de la Web provienen de sitios Web evaluados de manera crítica y
divididos en tres categorías: prepublicaciones, información de financiamiento y actividades de investigación
http://science.thomsonreuters.com/es/productos/wok/
25. Personalización: Los usuarios crean perfiles y contraseñas:
• Acceder a una lista de todas las búsquedas y alertas guardadas en
todos los recursos de ISI Web of Knowledge.
• Crear una lista personal de publicaciones (Personal Journal List)
que se exhibe en la página principal, junto a vínculos directos de la
tabla de contenido de las publicaciones preferidas.
Alertas Opcionales: Los correos electrónicos de alerta
mantienen a los investigadores al tanto con los últimos
resultados de investigaciones.
Administración bibliográfica personal
Los usuarios pueden exportar registros para crear un archivo personal de
información. Este archivo es útil durante el proceso de escritura de
artículos a través de la inclusión de bibliografías exactas y de formato
perfecto en cientos de estilos.
Entre las herramientas se incluyen EndNote®, ProCite®, Reference Manager®, y WriteNote®
ISI Web of Knowledge
26.
27. La versión Web de las mejores bases de datos de citas del mundo;
la cobertura de prestigiosas publicaciones la realizan Science Citation Index Expandedtm,
Social Science Citation Index®, Arts & Humanities Citation Index®, y dos bases de datos
adicionales que permiten a los usuarios combinar búsquedas de química con búsquedas
generales: Current Chemical Reactions®e Index Chemicus®.
Búsqueda por referencias citadas:
Para asegurar una búsqueda verdaderamente comprensiva.
Herramienta de análisis (analyze tool):
Permite a los usuarios acotar las búsquedas al extraer datos
de los resultados.
Un siglo completo de cobertura:
Las investigaciones científicas del siglo XX de mayor
influencia a nivel mundial ya están disponibles en la edición
de Science Citation Index Expanded de Web of Science.
Munévar J. Instituto Unidad de Investigación Básica Oral. U.I.B.O. Universidad El Bosque. 2011
28. Science Citation Index (SCI)
“Science Citation Index” (SCI) es una base de datos documental
donde se recogen todas las contribuciones (artículos, editoriales,
cartas, revisiones, discusiones, etc.) que se puedan publicar a las
revistas de ciencia y tecnología indizadas por Thomson Reuters.
A este índice de citación también se le conoce como ISI ya que en un
principio la institución que producía en índice era el Instituto para la
Información Científica, Institute for Scientific Information (ISI)
Publicar en una revista indexada por el ISI es valorado de manera muy positiva en las
políticas de evaluación científica.
29.
30.
31.
32.
33.
34.
35. ¿Qué es Journal Citation Reports?
Journal Citation Reports (JCR) es una base de datos que ofrece una manera
objetiva y sistemática para evaluar críticamente las revistas más
importantes del mundo, con información cuantificable y estadísticas
basadas en datos de citas.
Al recopilar las referencias citadas de
los artículos, JCR web ayuda a medir
la influencia y el impacto de la
investigación en la revista y en su Disponibles las
categoría y muestra la relación entre ediciones de Ciencias y
las citas y las revistas citadas. Ciencias Sociales.
36. ¿Qué contiene JCR?
JCR Science Edition contiene datos de unas 5.900
revistas de ciencia y tecnología
JCR Social Sciences Edition contiene datos de unas
1.700 revistas de ciencias sociales.
Los bibliotecarios pueden evaluar y documentar el valor de las inversiones en
investigación de la biblioteca.
Los editores pueden determinar la influencia de las revistas en el mercado, para
revisar las políticas editoriales y la dirección estratégica, supervisar a la
competencia e identificar nuevas oportunidades.
Los autores y editores pueden identificar las revistas más apropiadas e
influyentes en las que publicar
Los investigadores pueden descubrir dónde encontrar las novedades en sus
respectivos campos.
Los analistas de la información pueden seguir tendencias y patrones de citas.
37. ¿Por qué Journal Citation Reports?
Ordena los datos de la revista por campos claramente
definidos: factor de impacto, índice de inmediatez, citas
totales, artículos totales, vida media de las citas o título de
la revista.
Ordena los datos de materia por campos claramente
definidos: citas totales, factor de impacto medio, factor de
impacto agregado, índice de inmediatez agregado, vida
media de las citas agregadas, número de revistas por
categoría, número de artículos por categoría
Muestra el factor de impacto de la revista con el gráfico de
la tendencia de los últimos 5 años y por categorías.
Muestra como inciden las auto-citas de una revista en su
factor de impacto.
38. Uso de Journal Citation Reports
Los datos de citaciones no deberían ser el único factor a tener en cuenta en las
evaluaciones de revistas.
Hay que prestar atención a numerosos factores que pueden influir en el número de citas: idioma,
historia y formato de la revista, calendario de publicación y especialidad.
El número de artículos listado en JCR incluye principalmente artículos de investigación
y revisiones de artículos.
Editoriales, cartas, resúmenes de congresos, etc. no se incluyen en los contadores de artículos ya que
generalmente no se citan. Las revistas publicadas en otro idioma diferente del inglés o en alfabeto no
romano pueden ser menos accesibles a los investigadores de otros países, lo que puede influir en los
patrones de citas.
Este factor debe tenerse en cuenta a la hora de hacer análisis comparativos de citas de revistas.
39. Búsquedas en JCR
Para realizar una búsqueda en JCR debo seleccionar, en
primer lugar, la edición y el año que quiero consultar.
A continuación, una serie de opciones me permitirán
adaptar la búsqueda y la visualización de resultados a
mis necesidades específicas:
39
45. Visualización de resultados (2)
El listado de revistas aparece en este caso ordenado por títulos, vemos también
información de ISSN y a continuación los datos analíticos:
• Total de citas: se refiere al número total de veces que cada revista ha sido citada por el resto de revistas
incluidas en la base de datos y dentro del año actual.
• Factor de impacto: identifica la frecuencia con la que un artículo de una revista es citado en un año.
• Factor de impacto de los últimos 5 años: es el número medio de veces que los artículos de la revista
publicados en los últimos 5 años han sido citados, en el año JCR. Este indicador se puede utilizar para
calibrar mejor el impacto de las revistas en los campos donde la influencias de las investigaciones
publicadas se desarrolla durante un largo período de tiempo.
• Índice de inmediatez: mide la frecuencia media con la que es citado un artículo de la revista el mismo año
de su publicación. Útil para la evaluación de revistas que publican investigación de vanguardia.
• Artículos: número de artículos publicados en el año
• Vida media de las citas: da información de la edad de los artículos citados al mostrar el número de años a
partir del año en curso que representan el 50% del total de citas a una revista en el año en curso. Este dato
es útil en la gestión de la colección y en la toma de decisiones de archivo.
45
46. Visualización de resultados (3)
• Eigenfactor™ Metrics: basado en JCR considera no sólo el número de citas
que recibe una revista sino también la estructura de la red de citas como una
manera de medir la influencia de las citas en la literatura de investigación.
Están disponibles para el año 2007 y posteriores.
• Eigenfactor™ Score: la puntuación Eigenfactor se mide con las citas del año
JCR actual a los artículos citables de los 5 años anteriores. Si bien el factor de
impacto considera cada cita a una revista de la misma forma, la puntuación
eigenfactor asigna un mayor peso a las citas procedentes de revistas
influyentes. El nivel eigenfactor no tiene en cuenta las autocitas. La suma de
las puntuaciones eigenfactor es 100, cada puntuación eigenfactor es un
porcentaje de este total.
• Article Influence™ Score: la puntuación Article Influence mide la importancia
relativa de la revista en función de cada artículo. Se calcula dividiendo la
puntuación Eigenfactor entre el número de artículos publicados por la
revista. Esta fracción se normaliza de modo que la suma total de los artículos
de todas las revistas sea 1.
46
47. Información de la revista (1)
Presionando sobre el hipervínculo del título, el sistema
me lleva a la pantalla de información de la revista:
47
48. Información de la revista (2)
• Información de la revista:
– Título completo
– Título abreviado ISO
– Título abreviado JCR
– ISSN Posición de la revista
– Números por año en la categoría
– Idioma
– País (Journal country or territory)
– Editor
– Dirección del editor
– Materias.
48
49. Información de la revista (3)
Valor máximo,
no atípico
Percentil 75
Valor medio
Mediana del
Factor de
impacto
Percentil 25
Valor
mínimo, no
atípico 49
50. Información de la revista (4)
• Scope note: nos lleva a la descripción de la categoría asignada y su contenido.
• View Journal Summary list: nos lleva al listado de revistas
• View category data: datos de la categoría como:
– Factor de impacto, índice de inmediatez, vida media de las citas, revistas, artículos
– Gráfico de citas de la categoría
– Frecuencia de publicación, etc…
50
57. Revistas seleccionadas
La posibilidad de marcar las revistas seleccionadas
es útil si desea guardar los datos de la revista en
un fichero o si desea imprimirlos.
1)Marque la casilla de la revista que desea
seleccionar
2)Clique actualizar lista de revistas seleccionadas
para enviar la selección a la página “Lista de
revistas seleccionadas”.
Puede seleccionar hasta 500 revistas.
57
59. El Indice h
El índice h es un sistema propuesto por Jorge Hirsch, PhD, de la Universidad de
California, para la medición de la calidad profesional de físicos y de otros científicos,
en función de la cantidad de citas que han recibido sus artículos científicos.
Comparar el índice h de científicos que hayan vivido en
épocas diferentes no tiene ningún sentido.
Hirsch nos informa en Physics Today (Marzo 2011) que
según el Institute for Scientific Information (ISI) el índice
h de Albert Einstein es 50. Mucho más bajo que el 125 de
Edward Witten, pero hay que recordar que
Einstein publicó entre 1901 y 1955, y Witten publica
desde 1976. Eran otros tiempos y se publicaba mucho
menos que ahora.
Por ejemplo, en los seis primeros meses de
Physical Review en 1948 se publicaron 1.476 páginas,
mientras que en los primeros 6 meses de 1998,
Physical Review A-E tienen 39.141 páginas (muchos más
artículos implica muchas más referencias).
Sistema de la medición de la Un científico tiene índice h si ha publicado h
productividad de un científico. trabajos con al menos h citas cada uno.
60.
61. El Índice ScientiCol mide el grado de desarrollo alcanzado por un
grupo de investigadores, en términos de los resultados alcanzados
en el periodo de tiempo especificado para la medición.
El Índice ScientiCol se mide de la siguiente forma:
Producción de Nuevo Conocimiento: corresponde a las actividades de investigación de los
grupos, las cuales presentan resultados novedosos en Ciencia y Tecnología.
Producción de Alto Nivel: es el índice correspondiente a la producción de mayor relevancia
en los campos científico o tecnológico.
Formación de Nuevos Investigadores: es el índice que captura la actividad de formación de
Recursos Humanos para la investigación, mediante tesis de maestría o doctorado y la
participación del grupo en programas de maestría o doctorado.
Divulgación de Resultados: es el índice de divulgación y socialización de resultados, a través
de diversos medios tales como: eventos académicos, medios de comunicación; entre otros.
62. CATEGORIAS DEL ESCALAFON SCIENTICOL
El escalafón de grupos colombianos de investigación en ciencia, tecnología e innovación
consta de cinco categorías: A1, A, B, C y D . Se accede a cada categoría cumpliendo con
los siguientes requisitos:
• Categoría A1: Tener un índice ScientiCol mayor
o igual a 9.0 y al menos 5 años de existencia.
• Categoría A: Tener un índice ScientiCol mayor
o igual a 7.0 y al menos 5 años de existencia.
• Categoría B: Tener un índice ScientiCol mayor
o igual a 4.0 y al menos 3 años de existencia.
• Categoría C: Tener un índice ScientiCol mayor
o igual a 2.0 y al menos 2 años de existencia.
• Categoría D: Tener un índice ScientiCol mayor
a 0.0 y al menos 1 año de existencia.
Ventana de Observación: Se define como el intervalo de tiempo en que se contara la producción del grupo; la
observación estará limitada a las actividades actuales o recientes del grupo, entendiéndose por reciente el
período de los últimos 5 años, contados hacia atrás, a partir de 31 de diciembre del año anterior con respecto al
año en que se realiza la convocatoria de medición de grupos.
63. El factor de impacto de las revistas científicas es uno de los indicadores
bibliométricos más utilizados.
Los factores de impacto de las
revistas determinan, directa o
indirectamente:
La asignación de millones de
dólares en proyectos de
investigación,
Promociones académicas,
Complementos salariales, etc.
Este indicador es una de las variables que más influye en la generación de
nuevo conocimiento y en el desarrollo de la investigación científica.
64. Factor de Impacto
Evaluación de la producción científica, revistas, áreas
e instituciones
Importancia para la promoción académica y
asignación de fondos
El factor de impacto de una revista determinada se calcula
cada año (por ejemplo, 2011) mediante un cociente:
Citas en 2011 a documentos publicados en dicha revista en 2009 y 2010
FI (2011) =
Nº total de artículos publicados en esa misma revista en 2009 y 2010
http://www2.uah.es/jmc/
67. Uso y mal uso del Factor de Impacto
Actualmente el IF es el principal indicador dentro de la comunidad científica
para evaluar las revistas científicas así como a los científicos
De acuerdo a la producción
de publicaciones.
Para evaluar su compromiso
en la investigación
En instituciones del mundo el FI acumulado
de un profesor es el criterio mas importante
para su promoción.
Los ministerios de Ciencia en Corea del Sur, China y Pakistán remuneran
económicamente sus científicos si son capaces de publicar en revistas con alto factor de
impacto como: Nature, Science, Cell.
68. Como la idea original sobre el análisis de referencias se desarrollo
para proteger contra la referenciación no crítica de información
fraudulenta y/o controvertida
¡Representa
La utilidad del FI
es cuestionada
popularidad en vez de
prestigio!
Munévar J. Instituto Unidad de Investigación Básica Oral. U.I.B.O. Universidad El Bosque. 2011
69. Rey Rocha y col, Nature. 1999, demostraron discrepancias en el IF
entre científicos o grupos de investigación de países que hablan y
no hablan inglés.
En la mayoría de países que no
hablan inglés , la investigación no se
publica en revistas de alto IF
A veces es motivo de vergüenza para
los científicos de esos países, pues sus
revistas no aparecen indizados por el
Science Citation Index (SCI)
Las publicaciones científicas en revistas en
español no están incluidas en SCI.
70. El factor de impacto no
refleja la importancia de
un artículo individual y
además podría no
definir y analizar la
calidad de la
contribución de un autor La comunidad científica
individual en dicho persiste en emplear el IF
para juzgar la calidad de
artículo un investigador.
El creador del IF, Eugene Garfield nunca predijo que este sería utilizado en la comunidad
científica como un criterio para juzgar la calidad de un científico y determinar la
adjudicación de recursos financieros a la investigación
Su valor inicial fue para la administración de las colecciones de revistas en bibliotecas
71. Su valor inicial fue para la administración de las colecciones de
revistas en bibliotecas.
• No existen parámetros específicamente
diseñados para interpretar el IF
El IF es a menudo usado equívocamente.
El factor de impacto es empleado para hacer
comparaciones defectuosas entre las
revistas académicas y científicas.
Eugene Garfield. PhD.
http://www.garfield.library.upenn.edu/
El mal uso de IF es un problema común en el área de la investigación, y los académicos
se han quejado de esto desde hace tiempo.