Tipos de indicadores en documentación científica: publicaciones y patentes Las funciones de los indicadores de producción Indicadores bibliométricos según Jaso Algunos conceptos básicos y avanzados para entender la forma de medición Algunas controversias sobre el Factor de Impacto (FI) Métricas alternativas según Borrego Altmetrics.com Twitter y la publicación científica y de divulgación / ¿Cómo medimos el impacto? ¡Problemáticas desde la producción! = Definición del perfil científico Lo que hay que considerar al momento de evaluar y medir impacto

1. Consideraciones sobre métricas
alternativas en documentación
científica
Flor Trillo
XVI FENIE Coloquio de Revistas Académicas, UAEM
Feria Internacional del Libro “Leer para transformar”
29 de agosto de 2014

2. Contenido
• Tipos de indicadores en documentación científica:
publicaciones y patentes
• Las funciones de los indicadores de producción
• Indicadores bibliométricos según Jaso
• Algunos conceptos básicos y avanzados para entender la
forma de medición
• Algunas controversias sobre el Factor de Impacto (FI)
• Métricas alternativas según Borrego
• Altmetrics.com
• Twitter y la publicación científica y de divulgación / ¿Cómo
medimos el impacto?
• ¡Problemáticas desde la producción! = Definición del perfil
científico
• Lo que hay que considerar al momento de evaluar y medir
impacto

3. Tipos de indicadores métricos en
documentación científica: publicaciones y
patentes
• Bibliometría = Producción que permite conocer:
preferencias de temas, fuentes/revistas,
instituciones de los investigadores, países con los
que se relaciona… etc!
• Usabilidad = Manejo, traslado, origen de la
consulta, etc.!
• Comunicación científica = Digestión, validación,
asimilación y evolución del conocimiento.

4. Las funciones de los indicadores de
producción, según Barre:
• Análisis de las necesidades de los usuarios y la
concepción de los indicadores.
• Desarrollo de metodología y las técnicas.
• Colección de los datos y producción de los
indicadores.
• Almacenamiento y mantenimiento de los
indicadores.
• Interpretación y uso
.
Fuente: Milanés-Guisado Y; Pérez-Rodríguez Y; Peralta-González MJ; Ruíz-Ramos ME. Los estudios de evaluación de
la ciencia: aproximación teórico-métrica. Disponible en:
http://www.bvs.sld.cu/revistas/aci/vol18_6_08/aci041208.htm

5. Indicadores bibliométricos según Jaso:
+ PROS
✓ Identifica limitaciones
✓ Funciona para campos de
conocimiento identificados
y desarrollados
✓ Permite comparar entre
grandes comunidades
✓ Coinciden con otros
análisis como la evaluación
por pares y estudios de
caso cuando los niveles son
amplios.
- CONTRAS
x No contempla los análisis
de tipo cualitativo.
x No involucra a toda la
gama de productos,
canales de difusión y
hábitos de publicación de
las distintas disciplinas
x El análisis de citas debe ser
afinado porque no hay
correspondencias exactas
entre citas y calidad de la
investigación
Fuente: Los instrumentos del evaluador de política científica y tecnológica: hacia la construcción de metodologías adecuadas a la realidad
Latinoamericana. En: Ide@s CONCYTEG. 2; 28; 16 de noviembre de 2007. Disponible en:
https://www.academia.edu/1244338/Los_instrumentos_del_evaluador_de_politica_cientifica_y_tecnologica_hacia_la_construccion_de_metodolo
gias_adecuadas_a_la_realidad_Latinoamericana

6. Bibliometría: parte de la bibliotecología que aplica métodos matemáticos y
estadísticos a toda la literatura de carácter científico y a los autores que la
producen, con el objeto de estudiar y analizar la actividad científica.
Factor de Impacto: medida que define la importancia de una publicación
científica. Generalmente se calcula con base en un periodo de 2 años,
generados por ISI a través del Journal Citation Report. Se calcula a través
de la suma de las citas de los dos años de la revista, dividido entre la suma
de los artículos publicados de la revista por dos años. A = B/C
Índice de Inmediatez: es la medida de la rapidez media con que los
artículos publicados en una revista son citados. Considera citas hechas
durante el mismo año en que el artículo citado es publicado. Se calcula
dividiendo el número de citas a artículos publicados en un año concreto,
por el número de artículos publicados en ese mismo año. A = B/C
Índice H (Jorge Hirsch-Universidad de California) sistema de medida que
permite destacar a los investigadores más destacados dentro de un área
de conocimiento. Se calcula a través del número de documentos de un
autor en orden descendente de número de citas recibidas y al enumerarlos
el número que coincide es el Índice H = 7 (7 publicaciones con al menos 7
citas cada una)
Algunos conceptos básicos para entender
la forma de medición en materia
bibliométrica
Medir un todo
Medir una
revista
Medir la
actualidad y
pertinencia
Medir la
productividad de
un autor (Web of
Science/Scopus
Medir la
productividad de
una revista o país
(SCImago Journal
& Country Rank)

7. Índice G: cuantifica la productividad bibliométrica basada en el historial de
publicaciones de los autores (Leo Egghe, 2006), se calcula ordenando en
forma descendente el número de publicaciones de un investigador de
acuerdo con el número de citas recibidas. Índice G = 15 (la cantidad de
citas acumuladas por estos 15 artículos más citados es superior al 15 al
cuadrado)
Cuartil: es un indicador o medida de posición de una revista en relación
con todas las de su área. Se acomodan 100 revistas de mayor a menor
factor de impacto y cada 25 representarán el Q1 si se encuentra entre el
lugar 1-25, Q2: 26-50 FI, Q3: 51-75, Q4: 76-100.
Source Normalized Impact per Paper (SNIP): diseñado por la
Universidad de Leiden (Países Bajos), donde se mide el impacto de una
cita según las características de la materia sobre la que se investiga. Un
campo de investigación científica donde hay menos frecuencia de citas,
cada cita individual tiene un valor más alto que las citas en otras áreas
donde se publica con mayor frecuencia. Este se calcula entre Impacto en
bruto por artículo publicado en una revista (RIP) entre Relativo potencial
de cita que tiene el subcampo de la revista (RDCP)
Algunos conceptos avanzados para
entender la forma de medición…
Mide la
productividad e
un autor
basándose en su
historial
Medir el
posicionamiento
de una revista
frente a las de su
especialidad
Medir/Comparar
revistas de
diferentes
campos
temáticos

8. • Es un portal que incluye revistas
científicas e indicadores científicos
por países, desarrollado para
contener información de Scopus®
base de datos de Elsevier B.V.
• Estos indicadores pueden ser
usados para analizar y valorar
dominios científicos.
• De acuerdo con SCImago, México
ocupa el lugar 28 a nivel mundial en
cuanto a cantidad de producción
científica, en cuanto a citación
ocupa el lugar 31 y el lugar 2 para la
Región de las Américas en ambas
cateogorías.
SCImago Journal & Country Rank
Fuente [Consultada en marzo de 2014]: http://www.scimagojr.com/

9. Algunas controversias sobre el Factor de
Impacto (FI)
“La relación entre la tasa de citación
y el FI se ha reducido en los últimos
40 años” George Lozano
“El FI se declara no apto para el
servicio” Stephen Curry
“WoS y JIF son inadecuados para el
entendimiento del trabajo e impacto
académico en regiones en
desarrollo” Juan Pablo Alperín
Fuente: The Impact Factor and Its Discontents: Reading list on controversies and shortcomings of the Journal Impact Factor. The
London School of Economics and Political Sciencie. Disponible en: http://blogs.lse.ac.uk/impactofsocialsciences/2014/07/30/reading-
list-on-the-journal-impact-factor/

10. Métricas alternativas según Borrego
• Faculty of 1000 selecciona artículos de calidad de
medicina y biología
• Google Scholar que genera ranking de revistas y
generación de citas sin conocer el universo analizado.
• COUNTER (Counting Online Usage of NeTworked
Electronic Resources) que mide la usabilidad
• Almetric.com que analiza el impacto de las
publicaciones en redes sociales
Fuente: Borrego A (2013). Altmetrics: altres mètriques per mesurar l’impacte de la informació científica. Mesa Redonda
“Métricas para la evaluación de revistas”. Disponible en:
http://bd.ub.edu/grups/ccd/sites/bd.ub.edu.grups.ccd/files/Jornada%20Revistes%202013/Borrego.pdf

11. Altmetric.com (UK)
Su misión es la de dar seguimiento y análisis a la actividad en
línea de la producción científica académica.
Fuentes:
• Thelwall M; Haustein S; Larivière V; Sugimoto CR. Do Altmetrics Work? Twitter and The Other Social Web Services. Disponible en:
http://www.plosone.org/article/fetchObject.action?uri=info%3Adoi%2F10.1371%2Fjournal.pone.0064841&representation=PDF
• Liu J; Adie E. New perspetive on article-level metrics: developing ways to assess research uptake and impact online. Disponible en:
http://uksg.metapress.com/content/x65747080803n616/fulltext.pdf
Sus fuentes métricas son:
1. Twitter
2. Facebook
3. Research Highlights (NPG)
4. Blogs
5. Google +
6. Mainstream media citation
7. Reddits
8. Forums
9. Q&A
10. Pinterest (pinners)
11. LinkedIn

12. Twitter y la publicación científica y de
divulgación
El ciclo de vida de una
publicación es:
✓Plantear la idea
✓Discutirla
✓Colaborar
✓Experimentar
✓Publicar
✓Diseminar
✓Divulgar

13. ¿Cómo medimos el
impacto?
• Tasa de interacción: etiquetados y menciones
• Tiempo de permanencia: viralización
• Instalación de vídeos y fotografías
• Número de seguidores, fans, reproducciones,
likes o retweets
• Mensajes enviados y recibidos
• Densidad en las conversaciones
Vela D. Qué es un editor de contenido o content manager métricas del social media: SEO, SMO. Disponible en:
http://www.slideshare.net/doloresvelagarcia/semianriojuevesqueycomo?qid=719736c6-de22-4863-8f47-
26ab8dbf2dd2&v=default&b=&from_search=1

14. REDALYC: ¿Cómo es la producción científica
institucional?

15. REDALYC: ¿Cómo es la colaboración
institucional?

16. REDALYC: ¿Quién consulta el contenido institucional?
Descargas de la producción 2005-2011

17. ¡Problemáticas desde la producción! =
Definición del perfil científico
Si los autores/investigadores no tienen un perfil entonces:
▪ Habrá poca visibilidad de análisis
▪ Presencia nula en indicadores bibliométricos
▪ Falta de impacto de nuestras contribuciones en la comunidad científica
en donde nos vinculemos.
Las opciones para crearlos son:
▪ Google Académico
▪ Microsoft Academic Search
▪ ResearchGate
▪ Researcher ID (Web of Science)
▪ ORCID (Scopus)
En un estudio realizado en Scopus (2000-2012) a los
investigadores del SNI-III en 2012, se excluyeron 504
de ellos (31,87%) por las siguientes causas:
• 342 de ellos (21,63%) no aparecen en el sistema.
• 162 de ellos (10,18%) presentan inconsistencias
de nombre/apellido y su afiliación no
corresponde con la reporta el CONACYT,
representando un 4,4% (6,725 publicaciones) de
la producción total de este grupo de
investigadores
El resultado de esta investigación será presentado
en COLLNET 2014, Alemania.

18. Lo que hay que considerar al momento de
evaluar y medir impacto científico según Jaso:
• Conectividad = insuficiencia de desarrollo en actores clave;
desarticulación de las IES con los CPI, desarrollo tecnológico; vinculación
con actores sociales y organizaciones en el exterior.
• Vinculaciones informales = evaluaciones en las redes de contratos,
convenios, coautorías y citas.
• Producción diferenciada = evaluación debe ser representativa de las
diversas comunidades como desarrollos aplicados a transferencia de
tecnología con empresas y comunidades rurales por ejemplo.
• Integración de recursos locales y actores sociales = contribuciones como
eslabones que articulan y fortalecen la innovación.
• Incorporación de nuevos actores en el diseño de las evaluaciones =
actores sociales como investigadores, funcionarios, empresarios y
comunidades rurales.
Fuente: Los instrumentos del evaluador de política científica y tecnológica: hacia la construcción de metodologías adecuadas a la realidad Latinoamericana.
En: Ide@s CONCYTEG. 2; 28; 16 de noviembre de 2007. Disponible en:
https://www.academia.edu/1244338/Los_instrumentos_del_evaluador_de_politica_cientifica_y_tecnologica_hacia_la_construccion_de_metodologias_adec
uadas_a_la_realidad_Latinoamericana

19. Cualquier duda, comentario y orientación
conéctate a mis redes en:
flor.trillo@gmail.com
www.facebook.com/flor.trillo
@flortrillo
http://www.slideshare.net/ftrillo
mx.linkedin.com/in/flor.trillo
http://www.directorioexit.info/ficha334