Utilidad e interpretación de las
métricas científicas en el sector
editorial
I Congreso de Edición Científica
26 y 27 de n...
Contenido
• Problemáticas que se presentan con el
uso de las herramientas existentes.
• Utilidad de las métricas
• Herrami...
Ciclo de vida de la investigación
Fuente:
University of Central Florida Libraries Research Lifecycle Committee. The Resear...
El uso y aplicación de los datos
“El análisis de datos se centra en hacer preguntas y el
acceso a conjuntos de datos nos a...
El bibliotecario y el usuario: ¿navegan
o se sumergen?
Se calcula que la Internet
Profunda es 500 veces
mayor que la super...
Principales problemáticas con la información
disponible tanto por suscripción como en datos
abiertos
• Recolección de dato...
 El análisis bibliométrico permite ofrecer el avance de la
calidad y efectos de la publicación de la investigación
cientí...
Preferencias de los investigadores
Sobre análisis de información bibliométrica:
• Google Académico (poco precisa) y Redaly...
- Bibliografías, servicios de indización y resúmenes,
- Referencias o citas (análisis de citas) y en los directorios o cat...
- Aspectos estadísticos del lenguaje y la frecuencia del uso de las palabras y
frases.
- Características de la productivid...
• Crecimiento cuantitativo de la ciencia
• Desarrollo de las disciplinas y subdisciplinas
• Relación entre ciencia y tecno...
Citas negativas, ¡también deben
analizarse!
• En un estudio de 15,731 artículos publicados
entre 1998-2007 se pudo encontr...
Lo que se puede hacer…(1)
Fuente: Urbizagástegui-Alvarado R; Restrepo-Arango C. “El desarrollo de la bibliometría y los in...
Lo que se puede hacer… (2)
[caso REDALYC]
Lo que se puede hacer… (3)
[caso Scopus]
Lo que se puede hacer… (4)
[caso InCites - Web of Science]
Morales-Morejón (1985)
Bjömeborn e Ingwersen
(2004)
DIFERENCIAS CONCEPTUALES
Fuente: Altmetría, influmetría… ¡Informetría!...
La situación de Open Access en cuanto a revistas
científicas , 2009
Fuente: Björk B-C, Welling P, Laakso M, Majlender P, H...
Manifiesto de Leiden (Holanda)
19º Conferencia Internacional de Indicadores de Ciencia y Tecnología,
septiembre de 2014
Di...
Manifiesto de Leiden (Holanda)
19º Conferencia Internacional de Indicadores de Ciencia y Tecnología,
septiembre de 2014
Di...
Necesitamos saber…
• ¿En qué tipo de documentos se publica principalmente?
• ¿En qué revistas nacionales o internacionales...
¡Las citas nos dicen mucho!
Las 11 razones para hacerlo son:
1. Direccionar al lector hacia la fuente de información relev...
Muestra de lo que dice Thomson sobre
un autor
Índice R: Propuesta por Shane Gero (Dinamarca) y Maurício Cantor
(Canadá) cuantificación de contribuciones a través del re...
“Las altmétricas pueden ofrecer una visión complementaria al
análisis de citas, asumiendo un papel en la evaluación de la
...
¿Qué es una métrica alternativa?
A través de las almétricas es posible conocer:
• Número de artículos vistos o descargados...
Opciones de Métricas
Alternativas
Su misión es dar seguimiento y análisis a la actividad en línea de
la producción científica académica.
Fuentes:
Thelwall M...
¿Ofrece ventajas?
Wouter and Costas (2012) identificaron 4 ventajas principales que
presente frente a indicadores bibliomé...
MÉTRICAS GENERALES
SOBRE COLOMBIA
Rankings of Repositories
 A nivel nacional se
consideran 30
Fuente: http://repositories.webometrics.info/ [Consultado en ...
El ESCI esta conformado por 2,758 títulos de
revistas de 85 países.
Aunque Colombia participa con revistas, su
aportación ...
Journal Citation Report – Thomson Reuters
InCites Analytics- País
Journal Ranking – SCImago/Scopus
En cuanto a
producción de
documentos,
Colombia ocupa
el 5to. lugar en
América Latina
1996-2014
SCImago Journal & Rank - Scopus
En cuanto a producción de documentos, Colombia
ocupa el lugar No. 53 a nivel mundial
1996-...
Sobre Colombia podemos saber que…
Redalyc 2005-2014
• Su universo de 173 países
representados, 1,057
revistas y 435,802 artículos,
aquí Colombia contribuye
...
En cuanto a producción…
Algunas experiencias en Austria y
Alemania
Congreso Nacional de Bibliotecarios
en Austria 2015
Bibliometrie Scientometrics:
revista alemana
En el año 2012 se organizó un
evento en la Universidad de
Regensburg, Alemani...
Departamento de Bibliometría –
Universidad de Viena, Austria
Cuyas funciones con académicos e investigadores se centran:
...
Conclusiones - Política Científica Abierta:
recursos financieros, humanos e infraestructura
Fuente: Open Science mapa conc...
Recomendaciones
• Generar datos confiables locales a través de un observatorio con las
revistas que produce Colombia, una ...
¡¡¡MIL GRACIAS POR SU TIEMPO!!!
Más información en:
flor.trillo@gmail.com
mx.linkedin.com/in/flortrillo
www.directorioexit...
Próxima SlideShare
Cargando en…5
×

Utilidad e interpretación de las métricas científicas en el sector editorial

320 visualizaciones

Publicado el

I Congreso de Edición Científica
26 y 27 de noviembre de 2015
Bogotá, Colombia
Flor Trillo

Publicado en: Ciencias
0 comentarios
0 recomendaciones
Estadísticas
Notas
  • Sé el primero en comentar

  • Sé el primero en recomendar esto

Sin descargas
Visualizaciones
Visualizaciones totales
320
En SlideShare
0
De insertados
0
Número de insertados
4
Acciones
Compartido
0
Descargas
0
Comentarios
0
Recomendaciones
0
Insertados 0
No insertados

No hay notas en la diapositiva.

Utilidad e interpretación de las métricas científicas en el sector editorial

  1. 1. Utilidad e interpretación de las métricas científicas en el sector editorial I Congreso de Edición Científica 26 y 27 de noviembre de 2015 Bogotá, Colombia Flor Trillo
  2. 2. Contenido • Problemáticas que se presentan con el uso de las herramientas existentes. • Utilidad de las métricas • Herramientas para conocer a Colombia en materia de documentación científica • Experiencias de estudios y análisis bibliométricos en Austria y Alemania • Conclusiones • Recomendaciones
  3. 3. Ciclo de vida de la investigación Fuente: University of Central Florida Libraries Research Lifecycle Committee. The Research Lifecycle at UCF. 2012. Online Graphic. University of Central Florida Libraries. University of Central Florida. Web. (Consultado el 13 de mayo de 2015).
  4. 4. El uso y aplicación de los datos “El análisis de datos se centra en hacer preguntas y el acceso a conjuntos de datos nos ayuda a identificar correlaciones y esbozar un panorama más amplio que brinde una posible solución” Datología: la toma de decisiones basada en datos Ivette Fis de Melo, BID
  5. 5. El bibliotecario y el usuario: ¿navegan o se sumergen? Se calcula que la Internet Profunda es 500 veces mayor que la superficial La Association for Computing Machinery en 2007, indicó que Google y Yahoo tenían indexado el 32% de la internet profunda. 20% de la información publicada anualmente está en Open Access (estudio del 2003) Fuente: By Bin He, Mitesh Patel, Zhen Zhang, Kevin Chen-Chuan Chang. Accessing the deep web Communications of the ACM, Vol. 50 No. 5, Pages 94-101 10.1145/1230819.1241670
  6. 6. Principales problemáticas con la información disponible tanto por suscripción como en datos abiertos • Recolección de datos • Consistencia de datos • Cobertura de universos • Disponibilidad de datos • Interpretación de datos (establecer patrones de comportamiento) • Sistematizar el desarrollo de estudios en esta materia • Medición del impacto en materia de política públicas de información • Asignación de recursos en materia de investigación y producción científica
  7. 7.  El análisis bibliométrico permite ofrecer el avance de la calidad y efectos de la publicación de la investigación científica de los países (desarrollados y en desarrollo) que resulta necesaria para una mayor divulgación.  La publicación de artículos científicos es parte integral de la investigación científica, es la mejor forma de generar una comunicación científica eficaz.  Porque la producción científica constituye el progreso del conocimiento científico y la ciencia como un todo. ¿Para qué analizar esto?
  8. 8. Preferencias de los investigadores Sobre análisis de información bibliométrica: • Google Académico (poco precisa) y Redalyc (limitada) son OA • Scopus y Wos son por suscripción (aproximada porque los autores deben normalizar Sobre análisis de información de los documentos en texto completo: • Google Académico y Redalyc son OA • Algunas revistas Scopus y Wos son por suscripción (estos sistemas a veces ofrecen el texto completo, pero si la revista fue concebida como OA, se puede acceder directamente al texto completo)
  9. 9. - Bibliografías, servicios de indización y resúmenes, - Referencias o citas (análisis de citas) y en los directorios o catálogos colectivos de títulos de revistas. - Selección de libros y publicaciones periódicas. - Identificación de las características temáticas de la literatura. - Evaluación de bibliografías y de colecciones. - Historia de la ciencia. - Estudio de la sociología de la ciencia. - Determinación de revistas núcleos en determinada temática. - Identificación de los países, instituciones y autores más productivos en un período determinado. - Distribución según idiomas de las fuentes en una temática específica. Importancia y utilidad de las métricas (1)
  10. 10. - Aspectos estadísticos del lenguaje y la frecuencia del uso de las palabras y frases. - Características de la productividad de los autores, medida por la cantidad de documentos publicados en un tiempo determinado o por su grado de colaboración. - Características de las fuentes donde se publican los documentos, incluida su distribución por disciplinas. - Análisis de citas, según distribución por autores, tipo de documento, instituciones o países. - Uso de la información registrada a partir de su demanda y circulación. - Obsolescencia de la literatura mediante la medición de su uso y de la frecuencia con que se cita. - Incremento de la literatura por temas. - Distribución idiomática según la disciplina o el área estudiada Importancia y utilidad de las métricas (2)
  11. 11. • Crecimiento cuantitativo de la ciencia • Desarrollo de las disciplinas y subdisciplinas • Relación entre ciencia y tecnología • Obsolescencia de los paradigmas científicos • Comunicación científica formal (Estructura de comunicación entre los científicos) • Productividad y creatividad de los investigadores • Relaciones entre el desarrollo científico y el crecimiento económico Importancia y utilidad de las métricas (3)
  12. 12. Citas negativas, ¡también deben analizarse! • En un estudio de 15,731 artículos publicados entre 1998-2007 se pudo encontrar que el 7% recibo uno o más citas negativas y esto ocurrió en los primeros años de su publicación. • El universo total de citas fueron 146,891. • Con menos frecuencia se citaba negativamente a coautores o autores geográficamente cercanos. • Con esto podemos analizar estudios de retracción en particular, puesto que se puede predecir si este será su futuro al contar con una fuerte cantidad de citas, por ejemplo. Fuente: Rae-Chi K. Parsing Negative Citations: A new tool helps scientists better understand what happens to studies that are criticized in the literature. Octubre 26, 2015. Disponible en: http://www.the- scientist.com/?articles.view/articleNo/44335/title/parsing-negative-citations/ [Consultado en noviembre de
  13. 13. Lo que se puede hacer…(1) Fuente: Urbizagástegui-Alvarado R; Restrepo-Arango C. “El desarrollo de la bibliometría y los indicadores en ciencia y tecnología en Colombia. Disponible en: http://congreso2013.ricyt.org/files/mesas/3fProduccioncientifica/UrbizagasteguiRestrepo.pdf
  14. 14. Lo que se puede hacer… (2) [caso REDALYC]
  15. 15. Lo que se puede hacer… (3) [caso Scopus]
  16. 16. Lo que se puede hacer… (4) [caso InCites - Web of Science]
  17. 17. Morales-Morejón (1985) Bjömeborn e Ingwersen (2004) DIFERENCIAS CONCEPTUALES Fuente: Altmetría, influmetría… ¡Informetría! Disponible en: http://www.inaecu.com/altmetria-influmetria- informetria/ [Consultado el 23 de octubre de 2015]
  18. 18. La situación de Open Access en cuanto a revistas científicas , 2009 Fuente: Björk B-C, Welling P, Laakso M, Majlender P, Hedlund T, Guðnason G (2010) Open Access to the Scientific Journal Literature: Situation 2009. PLoS ONE 5(6): e11273. doi:10.1371/journal.pone.0011273 Disponible en: http://www.plosone.org/article/fetchObject.action?uri=info:doi/10.1371/journal .pone. 0011273&representation=PDF [Consultado el 9 de octubre de 2015]
  19. 19. Manifiesto de Leiden (Holanda) 19º Conferencia Internacional de Indicadores de Ciencia y Tecnología, septiembre de 2014 Diez principios resumidos: 1. Evaluación cuantitativa apoya a la evaluación cualitativa y debe ser realizada por expertos. La toma de decisiones no debe ser basada en números. 2. El desempeño de una investigación debe medirse de acuerdo con: objetivos, indicadores claramente establecidos y relacionados con las metas. No se puede aplicar un solo modelo. 3. Proteger el pluralismo y la relevancia social, métricas basadas en literatura de alta calidad que no estén en inglés permitirían reconocer la excelencia en investigación local y regional. 4. Bases de datos sencillas y transparentes para que el análisis sea abierto. 5. Someter datos y análisis de lo investigado para verificación y validación si es necesario con el apoyo de auditorias independientes. Fuente: El uso de métricas en la evaluación de la investigación es matizado en el Manifiesto de Leiden: http://blog.scielo.org/es/2015/04/30/el-uso-de-metricas-en-la-evaluacion-de-la-investigacion-es-matizado-en-el-manifiesto-de- leiden/
  20. 20. Manifiesto de Leiden (Holanda) 19º Conferencia Internacional de Indicadores de Ciencia y Tecnología, septiembre de 2014 Diez principios resumidos: 6. Considerar la diversidad de publicaciones (libros, conferencias) de acuerdo con las áreas de investigación, así como la cantidad de citaciones que se basa actualmente en percentiles. 7. Evaluar a un investigador no por su número de publicaciones, sino por su especialidad, experiencia, actividad e influencia. 8. Promover el uso múltiple de indicadores que sea más consistente y próximo a la realidad. 9. Un solo indicador puede llevar a errores de interpretación, alterando sistemas de incentivos o efectos anticipados. 10. Discutir y actualizar regularmente los indicadores, la evaluación cambia y el sistema de investigación evoluciona. Fuente: El uso de métricas en la evaluación de la investigación es matizado en el Manifiesto de Leiden: http://blog.scielo.org/es/2015/04/30/el-uso-de-metricas-en-la-evaluacion-de-la-investigacion-es-matizado-en-el-manifiesto-de- leiden/
  21. 21. Necesitamos saber… • ¿En qué tipo de documentos se publica principalmente? • ¿En qué revistas nacionales o internacionales? ¿son revistas por suscripción, en OA o híbridas? ¿existe una cultura del autoarchivo en repositorios institucionales? • ¿Qué idiomas prefieren los colombianos? • ¿En qué áreas del conocimiento se están aplicando estudios bibliométricos? • ¿Cómo funciona la comunicación científica entre los autores/investigadores/académicos? • Y ¿qué podemos esperar? ¿cómo podemos incidir en las políticas públicas en materia de ciencia y tecnología?
  22. 22. ¡Las citas nos dicen mucho! Las 11 razones para hacerlo son: 1. Direccionar al lector hacia la fuente de información relevante 2. Ayudar en el rastreo del origen de las ideas 3. Reconocer a pioneros y compañeros 4. Direccionar al lector sobre métodos y equipo utilizados 5. Para criticar o corregir un trabajo previo 6. Para fundamentar alegatos y argumentos con pruebas 7. Como evidencia de distintas opiniones sobre la actual argumentación 8. Para demostrar originalidad en el contexto de un trabajo previo 9. Para guiar a otros investigadores en el trabajo propuesto 10. Para desarrollar credibilidad como autor 11. ¡No citar es plagio! Fuente: Using citation analysis to measure research impact. Disponible en: http://www.editage.com/insights/using-citation-analysis-to-measure-research-impact [Consultado el 13
  23. 23. Muestra de lo que dice Thomson sobre un autor
  24. 24. Índice R: Propuesta por Shane Gero (Dinamarca) y Maurício Cantor (Canadá) cuantificación de contribuciones a través del revisor. Cantidad de manuscritos revisados, extensión de los artículos, FI de la revista. Este dato sin duda ayuda al editor a elegir a sus revisores, pero que también recompensa con reconocimiento a los colaboradores. Métrica al mérito! Beneficios: 1. Reconocimiento para el revisor 2. Promoción de la transparencia 3. Otro punto de evaluación de la calidad de la revista 4. Ayuda para la elección de parte de los editores 5. Fácil de implementar Propuesta de Índice R para revisión por pares Mide la productividad del revisor Fuente: Cantor M, Gero S. 2015 The missing metric: quantifying contributions of reviewers.R. Soc. open sci.2: 140540. http://dx.doi.org/10.1098/rsos.140540
  25. 25. “Las altmétricas pueden ofrecer una visión complementaria al análisis de citas, asumiendo un papel en la evaluación de la ciencia” “Aún es pronto para aplicar las altmétricas a la evaluación de la investigación” “Los datos altmétricos pueden ser una excelente fuente de información sobre los hábitos y necesidades de información de los investigadores. Conociendo los artículos guardados en gestores de referencia bibliográfica. Ángel Borrego Fuente: Borrego A (2014). Almétricas para la evaluación de la investigación y en el análisis de necesidades de información. En: El Profesional de la Información. 24(4); 352-357. Disponible en: http://bd.ub.edu/grups/ccd/sites/bd.ub.edu.grups.ccd/files/Jornada%20Revistes%202013/Borrego.pdf Métricas alternativas según Borrego
  26. 26. ¿Qué es una métrica alternativa? A través de las almétricas es posible conocer: • Número de artículos vistos o descargados en PDF. • Número de veces que ha sido archivado (a través de CiteUlike o Mendeley) • Número de discusiones sobre el artículo, por ejemplo en blogs científicos o en revistas, además de su viralización en redes sociales o plataformas con “micro-blogging.” • Número de veces que se recomendó en las redes sociales, editoriales o en artículos impresos. • Número de veces que fue citado en literatura académica de divulgación o incluso en Wikipedia. Making open sicencie a reality. OCDE, 2015 http://www.oecd-ilibrary.org/science-and-technology/making-open-science-a- reality_5jrs2f963zs1-en;jsessionid=jgdh4pdbmkp1.x-oecd-live-02 [Consultado el 15 de noviembre de 2015] PP. 29-30
  27. 27. Opciones de Métricas Alternativas
  28. 28. Su misión es dar seguimiento y análisis a la actividad en línea de la producción científica académica. Fuentes: Thelwall M; Haustein S; Larivière V; Sugimoto CR. Do Altmetrics Work? Twitter and The Other Social Web Services. Disponible en: http://www.plosone.org/article/fetchObject.action?uri=info%3Adoi%2F10.1371%2Fjournal.pone.0064841&repre sentation=PDF Liu J; Adie E. New perspetive on article-level metrics: developing ways to assess research uptake and impact Sus fuentes métricas son: 1. Twitter 2. Facebook 3. Research Highlights (NPG) 4. Blogs 5. Google + 6. Mainstream media citation 7. Reddits 8. Forums 9. Q&A 10. Pinterest (pinners) 11. LinkedIn Altmetric.com (UK)
  29. 29. ¿Ofrece ventajas? Wouter and Costas (2012) identificaron 4 ventajas principales que presente frente a indicadores bibliométricos tradicionales: • Diversidad, porque tiene acceso a una amplia gama de comunidades científicas por lo que la medición a través de su universo es mayor. • Rapidez, capturan de manera inmediata una vez que la publicación se ha hecho disponible, en cambio las publicaciones tradicionales toman años que sean citadas. • Apertura, es en principio fácil el hecho de obtener métricas alternativas. • Alcance, las métricas alterativas tienen un alcance mayor que la comunidad técnica científica Fuente: Wouters P; Costas R. Users, Narcissism and Control: Tracking the Impact of Scholarly Publications in the 21st. Century, SURF Foundation, Utrecht, 2012. Disponible en: https://www.surf.nl/binaries/content/assets/surf/en/knowledgebase/2011/Users+narcissism+and+control.pdf Consultado el 15 de noviembre de 2015]
  30. 30. MÉTRICAS GENERALES SOBRE COLOMBIA
  31. 31. Rankings of Repositories  A nivel nacional se consideran 30 Fuente: http://repositories.webometrics.info/ [Consultado en marzo de 2014]
  32. 32. El ESCI esta conformado por 2,758 títulos de revistas de 85 países. Aunque Colombia participa con revistas, su aportación representa el 1,42% en cuanto a cantidad de títulos de revistas. Emerging Source Citation (ESCI)- Thomson Reuters De acuerdo con Rafael Repiso, Colombia tiene 39 revistas
  33. 33. Journal Citation Report – Thomson Reuters
  34. 34. InCites Analytics- País
  35. 35. Journal Ranking – SCImago/Scopus
  36. 36. En cuanto a producción de documentos, Colombia ocupa el 5to. lugar en América Latina 1996-2014
  37. 37. SCImago Journal & Rank - Scopus En cuanto a producción de documentos, Colombia ocupa el lugar No. 53 a nivel mundial 1996-2014 En cuanto a citas, Colombia ocupa el lugar No. 51 a nivel mundial
  38. 38. Sobre Colombia podemos saber que…
  39. 39. Redalyc 2005-2014 • Su universo de 173 países representados, 1,057 revistas y 435,802 artículos, aquí Colombia contribuye con un 17,97%, es decir, 190 revistas, 63362 documentos. • Ofrece Análisis Cienciométricos de 9 años, es decir, del 25% del contenido colombiano, es decir de 16,439 documentos.
  40. 40. En cuanto a producción…
  41. 41. Algunas experiencias en Austria y Alemania
  42. 42. Congreso Nacional de Bibliotecarios en Austria 2015
  43. 43. Bibliometrie Scientometrics: revista alemana En el año 2012 se organizó un evento en la Universidad de Regensburg, Alemania sobre estándares bibliométricos en las ciencias, ciencias sociales y humanidades: estado del arte y tendencias, que fue lo que originó la creación de esta revista.
  44. 44. Departamento de Bibliometría – Universidad de Viena, Austria Cuyas funciones con académicos e investigadores se centran:  identificación de trabajos y su ubicación dentro del campo de estudio frente a otros autores, instituciones y países que trabajan los mismos temas,  Identificando temas o artículos relevantes para el campo de investigación, citas clásicas dentro de la temática que ellos trabajan, la inmediatez de la citación sobre su producción (estado del arte),  Visibilidad de publicaciones, brindando estrategias, identificación del impacto de sus publicaciones a través de un sistema de alertas, identificación entre la cantidad y el tipo de citas necesarias para que el trabajo sea considerado de excelencia  Identificación de colaboradores potenciales o competencia en términos de producción científica, así como, la identificación de potenciales agencias de financiamiento.
  45. 45. Conclusiones - Política Científica Abierta: recursos financieros, humanos e infraestructura Fuente: Open Science mapa conceptual. Proyecto FOSTER. Disponible:https://revistazetabibliotecologia.files.wordpress.com/2015/09/1_openscien ce-mapa-conceptual.png[Consultado 9 de octubre de 2015]
  46. 46. Recomendaciones • Generar datos confiables locales a través de un observatorio con las revistas que produce Colombia, una revista que documente esto ¡es necesaria! • Analizar los datos creando visualizaciones de los mismos para generar impacto y vincularse con la legislación de la ciencia. • Promover investigación sobre el estudio del arte de la documentación científica colombiana y diseminar en todos los niveles los resultados obtenidos. • Es necesario saber con precisión cuanto dinero se invierte en cada publicación, investigación y el impacto que genera la investigación en cada área del conocimiento en el bienestar de su población, esta información tiene que estar pública y abierta para poder tomar decisiones y para poder dar seguimiento.
  47. 47. ¡¡¡MIL GRACIAS POR SU TIEMPO!!! Más información en: flor.trillo@gmail.com mx.linkedin.com/in/flortrillo www.directorioexit.info/ficha 334 Para consultar esta presentación en: http://es.slideshare.net/ftrillo

×