Consideraciones sobre métricas
alternativas en documentación
científica
Flor Trillo
XVI FENIE Coloquio de Revistas Académi...
Contenido
• Tipos de indicadores en documentación científica:
publicaciones y patentes
• Las funciones de los indicadores ...
Tipos de indicadores métricos en
documentación científica: publicaciones y
patentes
• Bibliometría = Producción que permit...
Las funciones de los indicadores de
producción, según Barre:
• Análisis de las necesidades de los usuarios y la
concepción...
Indicadores bibliométricos según Jaso:
+ PROS
✓ Identifica limitaciones
✓ Funciona para campos de
conocimiento identificad...
Bibliometría: parte de la bibliotecología que aplica métodos matemáticos y
estadísticos a toda la literatura de carácter c...
Índice G: cuantifica la productividad bibliométrica basada en el historial de
publicaciones de los autores (Leo Egghe, 200...
• Es un portal que incluye revistas
científicas e indicadores científicos
por países, desarrollado para
contener informaci...
Algunas controversias sobre el Factor de
Impacto (FI)
“La relación entre la tasa de citación
y el FI se ha reducido en los...
Métricas alternativas según Borrego
• Faculty of 1000 selecciona artículos de calidad de
medicina y biología
• Google Scho...
Altmetric.com (UK)
Su misión es la de dar seguimiento y análisis a la actividad en
línea de la producción científica acadé...
Twitter y la publicación científica y de
divulgación
El ciclo de vida de una
publicación es:
✓Plantear la idea
✓Discutirla...
¿Cómo medimos el
impacto?
• Tasa de interacción: etiquetados y menciones
• Tiempo de permanencia: viralización
• Instalaci...
REDALYC: ¿Cómo es la producción científica
institucional?
REDALYC: ¿Cómo es la colaboración
institucional?
REDALYC: ¿Quién consulta el contenido institucional?
Descargas de la producción 2005-2011
¡Problemáticas desde la producción! =
Definición del perfil científico
Si los autores/investigadores no tienen un perfil e...
Lo que hay que considerar al momento de
evaluar y medir impacto científico según Jaso:
• Conectividad = insuficiencia de d...
Cualquier duda, comentario y orientación
conéctate a mis redes en:
flor.trillo@gmail.com
www.facebook.com/flor.trillo
@flo...
Próxima SlideShare
Cargando en…5
×

Consideraciones sobre métricas alternativas en documentación científica

1.032 visualizaciones

Publicado el

Tipos de indicadores en documentación científica: publicaciones y patentes
Las funciones de los indicadores de producción
Indicadores bibliométricos según Jaso
Algunos conceptos básicos y avanzados para entender la forma de medición
Algunas controversias sobre el Factor de Impacto (FI)
Métricas alternativas según Borrego
Altmetrics.com
Twitter y la publicación científica y de divulgación / ¿Cómo medimos el impacto?
¡Problemáticas desde la producción! = Definición del perfil científico
Lo que hay que considerar al momento de evaluar y medir impacto

Publicado en: Ciencias

Consideraciones sobre métricas alternativas en documentación científica

  1. 1. Consideraciones sobre métricas alternativas en documentación científica Flor Trillo XVI FENIE Coloquio de Revistas Académicas, UAEM Feria Internacional del Libro “Leer para transformar” 29 de agosto de 2014
  2. 2. Contenido • Tipos de indicadores en documentación científica: publicaciones y patentes • Las funciones de los indicadores de producción • Indicadores bibliométricos según Jaso • Algunos conceptos básicos y avanzados para entender la forma de medición • Algunas controversias sobre el Factor de Impacto (FI) • Métricas alternativas según Borrego • Altmetrics.com • Twitter y la publicación científica y de divulgación / ¿Cómo medimos el impacto? • ¡Problemáticas desde la producción! = Definición del perfil científico • Lo que hay que considerar al momento de evaluar y medir impacto
  3. 3. Tipos de indicadores métricos en documentación científica: publicaciones y patentes • Bibliometría = Producción que permite conocer: preferencias de temas, fuentes/revistas, instituciones de los investigadores, países con los que se relaciona… etc! • Usabilidad = Manejo, traslado, origen de la consulta, etc.! • Comunicación científica = Digestión, validación, asimilación y evolución del conocimiento.
  4. 4. Las funciones de los indicadores de producción, según Barre: • Análisis de las necesidades de los usuarios y la concepción de los indicadores. • Desarrollo de metodología y las técnicas. • Colección de los datos y producción de los indicadores. • Almacenamiento y mantenimiento de los indicadores. • Interpretación y uso . Fuente: Milanés-Guisado Y; Pérez-Rodríguez Y; Peralta-González MJ; Ruíz-Ramos ME. Los estudios de evaluación de la ciencia: aproximación teórico-métrica. Disponible en: http://www.bvs.sld.cu/revistas/aci/vol18_6_08/aci041208.htm
  5. 5. Indicadores bibliométricos según Jaso: + PROS ✓ Identifica limitaciones ✓ Funciona para campos de conocimiento identificados y desarrollados ✓ Permite comparar entre grandes comunidades ✓ Coinciden con otros análisis como la evaluación por pares y estudios de caso cuando los niveles son amplios. - CONTRAS x No contempla los análisis de tipo cualitativo. x No involucra a toda la gama de productos, canales de difusión y hábitos de publicación de las distintas disciplinas x El análisis de citas debe ser afinado porque no hay correspondencias exactas entre citas y calidad de la investigación Fuente: Los instrumentos del evaluador de política científica y tecnológica: hacia la construcción de metodologías adecuadas a la realidad Latinoamericana. En: Ide@s CONCYTEG. 2; 28; 16 de noviembre de 2007. Disponible en: https://www.academia.edu/1244338/Los_instrumentos_del_evaluador_de_politica_cientifica_y_tecnologica_hacia_la_construccion_de_metodolo gias_adecuadas_a_la_realidad_Latinoamericana
  6. 6. Bibliometría: parte de la bibliotecología que aplica métodos matemáticos y estadísticos a toda la literatura de carácter científico y a los autores que la producen, con el objeto de estudiar y analizar la actividad científica. Factor de Impacto: medida que define la importancia de una publicación científica. Generalmente se calcula con base en un periodo de 2 años, generados por ISI a través del Journal Citation Report. Se calcula a través de la suma de las citas de los dos años de la revista, dividido entre la suma de los artículos publicados de la revista por dos años. A = B/C Índice de Inmediatez: es la medida de la rapidez media con que los artículos publicados en una revista son citados. Considera citas hechas durante el mismo año en que el artículo citado es publicado. Se calcula dividiendo el número de citas a artículos publicados en un año concreto, por el número de artículos publicados en ese mismo año. A = B/C Índice H (Jorge Hirsch-Universidad de California) sistema de medida que permite destacar a los investigadores más destacados dentro de un área de conocimiento. Se calcula a través del número de documentos de un autor en orden descendente de número de citas recibidas y al enumerarlos el número que coincide es el Índice H = 7 (7 publicaciones con al menos 7 citas cada una) Algunos conceptos básicos para entender la forma de medición en materia bibliométrica Medir un todo Medir una revista Medir la actualidad y pertinencia Medir la productividad de un autor (Web of Science/Scopus Medir la productividad de una revista o país (SCImago Journal & Country Rank)
  7. 7. Índice G: cuantifica la productividad bibliométrica basada en el historial de publicaciones de los autores (Leo Egghe, 2006), se calcula ordenando en forma descendente el número de publicaciones de un investigador de acuerdo con el número de citas recibidas. Índice G = 15 (la cantidad de citas acumuladas por estos 15 artículos más citados es superior al 15 al cuadrado) Cuartil: es un indicador o medida de posición de una revista en relación con todas las de su área. Se acomodan 100 revistas de mayor a menor factor de impacto y cada 25 representarán el Q1 si se encuentra entre el lugar 1-25, Q2: 26-50 FI, Q3: 51-75, Q4: 76-100. Source Normalized Impact per Paper (SNIP): diseñado por la Universidad de Leiden (Países Bajos), donde se mide el impacto de una cita según las características de la materia sobre la que se investiga. Un campo de investigación científica donde hay menos frecuencia de citas, cada cita individual tiene un valor más alto que las citas en otras áreas donde se publica con mayor frecuencia. Este se calcula entre Impacto en bruto por artículo publicado en una revista (RIP) entre Relativo potencial de cita que tiene el subcampo de la revista (RDCP) Algunos conceptos avanzados para entender la forma de medición… Mide la productividad e un autor basándose en su historial Medir el posicionamiento de una revista frente a las de su especialidad Medir/Comparar revistas de diferentes campos temáticos
  8. 8. • Es un portal que incluye revistas científicas e indicadores científicos por países, desarrollado para contener información de Scopus® base de datos de Elsevier B.V. • Estos indicadores pueden ser usados para analizar y valorar dominios científicos. • De acuerdo con SCImago, México ocupa el lugar 28 a nivel mundial en cuanto a cantidad de producción científica, en cuanto a citación ocupa el lugar 31 y el lugar 2 para la Región de las Américas en ambas cateogorías. SCImago Journal & Country Rank Fuente [Consultada en marzo de 2014]: http://www.scimagojr.com/
  9. 9. Algunas controversias sobre el Factor de Impacto (FI) “La relación entre la tasa de citación y el FI se ha reducido en los últimos 40 años” George Lozano “El FI se declara no apto para el servicio” Stephen Curry “WoS y JIF son inadecuados para el entendimiento del trabajo e impacto académico en regiones en desarrollo” Juan Pablo Alperín Fuente: The Impact Factor and Its Discontents: Reading list on controversies and shortcomings of the Journal Impact Factor. The London School of Economics and Political Sciencie. Disponible en: http://blogs.lse.ac.uk/impactofsocialsciences/2014/07/30/reading- list-on-the-journal-impact-factor/
  10. 10. Métricas alternativas según Borrego • Faculty of 1000 selecciona artículos de calidad de medicina y biología • Google Scholar que genera ranking de revistas y generación de citas sin conocer el universo analizado. • COUNTER (Counting Online Usage of NeTworked Electronic Resources) que mide la usabilidad • Almetric.com que analiza el impacto de las publicaciones en redes sociales Fuente: Borrego A (2013). Altmetrics: altres mètriques per mesurar l’impacte de la informació científica. Mesa Redonda “Métricas para la evaluación de revistas”. Disponible en: http://bd.ub.edu/grups/ccd/sites/bd.ub.edu.grups.ccd/files/Jornada%20Revistes%202013/Borrego.pdf
  11. 11. Altmetric.com (UK) Su misión es la de dar seguimiento y análisis a la actividad en línea de la producción científica académica. Fuentes: • Thelwall M; Haustein S; Larivière V; Sugimoto CR. Do Altmetrics Work? Twitter and The Other Social Web Services. Disponible en: http://www.plosone.org/article/fetchObject.action?uri=info%3Adoi%2F10.1371%2Fjournal.pone.0064841&representation=PDF • Liu J; Adie E. New perspetive on article-level metrics: developing ways to assess research uptake and impact online. Disponible en: http://uksg.metapress.com/content/x65747080803n616/fulltext.pdf Sus fuentes métricas son: 1. Twitter 2. Facebook 3. Research Highlights (NPG) 4. Blogs 5. Google + 6. Mainstream media citation 7. Reddits 8. Forums 9. Q&A 10. Pinterest (pinners) 11. LinkedIn
  12. 12. Twitter y la publicación científica y de divulgación El ciclo de vida de una publicación es: ✓Plantear la idea ✓Discutirla ✓Colaborar ✓Experimentar ✓Publicar ✓Diseminar ✓Divulgar
  13. 13. ¿Cómo medimos el impacto? • Tasa de interacción: etiquetados y menciones • Tiempo de permanencia: viralización • Instalación de vídeos y fotografías • Número de seguidores, fans, reproducciones, likes o retweets • Mensajes enviados y recibidos • Densidad en las conversaciones Vela D. Qué es un editor de contenido o content manager métricas del social media: SEO, SMO. Disponible en: http://www.slideshare.net/doloresvelagarcia/semianriojuevesqueycomo?qid=719736c6-de22-4863-8f47- 26ab8dbf2dd2&v=default&b=&from_search=1
  14. 14. REDALYC: ¿Cómo es la producción científica institucional?
  15. 15. REDALYC: ¿Cómo es la colaboración institucional?
  16. 16. REDALYC: ¿Quién consulta el contenido institucional? Descargas de la producción 2005-2011
  17. 17. ¡Problemáticas desde la producción! = Definición del perfil científico Si los autores/investigadores no tienen un perfil entonces: ▪ Habrá poca visibilidad de análisis ▪ Presencia nula en indicadores bibliométricos ▪ Falta de impacto de nuestras contribuciones en la comunidad científica en donde nos vinculemos. Las opciones para crearlos son: ▪ Google Académico ▪ Microsoft Academic Search ▪ ResearchGate ▪ Researcher ID (Web of Science) ▪ ORCID (Scopus) En un estudio realizado en Scopus (2000-2012) a los investigadores del SNI-III en 2012, se excluyeron 504 de ellos (31,87%) por las siguientes causas: • 342 de ellos (21,63%) no aparecen en el sistema. • 162 de ellos (10,18%) presentan inconsistencias de nombre/apellido y su afiliación no corresponde con la reporta el CONACYT, representando un 4,4% (6,725 publicaciones) de la producción total de este grupo de investigadores El resultado de esta investigación será presentado en COLLNET 2014, Alemania.
  18. 18. Lo que hay que considerar al momento de evaluar y medir impacto científico según Jaso: • Conectividad = insuficiencia de desarrollo en actores clave; desarticulación de las IES con los CPI, desarrollo tecnológico; vinculación con actores sociales y organizaciones en el exterior. • Vinculaciones informales = evaluaciones en las redes de contratos, convenios, coautorías y citas. • Producción diferenciada = evaluación debe ser representativa de las diversas comunidades como desarrollos aplicados a transferencia de tecnología con empresas y comunidades rurales por ejemplo. • Integración de recursos locales y actores sociales = contribuciones como eslabones que articulan y fortalecen la innovación. • Incorporación de nuevos actores en el diseño de las evaluaciones = actores sociales como investigadores, funcionarios, empresarios y comunidades rurales. Fuente: Los instrumentos del evaluador de política científica y tecnológica: hacia la construcción de metodologías adecuadas a la realidad Latinoamericana. En: Ide@s CONCYTEG. 2; 28; 16 de noviembre de 2007. Disponible en: https://www.academia.edu/1244338/Los_instrumentos_del_evaluador_de_politica_cientifica_y_tecnologica_hacia_la_construccion_de_metodologias_adec uadas_a_la_realidad_Latinoamericana
  19. 19. Cualquier duda, comentario y orientación conéctate a mis redes en: flor.trillo@gmail.com www.facebook.com/flor.trillo @flortrillo http://www.slideshare.net/ftrillo mx.linkedin.com/in/flor.trillo http://www.directorioexit.info/ficha334

×