Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

Indicadores e métricas na publicação científica

389 visualizaciones

Publicado el

Conteúdos do Workshop: "Indicadores e métricas na publicação científica", no âmbito da Semana dos Investigadores 2018.

Publicado en: Educación

Indicadores e métricas na publicação científica

  1. 1. Indicadores e métricas na publicação científica 2018 | Semana dos Investigadores | bibliotecas UA
  2. 2. programa MEIOS “TRADICIONAIS” DE AFERIÇÃO DO IMPACTO PUBLICAÇÕES CIENTÍFICAS c o n t a g e m d e c i t a ç õ e s r e v i s t a s c i e n t í f i c a s e i n d i c a d o r e s AMPLIAÇÃO DO CICLO DE DIFUSÃO DO CONHECIMENTO CIENTÍFICO m é t r i c a s a l t e r n a t i v a s f e r r a m e n t a s
  3. 3. MEIOS “TRADICIONAIS” DE AFERIÇÃO DO IMPACTO PUBLICAÇÕES CIENTÍFICAS
  4. 4. publicação tradicional investigadores e as instituições necessitam cada vez mais de filtros e métricas que permitam aferir o impacto do seu trabalho a realidade vigente na dita “publicação tradicional” passa pela submissão de artigos em revistas indexadas em bases de dados científicas com peer-review as métricas baseadas na contagem de citações têm sido o meio mais usado pela comunidade científica
  5. 5. CONTAGEM DE CITAÇÕES
  6. 6. contagem de citações número de vezes que um artigo é citado por outros artigos científicos métrica fundamental para a avaliação da publicação científica e para a aferição do prestígio dos investigadores, sendo a base de cálculo para a maioria dos indicadores bibliométricos considera-se que se um artigo foi citado muitas vezes será um artigo de qualidade científica e de referência
  7. 7. Web of Science core collection h t t p : / / i s i k n o w l e d g e . c o m / W O S
  8. 8. S C I - E X P A N D E D Science Citation Index Expanded - 1900-present S S C I Social Sciences Citation Index - 1956-present A & H C I Arts & Humanities Citation Index -1975-present C P C I - S Conference Proceedings Citation Index-Science - 1991-present C P C I - S S H Conference Proceedings Citation Index- Social Science & Humanities -1991- presente ESCI Emerging Sources Citation Index -2015-presente coleções
  9. 9. 1 9 . 7 0 0 r e v i s t a s c o m p e e r - r e v i e w (inclui revistas em Open Access) 8 0 . 0 0 0 l i v r o s 1 9 0 . 0 0 0 p r o c e e d i n g s c o b e r t u r a d e 1 9 0 0 a t é a o p r e s e n t e publicações
  10. 10. T i m e s c i t e d C i t a t i o n n e t w o r k A u t h o r s e a r c h A u t h o r s e a r c h – R e c o r d s e t s C i t e d R e f e r e n c e S e a r c h funcionalidades
  11. 11. times cited após uma pesquisa, na lista de resultados é possível ordenar por nº de citações: opção Sort by – times cited e visualizar os dados de citações por artigo
  12. 12. author search – record setsos registos são agrupados em sets lógicos, que podem ser incluídos ou excluídos da lista, de forma a obter resultados exatos. cited reference searchlocalizar os artigos que citam uma publicação em particular
  13. 13. Scopus h t t p : / / w w w . s c o p u s . c o m
  14. 14. 2 2 . 8 0 0 r e v i s t a s c o m p e e r - r e v i e w (inclui 3,600 em Open Access) - journal title list 5 6 0 s é r i e s m o n o g r á f i c a s 8 m i l h õ e s d e p a p e r s d e c o n f e r ê n c i a s “ A r t i c l e s - i n - P r e s s ” d e c e r c a d e 8 , 0 0 0 r e v i s t a s 3 9 m i l h õ e s d e p a t e n t e s publicações f o n t e : h t t p s : / / w w w . e l s e v i e r . c o m / s o l u t i o n s / s c o p u s / c o n t e n t
  15. 15. author search ajuda na identificação correta da autoria de forma a obter dados de contagem de citações ajustados. permite a pesquisa por autor de uma forma inequívoca já que determina quais as formas de nome que devem ser agrupadas sob uma identificação de autor única. Esta funcionalidade baseia-se num algoritmo que liga formas de nomes baseados em dados como a afiliação, endereço, área de investigação, datas de publicação.
  16. 16. citation overview é possível ver o número de citações por artigo e consultar indicadores como o h-index
  17. 17. Google Scholar h t t p s : / / s c h o l a r . g o o g l e . c o m / i n t l / e n / s c h o l a r / c i t a t i o n s . h t m l
  18. 18. Google Scholar A c e d e r à p á g i n a h t t p : / / s c h o l a r . g o o g l e . c o m / i n t l / e n / s c h o l a r / c i t a t i o n s . h t m l C l i c a r e m “ g e t t i n g s t a r t e d w i t h G o o g l e s c h o l a r c i t a t i o n s ” E n t r a r c o m o s r e s p e t i v o l o g i n e p a s s w o r d P r e e n c h e r o s d a d o s d o p e r f i l e s e g u i r o s p a s s o s s e g u i n t e s T o r n a r o p e r f i l p ú b l i c o .
  19. 19. Google Scholar Citations permite aos autores a criação de um perfil público, com a recolha dos artigos de que é autor e dados de citação correspondentes. o próprio autor pode por exemplo excluir da lista referências que não correspondam, identificando assim corretamente as suas publicações.
  20. 20. cited by consulta das citações que determinado documento recebeu. a metodologia de contagem de citações do Google Scholar inclui documentos publicados na Web de uma diversidade de fontes, podendo estar incluídas bases de dados ou plataformas com publicações não científicas.
  21. 21. REVISTAS CIENTÍFICAS E INDICADORES
  22. 22. fator de impacto criado por Eugene Garfield, fundador do ISI – Institute of Scientific Information, num artigo de 1955 publicado na revista Science. inicialmente usado apenas para determinar que publicações incluir no Science Citation Index (Web of Science). Tornou-se o indicador bibliométrico mais usado internacionalmente.
  23. 23. fator de impacto medida de frequência com que o “artigo médio” de uma revista foi citado. divisão do número de citações correntes a artigos publicados nos últimos dois anos pelo número total de artigos publicados nesse mesmo período.
  24. 24. fator de impacto Consulta no Journal of Citation Reports (Clarivate Analytics) http://jcr.incites.thomsonreuters.com/ edição 2016 atualizado todos os anos, em meados do ano civil baseia-se nos dados de citação da Web of Science Core Collection (Clarivate Analytics) http://isiknowledge.com/WOS
  25. 25. eigenfactor Consulta no Journal of Citation Reports (Clarivate Analytics) http://jcr.incites.thomsonreuters.com/ Baseia-se número de vezes que os artigos publicados numa revista nos cinco anos anteriores foram citados no ano mais recente, levando também em consideração o prestígio da revista. Não contabiliza as autocitações (mesma revista) “References from one article in a journal to another article from the same journal are removed, so that Eigenfactor Scores are not influenced by journal self-citation.” - http://www.eigenfactor.org/
  26. 26. SCImago Journal Rank Indicator Consulta no SCImago Journal Rank http://www.scimagojr.com/ e SCOPUS – http://www.scopus.com consiste numa medida de visibilidade das revistas científicas (dados a partir de 1996) - "journal prestige“ mede a “influência científica” média dos artigos de uma revista
  27. 27. SCImago Journal Rank Indicator baseia-se na ideia de que ‘all citations are not created equal’ - a área temática, qualidade e reputação científica de uma revista têm um efeito direto nas citações que são feitas expressa o número médio de citações “positivas” recebidas no ano selecionado pelos artigos de uma dada revista. Limita o efeito das auto-citações a 33%: “The Scimago Journal Rank (SJR) is based on the transfer of prestige from a journal to another one; such prestige is tranfered through the references that a journal do to the rest of the journals and to itself.”
  28. 28. https://www.sciencedirect.com/journal/bioorganic-chemistry
  29. 29. AMPLIAÇÃO DO CICLO DE DIFUSÃO DO CONHECIMENTO CIENTÍFICO
  30. 30. as métricas baseadas em contagem de citações são insuficientes para avaliar o impacto de uma publicação no meio académico
  31. 31. …a 1ª c itaç ão a um artigo pode levar anos …artigos de relevânc ia para o avanç o do c onhec imento podem nunc a vir a s er c itados …a c ontagem de c itaç ões não tem em c onta o impac to for a do c ir c uito c ientífic o e ac adémic o
  32. 32. PUBLICAÇÕES(ARTIGO) RESULTADOS CIENTÍFICOS
  33. 33. RESULTADOS CIENTÍFICOS D a t a s e t s S o f t w a r e c i e n t í f i c o L i v r o s e c a p í t u l o s d e l i v r o P o s t e r s e a p r e s e n t a ç õ e s e m c o n f e r ê n c i a s T e s e s d e m e s t r a d o e d o u t o r a m e n t o P e r f o r m a n c e s ( t e a t r o , m ú s i c a e c i n e m a ) B l o g p o s t s A u l a s e o u t r a s a t i v i d a d e s d o c e n t e s
  34. 34. n o v o s m e i o s d e a f e r i r o i m p a c t o d e a r t i g o s a m p l i a ç ã o d o c i c l o d e d i f u s ã o d o c o n h e c i m e n t o c i e n t í f i c o a c e s s o a b e r t o e r e p o s i t ó r i o s i n s t i t u c i o n a i s necessidade de mudança
  35. 35. métricas alternativas
  36. 36. alternativasAO USO EXCLUSIVO DAS CITAÇÕES E nãoALTERNATIVAS ÀS CITAÇÕES MÉTRICAS
  37. 37. IMPACTO SOCIAL IMPACTO CIENTÍFICO ACADÉMICO Journal Impact Factor Contagem de citações Contagem de downloads e visualizações, menções e referências nas redes sociais, blogues, gestores de bibliografia MÉTRICAS TRADICIONAIS MÉTRICAS ALTERNATIVAS (ALTMETRICS)
  38. 38. TEMPO REAL – PEMITEM A PERCEÇÃO DO IMPACTO EM DIAS ABRANGE A DIVERSIDADE DE RESULTADOS CIENTÍFICOS TEM EM CONTA OUTRAS AUDIÊNCIAS (profissionais de várias áreas e público em geral) métricas alternativasvantagens
  39. 39. altmetricsmanifesto http://altmetrics.org/manifesto/
  40. 40. is the creation and study of new metrics based on the Social Web for analyzing, and informing scholarship. J . P r i e m , D . T a r a b o r e l l i , P . G r o t h , C . N e y l o n ( 2 0 1 0 ) , A l t m e t r i c s : A m a n i f e s t o , ( v . 1 . 0 ) , 2 6 O c t o b e r 2 0 1 0 . h t t p : / / a l t m e t r i c s . o r g / m a n i f e s t o
  41. 41. Work should correlate between altmetrics and existing measures, predict citations from altmetrics, and compare altmetrics with expert evaluation. Application designers should continue to build systems to display altmetrics, develop methods to detect and repair gaming, and create metrics for use and reuse of data. Ultimately, our tools should use the rich semantic data from altmetrics to ask “how and why?” as well as “how many?” h t t p : / / a l t m e t r i c s . o r g / m a n i f e s t o
  42. 42. as métricas alternativas realmente refletem impacto?
  43. 43. conceito these metrics are no longer alternative, but have become mainstream these metrics are viewed as complementary rather than as an alternative the more focused term “social media metrics” would seem more appropriate and/or altmetrics are not clearly defined, and may mean different things to different people N I S O ’ s A l t m e t r i c s P r o j e c t - N I S O R P - 2 5 - 2 0 1 6 h t t p s : / / w w w . n i s o . o r g / p u b l i c a t i o n s / n i s o - r p - 2 5 - 2 0 1 6 - o u t p u t s - n i s o - a l t e r n a t i v e - a s s e s s m e n t - m e t r i c s - p r o j e c t
  44. 44. NISOh t t p s : / / w w w . n i s o . o r g / p u b l i c a t i o n s / n i s o - r p - 2 5 - 2 0 1 6 - o u t p u t s - n i s o - a l t e r n a t i v e - a s s e s s m e n t - m e t r i c s - p r o j e c t NISO Alternative Assessment Metrics Project
  45. 45. DORA https ://s fdora.org / p r o m o t e r e a l c h a n g e i n r e s e a r c h a s s e s s m e n t t h e d e v e l o p m e n t o f r o b u s t a n d t i m e - e f f i c i e n t w a y s o f e v a l u a t i n g r e s e a r c h a n d r e s e a r c h e r s t h a t d o n o t r e l y o n j o u r n a l i m p a c t f a c t o r P r o m o t e g o o d p r a c t i c e i n r e s e a r c h a s s e s s m e n t t h a t e m p h a s i z e r e s e a r c h i t s e l f a n d n o t w h e r e i t i s p u b l i s h e d . San Francisco Declaration on Research Assessment
  46. 46. Snowball Metrics h t t p s : / / w w w . s n o w b a l l m e t r i c s . c o m / v i s a a p a d r o n i z a ç ã o d e m é t r i c a s n a s i n s t i t u i ç õ e s p r o d u t o r a s o u a v a l i a d o r a s d e C i ê n c i a c o n j u n t o d e m e t o d o l o g i a s , t e s t a d a s e c o n s e n s u a l i z a d a s e n t r e o s p a r c e i r o s , a p r e s e n t a d a s s o b a f o r m a d e “ r e c e i t a s ” o p r i m e i r o l i v r o d e r e c e i t a s S n o w b a l l M e t r i c s f i c o u d i s p o n í v e l e m n o v e m b r o d e 2 0 1 2 e i n c l u i 1 0 r e c e i t a s . A v e r s ã o a t u a l d o l i v r o d e r e c e i t a s S n o w b a l l M e t r i c s ( s e g u n d a e d i ç ã o ) , é d e 2 0 1 4 e i n c l u i 2 4 r e c e i t a s .
  47. 47. Snowball Metrics
  48. 48. C a n a d i a n A s s o c i a t i o n o f R e s e a r c h L i b r a r i e s , A l t m e t r i c s i n C o n t e x t h t t p : / / w w w . c a r l - a b r c . c a / d o c / C A R L 2 0 1 3 - a l t m e t r i c s - E N - F A . p d f
  49. 49. ferramentas
  50. 50. Altmetric.com ImpactStory Plum Analytics PLoS
  51. 51. altmetric.comh t t p s : / / w w w . a l t m e t r i c . c o m /
  52. 52. altmetric.com s o l u ç ã o c o m e r c i a l a v a l i a ç ã o q u a n t i t a t i v a d o i m p a c t o d e u m a r t i g o n a W e b b a s e a d o n a a t e n ç ã o q u e u m a r t i g o r e c e b e u r a s t r e i a s i t e s , b l o g s , r e d e s s o c i a i s , j o r n a i s e r e v i s t a s a p o n t u a ç ã o c o n s i s t e n u m a m e d i d a q u a n t i t a t i v a q u e d e r i v a d e 3 f a t o r e s : v o l u m e d e m e n ç õ e s , c a t e g o r i a d a f o n t e d e s s a s m e n ç õ e s e a u t o r e s
  53. 53. altmetric.com exemplo de integração do serviço altmetric numa página web de uma revista https://www.nature.com/articles/s41467-018-03808-6/metrics
  54. 54. plum analyticsh t t p : / / w w w . p l u m a n a l y t i c s . c o m
  55. 55. plum analytics d i s p o n i b i l i z a d a p e l a E B S C O I n f o r m a t i o n S e r v i c e s m é t r i c a s p a r a m a i s d e d u a s d e z e n a s d e f o n t e s d e i n f o r m a ç ã o , i n c l u i n d o a r t i g o s , c a p í t u l o s d e l i v r o s , c o n j u n t o s d e d a d o s , a p r e s e n t a ç õ e s e c ó d i g o f o r n e c e r e l a t ó r i o s p e r s o n a l i z a d o s d e s t i n a d o s a q u a n t i f i c a r a p r o d u t i v i d a d e d e p a r t a m e n t a l , a p o i a r c a n d i d a t u r a s a f i n a n c i a d o r e s … é c o m e r c i a l i z a d o p a r a a s u n i v e r s i d a d e s e o u t r a s i n s t i t u i ç õ e s d e i n v e s t i g a ç ã o Pl u m X Me t rics – a p l i c a ç ã o i n t e g r a d a e m b a s e s d e d a d o s e p o r t a i s d e e d i t o r e s , q u e f o r n e c e i n f o r m a ç ã o d o i m p a c t o e v i s i b i l i d a d e d e u m a r t i g o
  56. 56. PlumX Metrics exemplo de integração do serviço plum num registo de uma base de dados https://www.scopus.com/record/pubmetrics.uri?eid=2-s2.0-84907965045&origin=recordpage
  57. 57. impactStory profiles h t t p : / / i m p a c t s t o r y . o r g h t t p s : / / p r o f i l e s . i m p a c t s t o r y . o r g /
  58. 58. impactStory a p l i c a ç ã o w e b q u e v i s a f a c i l i t a r a m o n i t o r i z a ç ã o d o i m p a c t o d e u m a a m p l a g a m a d e r e c u r s o s d e i n f o r m a ç ã o , t a i s c o m o , a r t i g o s , d a t a s e t s , s l i d e s , c ó d i g o s d e s o f t w a r e e s t e s i s t e m a a g r e g a d a d o s d e v á r i a s f o n t e s d e i m p a c t o – M e n d e l e y , G i t H u b , T w i t t e r , S l i d e s h a r e , G o o g l e s c h o l a r , F i g s h a r e … e x i b i n d o n u m ú n i c o r e l a t ó r i o p o r a u t o r
  59. 59. impactstoryprofiles exemplo de relatório https://profiles.impactstory.org/u/0000-0001- 6728-7745
  60. 60. PLoS article-level metrics h t t p s : / / w w w . p l o s . o r g / a r t i c l e - l e v e l - m e t r i c s /
  61. 61. PLoS: article-level metrics D I S P O N Í V E L N A S R E V I S T A S D A P L o S D E S D E 2 0 0 9 m e d i ç ã o d o i m p a c t o a o n í v e l d o a r t i g o , a g r e g a i n f o r m a ç ã o d e d i f e r e n t e s f o n t e s , q u e i n c o r p o r a m n o v a s f o n t e s p a r a m e d i r o i m p a c t o d e r e s u l t a d o s c i e n t í f i c o s .
  62. 62. não existe uma solução perfeita, os vários indicadores podem e devem ser usados de forma complementar d e v e - s e combinar e s t a s n o v a s f e r r a m e n t a s c o m a s m a i s t r a d i c i o n a i s , a f i m d e o b t e r informações analíticas significativas e válidas
  63. 63. é importante uma atualização constante sobre este assunto por parte dos investigadores, instituições de I&D e entidades financiadoras da investigação
  64. 64. obrigado bibliotecas UA http://www.ua.pt/sbidm/biblioteca sbidm-referencia@ua.pt 2018 | workshops das bibliotecas UA

×