O documento discute métricas alternativas (altmetrics) para medir o impacto do trabalho acadêmico na web social. Ele explica o que são altmetrics, suas origens e categorias, além de apresentar ferramentas como o ImpactStory e Altmetric.com. O documento também aborda vantagens, desvantagens e como editores estão incorporando altmetrics.

1. Oficina Métricas Alternativas
Iara Vidal & Andréa do Nascimento
Participação Prof. Dra. Nanci Oddone
Programa de Pós-Graduação em Biblioteconomia/UNIRIO
Seminário Internacional “Ciência Aberta, Questões Abertas”
18 a 22 de agosto de 2014, Rio de Janeiro, Brasil

3. Andréa do Nascimento

5. Agenda
• Altmetrics
• Categorias
• Ferramentas
– ImpactStory
– Altmetric.com

6. Altmetrics/Altmetria
Métricas baseadas na Web Social para analisar e
informar atividades acadêmicas
• O ciclo de pesquisa não termina com a
publicação, mas com o compartilhamento
• Altmetrics permitem que o pesquisador veja
onde seu trabalho está sendo visualizado,
compartilhado e discutido na web

7. Origens da Altmetria

8. Origem do termo
• Altmetrics: a manifesto / Jason Priem, Dario
Taraborelli, Paul Groth, Cameron Neylon
(2010)
• Uma solução para a crise dos filtros da
ciência – revisão por pares, contagem de
citações, fator de impacto de periódicos

9. Caminhos Alternativos
• Métricas Alternativas: compartilhamentos,
etiquetas/tags, anotações, comentários...
• Produtos Alternativos: blogs, dados brutos,
literatura cinzenta, software...
• Públicos Alternativos: organizações, médicos,
pacientes, educadores, estudantes, cientistas
amadores...
• Pesquisadores Alternativos (ALPERIN, 2013): os
que estão fora da “elite” científica

10. Múltiplas Dimensões
IMPACTO
USO
Downloads
Visualizações
REVISÃO
POR PARES
Opinião de
especialistas
CITAÇÕES
ALTMETRICS
Favoritos
Conversas
Compartilhamentos
Adaptado de altmetrics.org

11. Vantagens da Altmetria
• Complemento aos métodos tradicionais de
avaliação (San Francisco Declaration on
Research Assessment – DORA, 2012)
• Diversidade: métricas diversas, produtos
diversos, capturando múltiplas dimensões do
impacto científico
• Velocidade: Apuração quase imediata da
atenção recebida por um trabalho científico

12. Desvantagens da Altmetria
• Possibilidade de manipulação
• Falta de credibilidade: medida de impacto ou
de popularidade?
• Heterogeneidade e efemeridade das fontes e
indicadores altmétricos
Contextualizar é indispensável!

13. Categorias
Journal-level metrics
• Fator de impacto
• Eigenfactor
• SJR e SNIP
Author-level metrics
• H-Index
Article-level metrics
• Análise tradicional de citações
• Novas maneiras de medir impacto/atenção = altmetrics

14. Medidas de impacto
Extraído de TANAMBAUM, G. Article-Level metrics: a SPARC primer. 2013.

15. Article-Level Metrics (ALMs)
• ALM é muitas vezes confundido com Altmetrics
• ALM tenta medir o impacto de um artigo usando
fontes de dados tradicionais e alternativas
• Incorporar fontes de dados emergentes (alternativas)
fornece uma imagem mais rica sobre como esse
artigo está sendo discutido, compartilhado e usado

16. ALMs vs. Altmetrics
Altmetrics
Dados
tradicionais
ALMs
ALMs =
tentativa de
medir impacto
no nível do
artigo
Altmetrics =
fontes de
dados, não é
nível de
agregação

17. Altmetrics
Citações
Tweets; Leitores no
Mendeley; Menções na
Wikipédia, na mídia (...)
Reuso de software
Citação de dados
(...)Adaptado de Ian Mulvany
(Flickr)
Métricas de
Artigo
(ALM)
Métricas
Alternativas

18. Tipos de dados
Dado Descrição Exemplos
Shares / Mentions
Post público para compartilhar notícias
de um artigo ou resultado de pesquisa
Twitter, Topsy, Facebook, reddit,
artigos de notícias, blog posts,
Google+, YouTube, Figshare,
Mendeley
Saves / Captures
Salvo em um site de bookmark social ou
marcado como favorito em um site de
mídia social ou gestor de referência
Mendeley, CiteULike, Delicious,
Github, Twitter, and Slideshare
Reviews / Social Media
Discutido com inclusão de um
comentário adicional
Faculty of 1000 (F1000), blog posts,
comentários de artigos, comentários
no Facebook
Adaptations
Criação de trabalhos derviados usando
um artigo ou outro resultado de
pesquisa
Github
Views / Usage
Downloads ou views em web services e
sites de mídia social
Figshare, Slideshare, Dryad,
Facebook, YouTube, LinkedIn
Cites Citações em literatura acadêmica Pubmed, Scopus, Web of Science
Adaptado de: KONKIEL, S. Altmetrics: A 21st-Century Solution to Determining Research Quality. Online searcher, v. 37, n. 4, p. 10-15, 2013; e
TANAMBAUM, G. Article-Level metrics: a SPARC primer. 2013.

19. Editores e Altmetrics
Editores firmam parcerias para incluir altmetrics em seus artigos
online:
• Elsevier
• BioMed Central
• Nature
• Springer
• PLOS
• Emerald
• Wiley
• EBSCO
• High Wire Press

20. Ferramentas
• Altmetric Explorer
• ImpactStory
• Plum Analytics
• PLOS ALM
E ainda...
• Kudos
• ScienceCard
• ReaderMeter
• PeerEvaluation
• Research Scorecard

21. • Altmetric.com rastreia menções de artigos científicos em sites de
mídia social, jornais, blogs e outras fontes, e registra a resposta
online a esses artigos
• Empresa com fins de lucro
• Adotada por diversos editores, bases de dados e periódicos
• Altmetric score indica a atenção recebida por um determinado
item, ponderando quantidade e “qualidade” da menção
• Três fatores principais: número de menções, onde foi feita a
menção e frequência de menções do autor

23. • ImpactStory é uma ferramenta na nuvem, de código aberto, que
permite aos pesquisadores descobrir e compartilhar os diversos
impactos de seus produtos de pesquisa, de artigos a posts em
blogs, datasets, e software, entre outros.
• Voltada para pesquisadores, permite importação de registros de
outros sites e inserção manual de identificadores de artigo/autor.
• Assinatura mensal (US$10) ou anual (US$60)
• Métricas abertas e contextualizadas
• classificadas por audiência e por tipo de engajamento –
citações, recomendações, discussões, etc.

25. • Plum Analytics permite que instituições acompanhem a influência
de seus pesquisadores, usando altmetrics para rastrear mais de 20
diferentes tipos de 'artefatos', incluindo artigos de periódicos,
livros, vídeos, apresentações, trabalhos de conferência, códigos,
casos, e mais.
• Vendido a universidades e institutos de pesquisa como um meio de
aferir a produtividade de departamentos e grupos
• Disponível por assinatura. Adquirido pela EBSCO em 2014.
• Inclui métricas relacionadas a produtos, grupos, pesquisadores,
laboratórios, departamentos etc

27. • Article Level Metrics disponível para todos os artigos
publicados na PLOS. Rastreia uso, citações e atividade social na
web.
• Inclui visualizações em HTML, downloads de PDFs e XML, uso
no PubMed Central, citações em bases de dados e mecanismos
de busca externos (incluindo Google Scholar e Scopus),
Facebook, Twitter, blogs, e comentários no próprio site.

28. • Monitora a influência dos artigos a curto, médio e longo prazo
• Indicadores: estatísticas de uso, compartilhamentos sociais, bookmarks acadêmicos,
citações acadêmicas ou não
• Audiências: público em geral e acadêmico
• Dimensões: atenção, autopromoção e impacto
• Adotada também por outros editores, instituições e publicações
(ex: OJS/PKP)
• API permite usar e melhor desenvolver a ferramenta de ALM
construída pela PLOS.

30. Prática

31. Prática

32. Artigo sobre os impactos
ecológicos do acidente
nuclear em Fukushima.
• > 1,859 twitter compartilharam,
total combinado de seguidores
2.5M.
• 68% dos tweets enviados do
Japão.
• 77% dos tweets de membros
do público.
2012, Scientific Reports 2, 570Figure 1
Métricas vs. Evidência de impacto

33. Exemplo: artigo de autores da USP

38. Altmetrics score
Volume
AutorFonte
Number = score
Blue = Twitter
Yellow = blogs
Red = news

39. • Maioria dos artigos tem score 0
• Média de 30-40% de artigos de publicação
mencionados pelo menos uma vez
• Dados incompletos para artigos publicados antes de
julho de 2011
• Explorer app
• Bookmarklet
• Badges
• Widget
Altmetrics score

40. OBRIGADA!
Iara Vidal - @iaravps / iaravidalps@gmail.com
Andréa do Nascimento - @deiafix / aandreafg@gmail.com
Prof. Dra. Nanci Oddone – neoddone@gmail.com
Seminário Internacional “Ciência Aberta, Questões Abertas”
18 a 22 de agosto de 2014, Rio de Janeiro, Brasil