1. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
1
Bibliométrie :
panorama,
critiques,
perspectives
Bibliométrie :
panorama,
critiques,
perspectives
2. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
2
En 3 mots,
que vous évoque
le terme
« Bibliométrie » ?
3. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
3
➔ Définition des concepts
➔ Panorama des indicateurs
➔ Les nouvelles formes de
bibliométrie et d'évaluation de la
recherche
sommaire de la formation
4. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
4
la bibliométrie : définition
« méthode d’analyse quantitative de
l’activité de recherche, applicable à toutes
les entités de recherche (individus, équipes,
établissement, pays) pour mesurer le niveau
de production scientifique et son impact »
Comité national d'évaluation de la recherche (CNER)
5. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
5
à l'origine
Derek John de Solla Price dans
Little Science, Big Science
(1963) analyse le récent système
de communication scientifique et
jette les fondations des
techniques d’évaluation de la
recherche moderne
6. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
7
à l'origine
Eugene Garfield, fondateur de
l'Institute of Scientific
Information (ISI) a placé la
citation d'article au fondement
de la construction d'indicateurs
bibliométriques
7. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
8
Quel est le point
commun entre H-Index,
Journal Impact Factor et
le classement de
Shangaï ?
8. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
9
citation d'article
Toute la bibliométrie est basée sur l’analyse
des citations, i.e. sur les indications
bibliographiques des « Références » ou
« Bibliographie » des articles
Qui recense ?
À partir de quelle source ?
Avec quelle méthodologie ?
9. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
10
citation d'article
« Citations are signposts left behind after
information has been utilized »
L. C. Smith
« frozen footprints in the landscape of
scholarly achievement which bear witness of
the passage of ideas »
B. Cronin
10. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
11
citation d'article
1ère
étape
Collecte
travail colossal
impossible à mener à
bien de manière
exhaustive
2ème
étape
Construction
définir la formule
mathématique qui
permet une évaluation
chiffrée à partir des
données brutes
Pratiques de citation et de
publication très variables
d’une discipline à l’autre
11. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
12
critiquer les sources de citations
L’analyse bibliométrique se base sur de
larges bases de données
bibliographiques qui doivent être
évaluées au regard de leur couverture,
leurs fonctionnalités, leur disponibilité
12. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
13
la couverture des bases
➔ Type de documents
➔ Antériorité
➔ Domaines de recherche couverts
➔ Variété linguistique
13. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
15
Web of Science
1ère et principale base de
données bibliographiques pour
la production d'indicateurs
bibliométriques
Fondé dans les 60's, 12 000
revues indexées en 2014,
antériorité jusqu'à 1900
Sujet de nombreuses
critiques en raison de sa
position historique sur le
marché
3 index de citations : Science
Citation Index, Social Science
Citation Index et Art &
Humanities Citation Index
14. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
16
Web of Science
➔ couverture très variable en fonction des
champs de recherche
➔ limité aux citations des revues, prend mal
ou pas en compte les citations d’autres
sources (livres, actes de conférence, etc.)
➔ Biais américain : couvre principalement
Amérique du nord, Europe occidentale et en
langue anglaise (98% des articles)
➔ base payante et coûteuse
15. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
17
SCOPUS
Principal challenger de
Web of Science
Fondé dans les années 2000,
21 000 revues indexées,
antériorité jusqu'à 1995
Géographiquement, plus
diversifié
Plus varié dans les supports
indexés (livres, collections,
conférences)
16. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
18
Google Scholar
Lancé en 2004, avec
pour objectif un
couverture très large
Imprécision voire fantaisie
des résultats démontrée
Ressource gratuite
Sources indexées
confidentielles
Services aux utilisateurs : identification
des auteurs et indicateurs
bibliométriques personnalisés
17. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
19
Google Scholar
Lancé en 2004, avec
pour objectif un
couverture très large
Imprécision voire fantaisie
des résultats démontrée
Ressource gratuite
Sources indexées
confidentielles : bases des
revues + archives ouvertes ?
Services aux utilisateurs : identification
des auteurs et indicateurs
bibliométriques personnalisés
18. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
20
Les limites des bases
➔ Les corpus peuvent favoriser un champs
disciplinaire au détriment d'un autre
➔ Identification des auteurs et des revues
➔ Difficulté d'attribution
➔ Comment compter quand plusieurs versions
d'un même document sont en ligne ?
➔ Les bases sont plus complémentaires que
concurrentes
19. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
21
Le bon indicateur
➔ Adéquation avec l’objet
la mesure est-elle appropriée à l’objet évalué?
➔ Homogénéité dans la mesure
le mélange d'indicateurs est-il fiable ?
➔ Respect de l’inertie propre à l’objet
prendre le temps de mesurer le changement
20. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
22
Journal Impact Factor (jif)
jif(N) = A / B
où A = nombre de
citations pendant
l'année N des articles
parus les années N-1 et
N-2
où B = nombre
d'articles citables parus
pendant les années N-1
et N-2
21. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
23
Critiquer l'Impact factor
➔ N (années de référence)
Rien ne prouve l'intérêt d'une fenêtre de 2 ans
Le pic de citation est souvent plus long
➔ A (nombre de citations)
Les auto-citations sont comptabilisées
Pratiques de citations différentes entre les
disciplines
➔ B (nombre d'articles)
Variable selon la périodicité, le nombre
d'articles par numéro
22. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
24
Critiquer l'Impact factor
➔ Compte tenu de la marge d'erreur, les
décimales du jif ne sont pas significatives
➔ Le jif d'une revue peut être porté par
quelques articles
➔ Le jif ne distingue pas les revues populaires
des revues prestigieuses
➔ Le jif est-il le bon indicateur pour mesurer
l'impact d'une revue ? D'une article ?
23. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
25
Alternatives au jif
➔ Refuser la tyrannie du jif comme le
Research Excellence Framework
britannique
aucun comité britannique ne prendra en compte l’IF d’un
journal scientifique pour déterminer la qualité d’un résultat
de recherche soumis à évaluation
➔ Compléter le jif par de nouveaux
indicateurs complémentaires
24. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
26
Alternatives au jif
Y-factor
Combine le facteur d'impact et le PageRank
pour déterminer la qualité d'une citation et
pour classer les revues qui présentent un jif et
un PageRank élevé
25. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
27
Alternatives au jif
Eigenfactor
Ratio de citations reçues par l’ensemble
des articles de la revue au cours des 5
dernières années sur le total de citations
reçues par l’ensemble des articles des
revues enregistrées dans le JCR sur la
même période.
Intègre dans son calcul le prestige des
revues citantes.
26. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
28
Alternatives au jif
Eigenfactor
Ratio de citations reçues par l’ensemble
des articles de la revue au cours des 5
dernières années sur le total de citations
reçues par l’ensemble des articles des
revues enregistrées dans le JCR sur la
même période.
Intègre dans son calcul le prestige des
revues citantes.
27. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
29
Alternatives au jif
Eigenfactor
Ratio de citations reçues par l’ensemble
des articles de la revue au cours des 5
dernières années sur le total de citations
reçues par l’ensemble des articles des
revues enregistrées dans le JCR sur la
même période.
Intègre dans son calcul le prestige des
revues citantes.
28. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
32
Indicateur au niveau de l'article
Il existe une corrélation entre nombre de
téléchargements d'un article et nombre de
citations même si elle varie d'une discipline à
l'autre
Mais :
➔ difficile à établir pour un auteur donné
➔ ne prend pas en compte les nouveaux modes de
diffusion (page perso, archive ouverte, réseaux
sociaux)
➔ valorisation des articles les plus téléchargés favorise
mécaniquement ces articles
➔ fiabilité relative : calculés par les éditeurs eux-mêmes,
29. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
33
H-Index
Le H-Index d'un chercheur est le
plus grand nombre H de
publications tel que chaque article
a reçu au moins H citations
➔ Créé par Jorge E. Hirsch (Université de
Californie à San Diego) en 2005
➔ Tentative de résumer à la fois la
productivité et l’impact d’un chercheur
➔ Favorise les chercheurs qui publient un
flux continu de papiers influents
30. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
34
H-Index
Calculer le H-Index
Classer tous les articles
d'un chercheur par
ordre décroissant de
citation
Quand le rang de
l'article est supérieur
aux nombres de
citations, alors le rang
précédent équivaut au
H-Index
Rang Article Citations
1 Art D 46
2 Art B 40
3 Art G 21
4 Art A 15
5 Art C 10
6 Art F 7
7 Art E 3
8 Art H 2
9 Art I 0
Dans l'exemple ci-dessus, le H-
Index est de 6.
Le rang dépasse le nombre de
citations à l'article E (7>3). Le
rang précédent est donc le H-
Index
31. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
35
Critiques du H-Index (1)
➔ Désavantage les jeunes chercheurs tant
que leur nombre de publications et de
citations seront faibles
➔ Ne prend pas en compte le nombre de
co‑auteurs de la publi et leur position
relative
➔ Indicateur fortement dépendant de la
discipline
➔ Désavantage beaucoup les corpus
d'articles petits mais très fortement cités
➔ Autorise les chercheurs à se reposer sur
leurs lauriers
32. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
36
Critiques du H-Index (2)
➔ Ne prend pas en compte les citations
négatives
➔ Ignore la contribution de l’auteur dans le
papier
➔ Dépend de la base de données
bibliographiques utilisée
➔ Ne fonctionne qu’avec les articles, pas
avec les brevets, les billets de blog ou les
livres
➔ Ne prend pas en compte l’influence sur les
politiques publiques
33. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
37
Corriger le H-Index
➔ Diviser l’index par l’âge académique de
l’auteur
➔ Pondérer chaque article cité par l’âge
relatif de l’article, donnant moins de poids
aux articles les plus vieux
➔ Ajuster l’index par le nombre moyen
d’auteurs dans les H publications
➔ G-Index (Egghe) : plus grand nombre
d’articles pour lesquels il est vrai de dire que
l’ensemble des G articles ont reçu au moins G²
citations
34. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
39
Altérer les indicateurs
➔ Saucissonnage : découper ses travaux en plusieurs
articles ne contenant qu’un élément important de la
recherche
➔ Auto-citation ou erreur de citation
➔ frein à la prise de risques : orienter les jeunes
chercheurs vers les domaines où les résultats
s’obtiennent plus rapidement
➔ Effet de halo : citer les références ou chercheurs
qu’on estime les plus importants
➔ citations secondaires : omettre les articles de
base et ne citer que les résultats les plus récents
➔ Citation négative : les mentionner ou les éviter
35. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
40
Altmetrics : mesurer autrement
L’altmétrie est l’étude et l’usage des
mesures d’impact académique basée sur
l’activité sur les outils et l’environnement
numérique
Les altmétriques se basent sur les partages,
recommandations, réutilisations de
documents identifiés par un DOI ou une URL
Elles sont calculées essentiellement au
niveau de l'article
Produites par différentes sociétés et
éditeurs : PLOS, ImpactStory, ReadMeter,
Altmetrics.org, etc.
36. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
41
Altmetrics : mesurer autrement
➔ Usages : pages HTML vue,
téléchargements PDF/XML
➔ Marque-page : Delicious, CiteULike,
Scoop.it
➔ Mentions : billet de blog, actualité,
commentaire, article Wikipédia, review
➔ Réseaux sociaux : Twitter, Facebook,
Google+, partage, ratings
➔ Citations : Web of Science, Google
Scholar, Scopus, Pubmed Central
37. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
42
Altmetrics : mesurer autrement
L’altmétrie est l’étude et l’usage des
mesures d’impact académique basée sur
l’activité sur les outils et l’environnement
numérique
Les altmétriques se basent sur les partages,
recommandations, réutilisations de
documents identifiés par un DOI ou une URL
Produites par différentes sociétés et
éditeurs : PLOS, ImpactStory, ReadMeter,
Altmetrics.org, etc.
38. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
43
Altmetrics : mesurer autrement
L’altmétrie est l’étude et l’usage des
mesures d’impact académique basée sur
l’activité sur les outils et l’environnement
numérique
Les altmétriques se basent sur les partages,
recommandations, réutilisations de
documents identifiés par un DOI ou une URL
Produites par différentes sociétés et
éditeurs : PLOS, ImpactStory, ReadMeter,
Altmetrics.org, etc.
39. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
44
Altmetrics : mesurer autrement
L’altmétrie est l’étude et l’usage des
mesures d’impact académique basée sur
l’activité sur les outils et l’environnement
numérique
Les altmétriques se basent sur les partages,
recommandations, réutilisations de
documents identifiés par un DOI ou une URL
Produites par différentes sociétés et
éditeurs : PLOS, ImpactStory, ReadMeter,
Altmetrics.org, etc.
40. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
45
Altmetrics : mesurer autrement
L’altmétrie est l’étude et l’usage des
mesures d’impact académique basée sur
l’activité sur les outils et l’environnement
numérique
Les altmétriques se basent sur les partages,
recommandations, réutilisations de
documents identifiés par un DOI ou une URL
Produites par différentes sociétés et
éditeurs : PLOS, ImpactStory, ReadMeter,
Altmetrics.org, etc.
41. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
46
Critique des altmetrics
Les altmétriques mesurent l'impact des
articles en dehors des espaces scientifiques
➔ Risque d’achat d’espace d’exposition pour
truquer les indicateurs
➔ Mauvaise interprétation des résultats,
innocente ou délibérée
➔ Sujets racoleurs : sexe, drogues, crime, jeu
vidéo, chocolat
➔ « Les altmétriques sont produites par et pour
des gens qui ne comprennent pas la
recherche »
42. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
47
L'évaluation par les pairs
Système apparue dans les années 40 pour
Science et JAMA, 1967 pour Nature
Double blind
évaluateurs et
auteurs sont
anonymes
Single blind
les évaluateurs
anonymes mais
auteur(s) connu(s)
1 ou plus rarement 2 navettes entre
évaluateurs, éditeurs et auteurs
Rapport de lecture visible uniquement par les
auteurs et l'éditeur
43. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
48
Évaluation alternative
➔ Révéler les noms des évaluateurs et
l’historique de la pré-publication (comme
le BMJ en 1999-2000)
➔ Transformer la soumission en Discussion
Paper archivé avec tous les commentaires
et critiques avant acceptation
(Atmospheric Chemistry and Physics)
➔ Divulguer les évaluateurs et publier les
rapports de lecture (Biology Direct, EMBO
journals, BMJ Open entre 2006-2011)
44. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
49
Faculty of 1000
F1000 Prime : système d'évaluation alternatif
lancé en 2002 pour la biologie et en 2006
pour la médecine
Diversification vers l'édition scientifique avec
F1000 Research et F1000 Posters
Des chercheurs reconnus évaluent et notent
des articles récemment lus dans leur
domaine selon des critères précis (changes
clinical practice, confirmation, controversial, good for
teaching, interesting hypothesis, new finding, novel
drug target, refutations)
45. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
51
Science
needs
timeSlow Science Manifesto
46. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
52
Slow Science
La Slow Science part du constat des dérives
de la Fast Science
1990 : Eugene Garfield est l’un des premiers
à en parler dans “Fast Science vs Slow
Science”
2006 : Article de la biochimiste australienne
Lisa Alleva dans Nature
2010 : apparition d'une Slow Science
Academy (Berlin) et d'un manifeste
47. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
53
Slow Science
Basé sur le mouvement Slow food, la Slow
Science engage à prendre du temps pour ne
pas précipiter les résultats et vérifier les
travaux de tiers
Les défenseurs de la Slow Science
préconisent de repenser l’évaluation de la
recherche, de mieux informer le public de la
réalité de la recherche (temps et financement
longs)
Ils militent également pour une autre rapport
au travail de recherche fondé sur le plaisir
48. 31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales
54
Des questions ?
Plus d'informations ?
nicolas.alarcon@univ-reunion.fr
Merci de votre attention
Crédits photo :
Scientists: Are we producing too many? / MaRS Discovery District / CC by-nc-sa
Signpost / Anthony / CC by-sa