Perspectives de l’évaluation ouverte dessinée par la voie verte de l’Open Access, quelle réflexion portée par OpenEdition@Inria ?

Perspectives de l’évaluation ouverte
dessinée par la voie verte de l’Open Access,
quelle réflexion portée par le Service Edition
Scientifique Inria ?
Nice, journée nationale d’étude URFIST 2014

Introduction :
Quelques mots sur Inria
De l’IST à l’IES
Episciences IAM
Du journal à l’épi-journal : pour un partage plus équitable des
connaissances
Workflow éditorial
Deux premières revues: JDMDH et DMTCS
Services proposés
Evaluation ouverte :
Définition
Historique de l’évaluation
Les enjeux
Evaluation Ouverte et édition scientifique Inria
Conclusion :
L’épi-journal et son environnement futur ?
Episciences IAM - Journée URFIST 2014 - 2

Institut National de Recherche
en Informatique et Automatique

Inria
4
•un établissement public de recherche dédié aux
sciences du numérique (EPST) créé en 1967
•institut public de recherche entièrement dédié aux
sciences du numérique
•à l’interface des sciences informatiques et des
mathématiques
•développement des technologies numériques de
demain
Episciences IAM - Journée URFIST 2014

Axes de recherche
• STIC pour les sciences de la vie et
de l’environnement
• Mathématiques appliquées, calcul & simulation
• Perception, cognition, interaction
• Réseaux, Systèmes et services, calcul distribué
• Algorithmique, programmation, logiciels et
architectures

Les chiffres clés
6
4,400
Personnes
(dont 60 % salariés
d’Inria)
62
Equipes associées
dans le monde entier
8
Centres de
Recherche en france
41
181
Equipes projets
4,450
Publications
scientifiques
Conférences
internationales
UN BUDGET DE
250
Brevets en activité
(au total)
265 M€
Dont plus de 29% de
ressources propres
3,400
Scientifiques
1250 Doctorants
280 Post-Doctorants
460 ingénieurs R&D
Budget IST/IES
Env. 1 M€/an
Dont 85%
abonnement
électronique

L’Open Access chez Inria

2004 – 2014 dix ans s’investissement
• 2004-2005 : début de la collaboration avec le CCSD pour créer HAL-Inria
lancement le 01/04/2005
• 2005 – 2013 : le temps de l’incitation
–Investissement des documentalistes : Formation communication et gestion
des dépôts
–Reprises de corpus : base des publications du Loria
–Migration de la gestion des Rapports de Recherche et Rapports Techniques
dans HAL-Inria

2004 – 2014 dix ans s’investissement
• Développement d’outils et services pour les chercheurs et les documentalistes :
haltools et haltools-gestion
• Accompagnement de certaines conférences pour la diffusion des actes
• 2013 - -> HAL-Inria référentiel officiel de la production scientifique Inria
–Listes des publications pour les évaluations et rapport d’activité extraites
quasi exclusivement de HAL
–Indicateurs bibliométriques réalisés à partir de HAL
–Mise en place des services Édition Scientifique Inria et Archives Ouvertes
dans la cadre de l’évolution de l’IST vers l’IES.

Traduction dans la politique Inria
• Gold
–Adoption maîtrisée et inquiétudes
–Rejet du modèle hybride
–Mise en place d’un suivi sur le modèle Gold
–Tableau de bord des revues: coût, qualité, prédateurs
–Financement centralisé
–Bilan et suivi annuel

Traduction dans la politique Inria
• Green
–Priorité forte sur le (épi)-green
–Dépôt obligatoire de toutes les publications Inria sur HAL
–Utilisation exclusive des listes extraites de HAL pour nos
évaluations et nos rapports d’activité
–Projet de plate-forme ouverte d’epi-journaux

Vers une offre de service Green
• HAL-Inria pour l’ensemble de la production
• Episcience pour les revues
• SciencesConf pour les conférences

De l’IST à l’IES

IST => IES
• Création du service Edition Scientifique Inria
• Création du service Archives Ouvertes
• Dans un réseau Information et Edition Scientifique de la
direction scientifique Inria.

Présentation de l’équipe
1, 95 ETP
Laurent ROMARY
(Scientific Information and
Publishing Service Advisor)
Hélène LOWINGER
Publishing Service Officer)
0,75 ETP
Gaëlle RIVERIEUX
(Scientific Information and Publishing
Service Coordinator )
0,1 + 0,9 ETP Alain MONTEIL
Publishing Service Officer)
0,2 ETP

Episciences IAM

Du journal à l’épi-journal pour un partage plus
équitable des connaissances
• Qui crée de la valeur ?
–recherches conduites par les chercheurs
–articles écrits par les chercheurs
–relecture et sélection des articles  chercheurs
–promotion et dissémination de l’information  défis pour les chercheurs
• Interrogeons le système
–Qui finance la recherche et les chercheurs ?
–Comment les chercheurs et leurs institutions prennent-ils en compte les
problématiques liées à l’information scientifique ?
• Les partenaires
–Les éditeurs : offrent-ils le bon service au bon tarif ?
–Les sociétés savantes : dans quelle mesure travaillent-elles au service de la
recherche ?

L’épi-journal: une réponse à un
déséquilibre ?

Du journal à l’épi-journal pour un partage plus
équitable des connaissances
[Holzschuch 2012] « There is room for a new publication model,
combining Open Archives for immediate access with editorial peer-reviewing
»
Attentes concernant un nouveau modèle de publication
–Permettre les échanges entre scientifiques
–Réunir plusieurs objets : images, codes, vidéos…en liaison avec
l’article
–Outil souple et robuste
–Multidisciplinaire
–Lié à un processus éditorial de haute qualité scientifique
–Indépendant financièrement, durable et stable
–Non lié au modèle « Gold » pour conserver son indépendance
scientifique

L’Epi-Journal : définition
 L’épi-journal (Overlay Journal) : journal électronique en
libre-accès, soumission des articles via une ou plusieurs
archive(s) ouverte(s) ;
 Offrir un accès définitif, libre et immédiat aux résultats
scientifiques, sans embargo, ni contrepartie financière
 Rupture chez Episciences IAM : libre accès via un « fair
access » ; Proposer une alternative à l’édition classique qui
soit scientifiquement viable

La vision d’episciences IAM
Un projet qui se trouve à la croisée des chemins,
entre rupture et continuité
21
Des contenus
scientifiques de
haut niveau
« accessibles »
pour le lecteur et
l’auteur
Reprise en main
par les
communautés
scientifiques de
leurs revues
Rôle des epi-comités
pour garantir
cohérence, haute
qualité et
candidatures des
revues
S’adresse à toutes
revues « migrantes »,
« émergentes », ou «à
des revues
indépendantes »
Continuité Continuité Rupture Rupture

Episciences : les acteurs
• Le CCSD et sa plateforme pour le
peer-reviewing et l’édition d’epi-journaux
• Des communautés thématiques :
–Episciences Maths – Institut Fourier
–http://episciences.org/page/epimath
–Episciences IAM Informatics &
Applied Mathematics – Inria
–http://episciences.org/page/epiiam

Workflow éditorial
L’auteur dépose un pre-print dans
une archive ouverte compatible (Hal,
Arxiv, CWI….) 1
L’auteur soumet son article à un
épi-journal (saisie de l’ID,
remontée des informations et du
pdf)
Le Rédacteur en Chef assigne des
relecteurs qui peuvent commencer
leur travail de relecture et
d’évaluation de l’article
Les relecteurs peuvent demander
des corrections avant de donner leur
accord pour publication ou rejet de
l’article par la revue
Validation par le Rédacteur en Chef
pour la publication d’un n° de revue
après mise en page, mise en forme,
puis actions de communication
23
2
3
4
5
L’epi-comité gère les
candidatures de revues via
un collège scientifique et
international de haut niveau
Le rédacteur en chef est
assisté d’un comité
éditorial
Epi-comité comme
chercheur d’Innovation

L’épi-journal : « Go »

L’épi-journal : « No Go »

JDMDH : Journal of Data Mining and
Digital Humanities
• Revue nativement créée via Episciences
• Humanités numériques et fouille de données : domaine encore
peu structuré au niveau éditorial
• Un comité scientifique qui a collectivement décidé de passer en
OA
• Le rédacteur en chef avait été contacté par un éditeur
prédateur  recherche de partenaire sérieux en OA
• Parution trimestrielle
• En ligne depuis le 24 juin, avec 6 articles pour le volume 0 …

http://jdmdh.episciences.org

DMTCS : Discrete Mathematics and
Theoretical Computer Science
• Sujets à l’intersection entre ces deux domaines
• Existe depuis 1997 : serveur interne (+mail), puis OJS, puis abandon
• Problématique de reprise de données dans HAL pour 34 n° de revues
en 15 volumes, 411 articles (dont n° spéciaux et proceedings) ;
croisement d’infos (DBLP, BibTeX…) , corrections des métadonnées
pour l’import dans HAL.
• Délai d’acceptation d’un article : 12 mois ; édition : 2 semaines
• Recherche de qualité et d’immédiateté
• Pourquoi Episciences ?
–Rejoindre une communauté et une mutualisation de services
–Bénéfice de services « supports »

http://dmtcs.episciences.org

Services proposés
• Management : peer-reviewing, feedback, relances, parution des
revues et des numéros
• Qualité : bibliographies, métadonnées, références…
• Communication et animation de communautés : publicité,
réseaux sociaux, modération des discussions en ligne
• Visibilité, indexation, référencement (DBLP, Scopus…)
• Services techniques via infrastructure HAL
• Archivage à long terme
• Web design, Archivage des échanges sur la plateforme
• Coordination copy-editing (via un prestataire probablement)
• Licence auteur : CC-BY

Evaluation ouverte…

Rapide historique de l’évaluation par les pairs
• Longtemps aucune évaluation scientifique n’était appliquée. Le temps de la
correspondance scientifique et des sociétés savantes…
• Avec l’arrivée des éditeurs, professionnalisation dans la forme et la diffusion.
Face à l’augmentation des volumes appel aux experts pour l’évaluation. Pas
d’anonymisation…
• Au cours du XXème siècle et surtout après la seconde guerre mondiale mise en
place de l’anonymisation : deux modèles :
–anonymisation des auteurs seul
–anonymisation des auteurs et des relecteurs
• Le temps du Web retour sur l’anonymisation et sa pertinence

Le contexte Green Open Access
• Anonymisation des auteurs disparait
• Le document est public immédiatement
• Il peut être accompagné de commentaires

Une offre de service à la carte par
Episcience IAM en matière d’évaluation
• Un principe fondamental : la politique est définie par la revue sur le
socle du principe de l’épijournal
• Classique : évaluation menée en interne, aller/retour avec l’auteur
=> aucune visibilité externe
• Semi-ouvert : une partie des éléments de l’évaluation est accessible à
tous =>défini par le comité éditorial
• Ouvert : tous les éléments de l’évaluation sont public
• Social : intégrer la dimension réseau social scientifique où chacun peut
apporter un commentaire ou un avis sur un document scientifique

Communication scientifique et évaluation
ouverte
• L’évaluation ouverte vue comme un échange / débat
• Quel degré de participation : des relecteurs, un comité, un éditeur
etc…
• Intégrée à la publication par les versions ou mis en annexe
• La communication sera-t-elle figée ou évolutive ?
• Notion d’auteurs collectifs

Bénéfices attendus de l’ouverture de
l’évaluation
• Meilleur niveau scientifique des documents soumis
• Meilleure argumentation dans l’évaluation
• Compléter le document par les commentaires pour améliorer sa
lisibilité
• Réduire considérablement les conflits d’intérêts
• Participe à la lutte contre le plagiat et les junk documents
• Meilleure gestion des versions du document
• Evolution du peer-review modèle MyScienceWork par exemple « folks
peer reviewing »

Conclusion
L’épi-journal et son environnement futur ?

L’épi-journal et son environnement
futur ?
• Flexibilité pour epi-sciences IAM : ne rien imposer aux
revues
• Explorer et accompagner de nouveaux modèles en
matière d’évaluation
• Intégrer dans un environnement de type réseau social
scientifique

L’epijournal : au coeur de la revue de
demain
41
« Green Open Access »
Solidité des archives
ouvertes (Hal, ArXiv….)
Réduction des délais de
publications
Pour la communauté IAM :
aider à répondre aux
attentes en termes
d’adéquation des rôles
entre revues et actes de
conférences, normaliser les
activités de communication
scientifique
Les revues
« augmentées »
Le « collège
invisible »
Donner accès au
plus grand nombre Documenter les
programmes et
algorithmes
epi-journaux
Echanger
Discuter, partager,
contribuer aux
réseaux sociaux
scientifiques….
Critiquer dans une
approche
constructive
Chercher à faire
progresser la qualité
des pre-prints
Chercher la pépite,
l’innovation qui se
cache peut-être
derrière des
formulation
maladroites
Reproductibilité des
programmes
Permettre le contrôle des
calculs, preuves…
Tester des jeux de données
pour lancer de nouvelles
applications (sérendipité)
Aller vers plus de
transdisciplinarité
Référencer, indexer ces
programmes, (DOI),
changer la granularité : du
document vers la donnée

Références

Références :
Bernat, Andrew P. «Thoughts on the publication culture in computing research.» Dagstuhl
Perspectives Workshop: Publication Culture in Computing Research, Dagstuhl, 2012.
John Bohannon. Who's Afraid of Peer Review? In Science 4 October 2013: Vol. 342 no. 6154 pp.
60-65 DOI: 10.1126/science.342.6154.60
Chen, Jilin and Konstan, Joseph A. «Conference Paper Selectivity and Impact.» in Commun. ACM,
June 2010: 79--8.
Fortnow, Lance. «Separating the Editorial from the distribution in CS publications.» Dagstuhl
Francke, H. (2014). Dimensions of Credibility: Review as a Documentary Practice. In iConference
2014 Proceedings (p. 1051–1055). doi:10.9776/14379
Grudin, Jonathan. «Conferences, Journals and the competitive exclusion principles.» Dagstuhl
Hermenegildo, Manuel V. «Conferences vs. Journals in CS, what to do ? Evolutionary ways forward
ICLP/TPLP Model.» Dagstuhl Perspectives Workshop: Publication Culture in Computing Research,
Dagstuhl, 2012.
Holbrook, J. Britt. Does open access really threaten peer review?. UNT Digital Library.
http://digital.library.unt.edu/ark:/67531/metadc84328/. Accessed September 17, 2014

Références :
Holzschuch, Nicolas. «Open Archives and the Invisible College: driving forces towards a new
publication model.» Dagstuhl Perspectives Workshop: Publication Culture in Computing
Research, Dagstuhl, 2012.
Mabe, Michael. «Scholarly publishing.» European Review 17, n° 1 (2009): 3-22.
Mabe, Michael; Ware, Mark . « The STM report : an overview of scientific and scholarly journal
publishing «, 3rd edition, STM, 2012.
Matthew Sullivan, Peer Review and Open Access. OpenStax CNX. 23 avr. 2014
http://cnx.org/contents/1137808f-5dd6-40d0-b60f-3ddb518122c2@2@2.
Patterson, David ; Snyder, Lauwrence ; Ullman,Jeffrey. «Best Practice Memo : Evaluating
computer scientists and engineers for promotion and tenure.» in Computing Research News,
Computing Research Association, sept. 1999.
Pontille, D., and Torny, D. (2014) The Blind Shall See! The Question of Anonymity in Journal
Peer Review. Ada: A Journal of Gender, New Media, and Technology, No.4.
doi:10.7264/N3542KVW
van Leeuwen, Jan. «Where to send your paper.» Dagstuhl Perspectives Workshop: Publication
Culture in Computing Research, Dagstuhl, 2012.

Merci ….
Contact : episciences@inria.fr

Perspectives de l’évaluation ouverte dessinée par la voie verte de l’Open Access, quelle réflexion portée par OpenEdition@Inria ?

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (6)

Similar a Perspectives de l’évaluation ouverte dessinée par la voie verte de l’Open Access, quelle réflexion portée par OpenEdition@Inria ?

Similar a Perspectives de l’évaluation ouverte dessinée par la voie verte de l’Open Access, quelle réflexion portée par OpenEdition@Inria ? (20)

Perspectives de l’évaluation ouverte dessinée par la voie verte de l’Open Access, quelle réflexion portée par OpenEdition@Inria ?

Notas del editor