Valoriser le travail des reviewers. Retours d’expérience de chercheurs sur le peer review, Publons

Dans le cadre de la journée d’étude du 27 mars 2018 « Le peer review à l’ère de l’open science : enjeux et évolutions » (consulter les supports ; consulter les tweets) organisée par l’Unité régionale de formation à l’information scientifique et technique de Bordeaux, une table-ronde a été dédiée à la question de la reconnaissance et de la valorisation de l’activité des reviewers.  La manifestation a été organisée en partenariat avec le centre Bordeaux Sud-Ouest de l’Inria, la délégation Aquitaine du CNRS, le pôle ressources humaines et développement social de l’Université de Bordeaux.

Hervé Maisonneuve, médecin et rédacteur du blog « Rédaction médicale et scientifique », a animé les échanges entre les participants et les chercheurs invités à témoigner : Florence Débarre (CNRS ; Centre Interdisciplinaire de Recherche en Biologie, Collège de France) ; Fabien Lotte (équipe Potioc, Inria) ; Nicolas Rougier (équipe Mnemosyne, Inria) ; Olivier Sandre (Laboratoire de Chimie des Polymères Organiques, CNRS).

Focus sur les retours d’expérience de 2 chercheurs, Florence Débarre et Fabien Lotte, qui se sont prêtés à une interview croisée. Les 2 chercheurs évoquent : leurs activités de reviewers ; les enjeux dans leurs disciplines ; leurs besoins ; leur utilisation de Publons et notamment la question de son rachat par Clarivate analytics, les forces et faiblesses de la plateforme du point de vue d’utilisateurs réguliers, etc.

Propos recueillis par H. Maisonneuve et S. Granger

Présentation de Florence Débarre : « Florence Débarre est théoricienne en écologie de l’évolution. Chercheuse au CNRS, elle travaille au Centre Interdisciplinaire de Recherche en Biologie (CIRB), à Paris. Elle est membre du groupe SMILE (Stochastic Models for the Inference of Life Evolution). »  Source : site personnel de Florence Débarre, trad. S. Granger

Présentation de Fabien Lotte : « Le pain quotidien de Fabien Lotte, c’est le traitement des signaux électro-encéphalographiques (EEG) qui sont une mesure de l’activité cérébrale de tout être humain. D’emblée, il l’indique que, si ses recherches sont tendues vers la reconnaissance des signaux les plus distinctifs pour savoir ce qui se passe dans le cerveau, il ne peut toutefois pas savoir ce que vous pensez ! Traquer et scruter les courbes dessinées par l’activité cérébrale est utile pour améliorer le pilotage des BCI (Brain Computer Interface). Fabien traite les signaux et conçoit des types d’interfaces homme-machine appelées  interfaces cerveau-ordinateur. » Source : site web Inria

Qu’est-ce que Publons ? Comment avez-vous connu Publons ?

[FD] « Publons est un site web qui recense les reviews faites par les chercheurs, agglomère les données liées à ces reviews ; le site permet aussi de partager publiquement les reviews (ce que je n’ai jamais fait), mais aussi de suivre le devenir d’un papier (par exemple qui a été accepté ensuite dans un autre journal).

Je crois que j’ai connu Publons via un email sur la liste de diffusion « evoldir » (liste de diffusion internationale pour la communauté en biologie de l’évolution), puis via Twitter. Je me suis inscrite en 2016. Avant je suivais mes reviews faites sur un tableur, mais j’ai apprécié d’avoir un système me permettant d’authentifier les reviews que j’avais faites. »

[FL] « J’ai connu Publons via le journal Journal of Neural Engineering, qui est un journal majeur dans ma communauté de recherche, et dont je suis un relecteur régulier et un membre du bureau éditorial.

En terminant une évaluation (review) d’article pour ce journal, le système informatique de celui-ci me demande si je veux que mon évaluation soit officiellement reconnue via leur partenaire Publons.

Je ne connaissais pas Publons, mais j’ai regardé rapidement et j’ai trouvé l’idée intéressante donc je me suis créé un compte et cette relecture a donc été officialisée. C’était donc ma première.

J’ai ensuite vu qu’on pouvait transmettre à Publons les e-mails officiels de remerciement qu’on avait reçu pour les relectures qu’on avait faites auparavant, de façon à ce qu’elles soient également officialisées.

J’ai donc fouillé dans ma boite e-mail pour retrouver ces e-mails (en tout cas ceux que j’avais, car il m’en manquait) et les transmettre à Publons. »

Pourquoi utiliser Publons ? L’utilisation de Publons vous a-t-elle conduit à modifier certaines de vos pratiques?

[FD] « J’utilise Publons pour chacune des reviews que je fais ; je liste désormais l’URL de mon profil Publons dans mon CV, et je l’ai mentionné dans ma dernière demande de financements. Publons me permet aussi de mieux suivre les reviews que je fais, en particulier leur nombre (et me permet d’en refuser plus rapidement si j’ai atteint mon quota mensuel!). Dans ma discipline, une review prend du temps (c’est au moins une journée pleine de travail, souvent plus). » [FL] « Ma motivation à utiliser Publons vient du fait que la relecture d’articles scientifiques est une activité essentielle et majeure d’un métier de chercheur, qui assure la publication d’articles scientifiques de qualité (ou en tout cas limite la publication d’articles à la qualité douteuse), et qui est très chronophage. Par exemple, de mon côté, ces dernières années j’ai évalué entre 40 et 70 articles par an (à la fois de journaux et conférences), et l’évaluation de chaque article peut prendre plusieurs heures, voire même une demie journée pour les articles de journaux longs.

Cette activité est malgré tout peu reconnue et valorisée, et n’a que très peu de poids dans nos dossiers, par exemple lors que l’on demande des financements, une promotion ou pour nos évaluations régulières. Ainsi, alors que cette activité est essentielle pour la recherche, il y a très peu d’incitations à la faire de la part des institutions.

Les statistiques de Publons le montre d’ailleurs, la majorité des relectures est faite par une minorité de relecteurs (dont je fais partie). Il est en effet beaucoup plus valorisant pour sa carrière de passer du temps à écrire des articles ou des projets de recherche plutôt qu’à en évaluer. Mais l’un ne peut pas fonctionner sans l’autre. Publons change donc la donne en reconnaissant officiellement ce travail de relecture, et en permettant aux chercheurs de le valoriser.

De mon côté, j’ai par exemple obtenu 2 prix de relecteur par Publons (« Publons peer review award 2017 »), pour être dans les 1% de relecteurs (enregistrés chez Publons) ayant effectué le plus grand nombre de relectures en 2017, à la fois dans les disciplines d’ingénierie et de neurosciences (mon domaine de recherche étant à la croisée des deux disciplines). C’est donc un prix scientifique que je peux mettre en avant et valoriser sur mon CV. Je candidate cette année pour être directeur de recherche Inria, ce prix est donc bienvenu !

Mes pratiques n’ont pas spécialement évolué, à part que maintenant je transmets chaque e-mail de remerciement d’évaluation d’articles à Publons immédiatement !»

Selon vous, quelles sont les forces et les faiblesses de Publons ? Quel est votre avis sur son rachat par Clarivate analytics ?

[FD]

« Forces :

Intégration avec des journaux, en particulier ceux qui utilisent ScholarOne (qui appartient aussi à Clarivate Analytics), qui facilite le décompte des reviews ;

Force de frappe de Clarivate Analytics

Statistiques sur le contenu des reviews, comparaisons avec d’autres reviewers du domaine (par exemple longueur des reviews, jours de la semaine auquel les reviews sont envoyées)

L’intégration avec ORCID qui permet de centraliser et bien identifier les données

Faiblesses :

Détenu par Clarivate Analytics ; je crains la concentration des pouvoirs dans les mains d’une seule entreprise privée (Web of Science, Scholar One), qui détient beaucoup de données sur les chercheurs ; cf un de mes Tweets (1er juin 2017) lorsque j’ai appris le rachat

A l’époque, j’ai réfléchi à supprimer mon compte, mais Publons est quand même bien utile… Cependant, le fait que Clarivate Analytics ait récemment racheté beaucoup de petites startups comme Publons (par exemple Impact Story, que j’appréciais aussi), m’inquiète.

On peut potentiellement identifier un reviewer si on soupçonne quelqu’un et qu’on voit apparaître sur son profil Publons le nom du journal dans lequel on a soumis son article…

Publons n’est pas encore trop efficace pour les articles édités ; je suis Editrice Associée du journal Evolution, mes évaluations sont détaillées, quasiment comme des reviews, et j’aimerais que Publons les comptabilise aussi correctement (il n’y a aussi pas d’intégration automatique via Scholar One des articles édités)

J’ai appris via les fondateurs de Peer Community In (consulter le support de présentation Peer Community In) qu’être sur Publons est payant pour les journaux»

[FL] « Au-delà des apports que j’ai mentionnés ci-dessus, les limites actuelles que je vois à Publons pour l’instant, dans ma discipline (je suis informaticien), est que Publons ne reconnait pour l’instant que, ou quasi que les relectures d’articles de journaux. Or, dans la communauté informatique (au contraire de beaucoup d’autres communautés comme les neurosciences par exemple), on publie beaucoup d’articles de conférences, ceux-ci pouvant présenter des résultats aussi aboutis et aussi détaillés que ceux présentés dans des journaux informatiques. Par exemple, en Interaction Homme Machine ou en Machine Learning, les publications dans les grosses conférences du domaine (ACM CHI, NIPS, ICML, etc.) sont tout aussi voire plus reconnues et sélectives que celles dans les meilleurs journaux du domaine.

En tant qu’informaticiens nous effectuons donc de nombreuses relectures d’articles de conférences (qui sont souvent à peu près aussi longs que certains journaux informatiques). Celles-ci ne sont généralement pas reconnues par Publons pour une raison pratique toute bête : nous ne recevons pas d’e-mail officiel de remerciement pour chaque article de conférence évalué, le tout se passant sur des sites internet dédiés, auxquels Publons n’a pas accès.

Dans l’avenir, il me parait donc essentiel que Publons puisse aussi reconnaitre les relectures d’articles de conférences, qui sont essentiels en informatique. »

Concernant le rachat de Publons par Clarivate analytics : « Je n’ai pas spécialement d’avis, je ne connais pas bien les enjeux politiques ou commerciaux derrière. J’espère seulement que cela permettra à Publons d’aller plus loin dans son travail, tout en restant scientifiquement neutre et objectif, sans être influencé par des biais commerciaux. »

Dans quelle mesure, ce type d’outils peut-il être pertinent également pour des chercheurs en début de carrière?

[FD] « Je recommande Publons en début de carrière, comme preuve de l’activité de reviewing ; je ne recommande cependant pas forcément les reviews publiques. » [FL] « En début de carrière, être invité à faire des relectures d’articles est un signe de visibilité et de reconnaissance dans l’expertise des chercheurs invités pour la relecture. On n’invite en effet a priori que des gens qui maitrisent leur sujet et dont on sait qu’ils travaillent sur le sujet. Ainsi, Publons permet aux chercheurs en début de carrière de valoriser ces travaux de relectures et de mettre en avant la visibilité scientifique qu’ils ont acquise en officialisant les relectures qu’ils effectuent. Lorsqu’en suite ils vont candidater pour un poste permanent, ils pourront ainsi prouver ce travail sur leur CV. »

Quel avenir pour ce type de plateforme ? Connaissez-vous d’autres moyens, d’autres plateformes ou systèmes apportant pour valoriser le travail des relecteurs ?

[FD] « Elsevier reviewer credits (des sortes de médailles affichées sur le profil consolidé Elsevier) ; les listes de reviewers publiées annuellement par les journaux (par exemple PNAS ou Proceedings of the Royal Society B). Nature permet aussi d’exporter un certificat de reviews faites ; j’ai reçu des emails pour Reviewers Credits, mais je n’ai jamais utilisé la plateforme. »

[Note Urfist Bordeaux] : En savoir + sur les métriques alternatives déployées dans le cadre du projet Open Peer Review Module du Spanish National Research Council, cf. présentation d’I. Bernal (reputation scores for authors in Open peer review in DIGITAL.CSIC : analyzing potential roles of institutional repositories in the future of scholarly communication) + Osman, N., & Sierra, C. (2016). Reputation in the Academic World. http://dx.doi.org/10.13039/501100000780

On peut également citer Peer Community In (PCI), plateforme gratuite et non commerciale de recommandation de preprints. PCI n’est pas un outil visant à faciliter le suivi des activités des reviewers, mais PCI contribue à valoriser l’activité des reviewers dans la mesure où les reviews sont publiées dès lors que le preprint est validé. L’auteur du preprint reste libre de publier son article dans la revue de son choix ou de le déposer dans une archive ouverte.


Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *