Archives de catégorie : Edition scientifique

Valoriser le travail des reviewers. Retours d’expérience de chercheurs sur le peer review, Publons

Dans le cadre de la journée d’étude du 27 mars 2018 « Le peer review à l’ère de l’open science : enjeux et évolutions » (consulter les supports ; consulter les tweets) organisée par l’Unité régionale de formation à l’information scientifique et technique de Bordeaux, une table-ronde a été dédiée à la question de la reconnaissance et de la valorisation de l’activité des reviewers.  La manifestation a été organisée en partenariat avec le centre Bordeaux Sud-Ouest de l’Inria, la délégation Aquitaine du CNRS, le pôle ressources humaines et développement social de l’Université de Bordeaux.

Hervé Maisonneuve, médecin et rédacteur du blog « Rédaction médicale et scientifique », a animé les échanges entre les participants et les chercheurs invités à témoigner : Florence Débarre (CNRS ; Centre Interdisciplinaire de Recherche en Biologie, Collège de France) ; Fabien Lotte (équipe Potioc, Inria) ; Nicolas Rougier (équipe Mnemosyne, Inria) ; Olivier Sandre (Laboratoire de Chimie des Polymères Organiques, CNRS).

Focus sur les retours d’expérience de 2 chercheurs, Florence Débarre et Fabien Lotte, qui se sont prêtés à une interview croisée. Les 2 chercheurs évoquent : leurs activités de reviewers ; les enjeux dans leurs disciplines ; leurs besoins ; leur utilisation de Publons et notamment la question de son rachat par Clarivate analytics, les forces et faiblesses de la plateforme du point de vue d’utilisateurs réguliers, etc.

Propos recueillis par H. Maisonneuve et S. Granger

Présentation de Florence Débarre : « Florence Débarre est théoricienne en écologie de l’évolution. Chercheuse au CNRS, elle travaille au Centre Interdisciplinaire de Recherche en Biologie (CIRB), à Paris. Elle est membre du groupe SMILE (Stochastic Models for the Inference of Life Evolution). »  Source : site personnel de Florence Débarre, trad. S. Granger

Présentation de Fabien Lotte : « Le pain quotidien de Fabien Lotte, c’est le traitement des signaux électro-encéphalographiques (EEG) qui sont une mesure de l’activité cérébrale de tout être humain. D’emblée, il l’indique que, si ses recherches sont tendues vers la reconnaissance des signaux les plus distinctifs pour savoir ce qui se passe dans le cerveau, il ne peut toutefois pas savoir ce que vous pensez ! Traquer et scruter les courbes dessinées par l’activité cérébrale est utile pour améliorer le pilotage des BCI (Brain Computer Interface). Fabien traite les signaux et conçoit des types d’interfaces homme-machine appelées  interfaces cerveau-ordinateur. » Source : site web Inria

Qu’est-ce que Publons ? Comment avez-vous connu Publons ?

[FD] « Publons est un site web qui recense les reviews faites par les chercheurs, agglomère les données liées à ces reviews ; le site permet aussi de partager publiquement les reviews (ce que je n’ai jamais fait), mais aussi de suivre le devenir d’un papier (par exemple qui a été accepté ensuite dans un autre journal).

Je crois que j’ai connu Publons via un email sur la liste de diffusion « evoldir » (liste de diffusion internationale pour la communauté en biologie de l’évolution), puis via Twitter. Je me suis inscrite en 2016. Avant je suivais mes reviews faites sur un tableur, mais j’ai apprécié d’avoir un système me permettant d’authentifier les reviews que j’avais faites. »

[FL] « J’ai connu Publons via le journal Journal of Neural Engineering, qui est un journal majeur dans ma communauté de recherche, et dont je suis un relecteur régulier et un membre du bureau éditorial.

En terminant une évaluation (review) d’article pour ce journal, le système informatique de celui-ci me demande si je veux que mon évaluation soit officiellement reconnue via leur partenaire Publons.

Je ne connaissais pas Publons, mais j’ai regardé rapidement et j’ai trouvé l’idée intéressante donc je me suis créé un compte et cette relecture a donc été officialisée. C’était donc ma première.

J’ai ensuite vu qu’on pouvait transmettre à Publons les e-mails officiels de remerciement qu’on avait reçu pour les relectures qu’on avait faites auparavant, de façon à ce qu’elles soient également officialisées.

J’ai donc fouillé dans ma boite e-mail pour retrouver ces e-mails (en tout cas ceux que j’avais, car il m’en manquait) et les transmettre à Publons. »

Pourquoi utiliser Publons ? L’utilisation de Publons vous a-t-elle conduit à modifier certaines de vos pratiques?

[FD] « J’utilise Publons pour chacune des reviews que je fais ; je liste désormais l’URL de mon profil Publons dans mon CV, et je l’ai mentionné dans ma dernière demande de financements. Publons me permet aussi de mieux suivre les reviews que je fais, en particulier leur nombre (et me permet d’en refuser plus rapidement si j’ai atteint mon quota mensuel!). Dans ma discipline, une review prend du temps (c’est au moins une journée pleine de travail, souvent plus). » [FL] « Ma motivation à utiliser Publons vient du fait que la relecture d’articles scientifiques est une activité essentielle et majeure d’un métier de chercheur, qui assure la publication d’articles scientifiques de qualité (ou en tout cas limite la publication d’articles à la qualité douteuse), et qui est très chronophage. Par exemple, de mon côté, ces dernières années j’ai évalué entre 40 et 70 articles par an (à la fois de journaux et conférences), et l’évaluation de chaque article peut prendre plusieurs heures, voire même une demie journée pour les articles de journaux longs.

Cette activité est malgré tout peu reconnue et valorisée, et n’a que très peu de poids dans nos dossiers, par exemple lors que l’on demande des financements, une promotion ou pour nos évaluations régulières. Ainsi, alors que cette activité est essentielle pour la recherche, il y a très peu d’incitations à la faire de la part des institutions.

Les statistiques de Publons le montre d’ailleurs, la majorité des relectures est faite par une minorité de relecteurs (dont je fais partie). Il est en effet beaucoup plus valorisant pour sa carrière de passer du temps à écrire des articles ou des projets de recherche plutôt qu’à en évaluer. Mais l’un ne peut pas fonctionner sans l’autre. Publons change donc la donne en reconnaissant officiellement ce travail de relecture, et en permettant aux chercheurs de le valoriser.

De mon côté, j’ai par exemple obtenu 2 prix de relecteur par Publons (« Publons peer review award 2017 »), pour être dans les 1% de relecteurs (enregistrés chez Publons) ayant effectué le plus grand nombre de relectures en 2017, à la fois dans les disciplines d’ingénierie et de neurosciences (mon domaine de recherche étant à la croisée des deux disciplines). C’est donc un prix scientifique que je peux mettre en avant et valoriser sur mon CV. Je candidate cette année pour être directeur de recherche Inria, ce prix est donc bienvenu !

Mes pratiques n’ont pas spécialement évolué, à part que maintenant je transmets chaque e-mail de remerciement d’évaluation d’articles à Publons immédiatement !»

Selon vous, quelles sont les forces et les faiblesses de Publons ? Quel est votre avis sur son rachat par Clarivate analytics ?

[FD]

« Forces :

Intégration avec des journaux, en particulier ceux qui utilisent ScholarOne (qui appartient aussi à Clarivate Analytics), qui facilite le décompte des reviews ;

Force de frappe de Clarivate Analytics

Statistiques sur le contenu des reviews, comparaisons avec d’autres reviewers du domaine (par exemple longueur des reviews, jours de la semaine auquel les reviews sont envoyées)

L’intégration avec ORCID qui permet de centraliser et bien identifier les données

Faiblesses :

Détenu par Clarivate Analytics ; je crains la concentration des pouvoirs dans les mains d’une seule entreprise privée (Web of Science, Scholar One), qui détient beaucoup de données sur les chercheurs ; cf un de mes Tweets (1er juin 2017) lorsque j’ai appris le rachat

A l’époque, j’ai réfléchi à supprimer mon compte, mais Publons est quand même bien utile… Cependant, le fait que Clarivate Analytics ait récemment racheté beaucoup de petites startups comme Publons (par exemple Impact Story, que j’appréciais aussi), m’inquiète.

On peut potentiellement identifier un reviewer si on soupçonne quelqu’un et qu’on voit apparaître sur son profil Publons le nom du journal dans lequel on a soumis son article…

Publons n’est pas encore trop efficace pour les articles édités ; je suis Editrice Associée du journal Evolution, mes évaluations sont détaillées, quasiment comme des reviews, et j’aimerais que Publons les comptabilise aussi correctement (il n’y a aussi pas d’intégration automatique via Scholar One des articles édités)

J’ai appris via les fondateurs de Peer Community In (consulter le support de présentation Peer Community In) qu’être sur Publons est payant pour les journaux»

[FL] « Au-delà des apports que j’ai mentionnés ci-dessus, les limites actuelles que je vois à Publons pour l’instant, dans ma discipline (je suis informaticien), est que Publons ne reconnait pour l’instant que, ou quasi que les relectures d’articles de journaux. Or, dans la communauté informatique (au contraire de beaucoup d’autres communautés comme les neurosciences par exemple), on publie beaucoup d’articles de conférences, ceux-ci pouvant présenter des résultats aussi aboutis et aussi détaillés que ceux présentés dans des journaux informatiques. Par exemple, en Interaction Homme Machine ou en Machine Learning, les publications dans les grosses conférences du domaine (ACM CHI, NIPS, ICML, etc.) sont tout aussi voire plus reconnues et sélectives que celles dans les meilleurs journaux du domaine.

En tant qu’informaticiens nous effectuons donc de nombreuses relectures d’articles de conférences (qui sont souvent à peu près aussi longs que certains journaux informatiques). Celles-ci ne sont généralement pas reconnues par Publons pour une raison pratique toute bête : nous ne recevons pas d’e-mail officiel de remerciement pour chaque article de conférence évalué, le tout se passant sur des sites internet dédiés, auxquels Publons n’a pas accès.

Dans l’avenir, il me parait donc essentiel que Publons puisse aussi reconnaitre les relectures d’articles de conférences, qui sont essentiels en informatique. »

Concernant le rachat de Publons par Clarivate analytics : « Je n’ai pas spécialement d’avis, je ne connais pas bien les enjeux politiques ou commerciaux derrière. J’espère seulement que cela permettra à Publons d’aller plus loin dans son travail, tout en restant scientifiquement neutre et objectif, sans être influencé par des biais commerciaux. »

Dans quelle mesure, ce type d’outils peut-il être pertinent également pour des chercheurs en début de carrière?

[FD] « Je recommande Publons en début de carrière, comme preuve de l’activité de reviewing ; je ne recommande cependant pas forcément les reviews publiques. » [FL] « En début de carrière, être invité à faire des relectures d’articles est un signe de visibilité et de reconnaissance dans l’expertise des chercheurs invités pour la relecture. On n’invite en effet a priori que des gens qui maitrisent leur sujet et dont on sait qu’ils travaillent sur le sujet. Ainsi, Publons permet aux chercheurs en début de carrière de valoriser ces travaux de relectures et de mettre en avant la visibilité scientifique qu’ils ont acquise en officialisant les relectures qu’ils effectuent. Lorsqu’en suite ils vont candidater pour un poste permanent, ils pourront ainsi prouver ce travail sur leur CV. »

Quel avenir pour ce type de plateforme ? Connaissez-vous d’autres moyens, d’autres plateformes ou systèmes apportant pour valoriser le travail des relecteurs ?

[FD] « Elsevier reviewer credits (des sortes de médailles affichées sur le profil consolidé Elsevier) ; les listes de reviewers publiées annuellement par les journaux (par exemple PNAS ou Proceedings of the Royal Society B). Nature permet aussi d’exporter un certificat de reviews faites ; j’ai reçu des emails pour Reviewers Credits, mais je n’ai jamais utilisé la plateforme. »

[Note Urfist Bordeaux] : En savoir + sur les métriques alternatives déployées dans le cadre du projet Open Peer Review Module du Spanish National Research Council, cf. présentation d’I. Bernal (reputation scores for authors in Open peer review in DIGITAL.CSIC : analyzing potential roles of institutional repositories in the future of scholarly communication) + Osman, N., & Sierra, C. (2016). Reputation in the Academic World. http://dx.doi.org/10.13039/501100000780

On peut également citer Peer Community In (PCI), plateforme gratuite et non commerciale de recommandation de preprints. PCI n’est pas un outil visant à faciliter le suivi des activités des reviewers, mais PCI contribue à valoriser l’activité des reviewers dans la mesure où les reviews sont publiées dès lors que le preprint est validé. L’auteur du preprint reste libre de publier son article dans la revue de son choix ou de le déposer dans une archive ouverte.

La JNE 2014 « Nouvelles formes de communication et d’évaluation scientifiques » en distanciel sur Jalon

L’Urfist de Nice met en ligne en version bêta un distanciel interactif (un « sooc »[1]) basé sur les interventions de la Journée Nationale d’Étude Urfist 2014: « Nouvelles formes de communication et d’évaluation scientifiques : perspectives et légitimités ». Sous la supervision de Gabriel Gallezot et de Michel Roland, il a été réalisé par Florence Garelli[2] via Jalon, la plateforme pédagogique de l’UNS, et Zaption. Les clips ont été équipés de questions, et de sous-titres en français lorsque l’intervention était en anglais. Concrètement, le visionnage des clips vidéo est interrompu par des questions (vrai/faux, choix multiple ou question ouverte) portant sur l’intervention ou sur le support fourni par l’intervenant, et le « stagiaire » doit répondre à la question pour continuer son visionnage. La formation est accessible sur téléphone mobile via un navigateur ou l’application Zaption.

> Lien vers la formation ouverte

Il s’agit pour nous d’expérimenter la réalisation d’un outil d’auto-apprentissage actif à partir de communications comme celles de la journée d’étude. La formation est en version bêta, c’est-à-dire que toutes les fonctionnalités ne sont pas implantées. Pour l’instant l’accès aux exercices est libre et non évalué. Il est possible cependant d’obtenir une attestation de suivi de stage qui sera délivrée après vérification que l’ensemble du parcours avec ses douze activités a été réellement réalisé. Il y a sans doute des erreurs et des approximations dans les sous-titres ou dans la formulation des exercices, voir des bugs. C’est pourquoi nous sommes très demandeurs de remarques critiques et d’appréciations, de détail aussi bien que sur l’ensemble du projet[3] .

FG 150331

  1. small online open course
  2. Urfist de Nice et Service des Pédagogies Innovantes de l’Université de Nice Sophia-Antipolis
  3. en commentaire ici, par courriel à urfist@unice.fr ou via le questionnaire en fin de formation.

Interventions et supports de la JNE 2014: « Nouvelles formes de communication et d’évaluation scientifiques »

Les vidéos et les supports de la Journée d’Étude « Nouvelles formes de communication et d’évaluation scientifiques : perspectives et légitimités » sont consultables sur le wiki de l’Urfist de Nice : LIEN.

La 5ème Journée Nationale d’Étude du réseau des URFIST s’est tenue le 25 septembre 2014 à l’Université de Nice Sophia-Antipolis. Elle s’est focalisée sur les différentes formes de publication de la recherche et sur les modes de légitimation ou d’évaluation associés.

Continuer la lecture

« Données » de la recherche, les mal-nommées

D’où tu parles ?

L’accès aux données de la recherche fait partie des dossiers d’actualité des bibliothèques universitaires françaises. A ce stade, la question est posée de manière générale ; et avec un effet positif : rappeler que globalement, la collectivité doit se soucier de garantir l’accessibilité aux productions intellectuelles de l’activité publique, et notamment de la recherche publique. Pour les publications, la question de l’accès n’a pas été posée d’emblée, et la communauté scientifique se trouve aujourd’hui dans l’impasse où l’a conduite l’emballement d’une machine commerciale folle : une partie des établissements dans lesquels travaillent les chercheurs n’a pas ou plus les moyens de se payer certaines revues, et l’autre partie se les paye en renonçant à d’autres achats qui contribuaient pourtant à maintenir une diversité éditoriale. Tous les maillons de la chaîne de diffusion des savoirs  y ont pris, souvent inconsciemment, une petite (ou grande) part : les auteurs, les éditeurs, les lecteurs, les relecteurs, les acheteurs, les vendeurs, les médiateurs, les financeurs… Et c’est bien parce que cette faillite est celle d’un système et non d’individus que l’open access peine à renverser la vapeur. Pour cette raison, même si les données de la recherche font figure de cerise sur le gâteau quand on a déjà du mal à généraliser le dépôt dans les archives ouvertes, il est quand même réjouissant d’entendre énoncé l’impératif d’accès aux données, et on peut espérer (suis-je naïve ?) que le mécanisme de publication dont nous subissons les effets pervers ne se réenclenche pas pour d’autres objets. Tout l’enjeu est de préserver le caractère public des données de la recherche publique, et d’éviter la privatisation de leur diffusion (à propos du positionnement des éditeurs scientifiques sur la question des données, voir entre autres l’aperçu synthétique que donne Odile Hologne, « Professionnels de l’IST et données de la recherche : des discours incantatoires aux actions concrètes », Documentaliste, 2013, 3, p.30-31).

Mais une fois passé le positionnement d’ensemble de la problématique, si on veut essayer d’agir très concrètement, et à notre modeste échelle, dans l’intérêt collectif, comment procéder ? Car jusqu’à présent, « données de la recherche » me semble être cette grande valise que me confie un voyageur bien sous tous rapports mais dont je n’ai pas vérifié le contenu. Bon sang mais qu’est ce qu’il y a dedans ? En l’entrebaillant je suis assaillie de questions, et je profite du carnet des Urfist pour les partager, en espérant en réponse vos avis, expériences et autres réflexions, de contrebande ou pas.

 

 Données de la recherche qui es-tu ?

A minima, on s’accorde implicitement sur l’idée suivante : quand on évoque « les données de la recherche », on désigne des chiffres, relevés, mesures, résultats d’expérience, réponses à des enquêtes, statistiques, comptages, et autres donnés quantitatives sur la base desquels va s’élaborer une hypothèse, et/ou qui serviront à infirmer ou valider cette hypothèse… bref essentiellement du quantitatif, que l’on pourra traiter, trier, exploiter, visualiser de manière homogène. La publication de telles données fait déjà partie, dans certaines disciplines du moins, des canons de la rédaction d’un article scientifique (par exemple, la partie « Materials and methods » dans les recommandations pour la rédaction d’articles dans des revues médicales).

Mais suivant les disciplines et les thèmes de recherche, les matériaux qui nourrissent une proposition scientifique varient considérablement : les « données » d’un linguiste peuvent des écrits ou des discours, des enregistrements de locuteurs ; les « données » d’un médiéviste sont des sources archivistiques, archéologiques, épigraphiques, iconographiques, littéraires ; les « données » d’un géologue rassemblent des coupes et observations de terrain consignées sur un carnet, des résultats de carottage, des analyses d’échantillons, des données sismographiques… Bref il n’y a pas, et loin de là, que des données quantitatives de même nature qui constitueraient des séries homogènes relativement faciles à manipuler, échanger et compiler.

La notion de données elle-même est à géométrie variable. Pour ce point je m’appuie sur le projet Ecrito, projet de recherche porté par Muriel Lefebvre avec l’Urfist de Toulouse sur la question des archives de chercheurs (http://ecrito.hypotheses.org/). L’enquête auprès d’un laboratoire de mécanique des fluides a montré que les données brutes issues des expériences étaient soumises à des modèles de validation, qui permettaient d’éliminer certains résultats non probants, les « fausses données » (sic) pour ne conserver que les « vraies données » (re-sic) : les données ici ne sont pas un matériau brut, mais le résultat d’une première opération scientifique, fruit d’une méthodologie propre à la discipline ; dans ce cas, le profane est incapable de définir les contours de la masse de données.

Parallèlement, l’absence de définition restrictive du terme « données » rend poreuse la frontière entre données et publications. Certains chercheurs par exemple revendiquent d’utiliser blogs et réseaux sociaux comme canal de publication, et de ne rédiger qu’ensuite, et pas systématiquement, un article soumis à des revues, article qui compte tenu des délais de publication paraîtra in fine entre 6 et 12 mois plus tard. Est-ce que les éléments originaux d’une proposition scientifique, diffusés et discutés par exemple sous forme lapidaire sur un réseau social, se rangent sous l’étiquette « données de la recherche » ? Ils ne sont pas un matériau brut, mais ils sont dépouillés de l’apparat conventionnel des formes éditoriales, sans autre validation que celle de l’auteur, et diffusés via des canaux que les institutions ne savent pas (encore) exploiter totalement. Comment faire en sorte de les prendre néanmoins en compte en tant que forme la plus rapide de divulgation d’un résultat, voire en tant que support d’une co-construction de savoir ?

 

Pour quoi faire ?

Il me semble qu’il n’y a que trois raisons qui justifient le souci de conserver et transmettre cette masse protéiforme de données :

  1. Une raison d’ordre socio-économique : la mise en place de certaines expériences ou enquêtes coûte cher ; communiquer leurs résultats pour les rendre exploitables par d’autres chercheurs est un moyen de les rentabiliser. Et plus largement, dans une optique citoyenne, on peut considérer que les données produites par une recherche financée par des fonds publics doivent rester à la disposition de la communauté scientifique pour être exploités au mieux.
  2. Une raison plus épistémologique : la diffusion des données sur lesquelles s’appuie la formulation d’une hypothèse est un gage de scientificité ; publier ses données, c’est aussi soumettre son interprétation et ses conclusions à la communauté, ce qui vaut implicitement validation par les pairs (ou mise au pilori). Il est à noter que l’unanimité n’est pas acquise sur ce point. D’abord parce que cette forme d’exposition peut être parfois ressentie comme une mise en danger, porteuse de polémiques potentielles sur des choix de traitement et d’interprétation. Ensuite parce qu’elle se heurte à des objections d’ordre méthodologique ; en sociologie ou en anthropologie par exemple, qui s’appuient beaucoup sur des enquêtes de terrain, certains chercheurs expriment de fortes réserves quant aux réelles possibilités de réexploitation d’enquêtes qualitatives ; selon eux, l’interaction entre enquêteur et enquêtés est telle dans ce type d’études que les résultats n’en sont pas réutilisables hors contexte. Ces freins renvoient au fond aux mécanismes à l’œuvre dans la controverse scientifique, puisque les données font partie des clés qui ouvrent la « boîte noire » de la recherche.
  3. Une raison patrimoniale : conserver la trace de la totalité d’un processus de recherche, de la collecte des données à la publication du résultat, est un moyen de transmettre à terme la culture scientifique et de contribuer à une forme d’histoire de la recherche.

 

Pour quel public ?

Si l’on part des objectifs définis ci-dessus, on peut en déduire deux grandes catégories :

  1. Des données qui doivent être réexploitables par de nouveaux programmes de recherche : cela implique de les restituer prioritairement sous des formes et formats conformes aux méthodes et outils dont les chercheurs se servent ; cela peut parfois différer des standards canoniques de conservation ; et cela suppose une activité proche de la curation de données, qui se pratique déjà au sein de nombre de laboratoires. Mais se placer dans la perspective d’une réutilisation ultérieure des données, cela implique aussi de documenter de manière très précise la manière dont ces données ont été constituées, les conditions de l’expérience ou de l’enquête… bref toute information scientifique qui permet, sur le plan épistémologique, de les réutiliser ; et d’indiquer aussi toutes les spécifications techniques ou juridiques qui conditionnent leur exploitation ; c’est-à-dire de créer des métadonnées qui fournissent toutes les informations nécessaires. De plus, pour que des données soient scientifiquement réutilisables à long terme de manière fiable, il faut pouvoir garantir leur intégrité, donc recourir à des infrastructures de type « coffre-fort » électronique qui permettent d’authentifier et de sécuriser les données, sans risque d’altération. On se rapproche de démarches de type archivistique :  travailler avec un producteur d’information pour analyser et consigner son organisation et ses procédures, contextualiser les documents recueillis dans ce cadre, organiser la conservation et l’accessibilité de corpus de données…
  2.  Des données qui s’insèrent dans un ensemble documentaire (archives, publications) pour témoigner de la manière dont s’est opéré le travail scientifique, et pour en témoigner à l’ensemble de la société et non uniquement à la communauté scientifique : ici la notion de médiation est essentielle, car ce sont moins les données elles-mêmes qui comptent que la manière dont elles ont été produites et exploitées dans un processus de recherche, les publications auxquelles elles ont donné lieu, etc. On se situe davantage dans une approche de vulgarisation, avec une forme d’éditorialisation des informations que l’on veut transmettre. Ici, ce qui importe, c’est aussi de maintenir un lien entre des objets que les cloisonnements institutionnels séparent souvent : des archives (dossiers techniques, documents « administratifs », notes, carnets, projets, papiers de recherche, fichiers divers…), des données sous diverses formes (bases, corpus d’images, tables…), des articles et autres publications, des objets (instruments, prototypes, maquettes…), bref tout autant de jalons d’une même chaîne de recherche.

 

Mettre à disposition sous quelle forme ?

Il existe déjà des exemples de mise à disposition organisée des données. Les chercheurs en ont bien sûr été les premiers promoteurs ; les banques de données en génétique et bio-informatique en sont les exemples les plus connus. A côté de ces communautés d’utilisateurs très structurées, il y a aussi place pour des initiatives de mutualisation très diverses : partage de workflows et d’expériences (par exemple MyExperiment, la plateforme portée par les universités de Manchester et Southampton : http://www.myexperiment.org), partage de toutes formes de graphes, schémas, figures, images (y compris ceux d’expériences négatives sur un site comme figshare : http://figshare.com)

Une constante pour ces diverses initiatives : elles fonctionnent par et pour un réseau disciplinaire qui ne se limite pas aux frontières d’un inter-établissement ; il y a un caractère inter-académique inhérent au travail de recherche. A propos des archives ouverte, on a observé aussi un ancrage de départ fortement disciplinaire, lié à la dimension personnelle et militante du choix de cette forme de dépôt ; le développement de l’open access étant passé par une institutionnalisation, on a assisté au développement d’archives ouvertes propres à un établissement, qui répondent à une préoccupation nouvelle : faire connaître la production scientifique de l’établissement ; l’interopérabilité permet d’éviter l’écueil de la dispersion et garantit une accessibilité globale, quels que soient les serveurs sur lesquels on dépose ses publication. Il est néanmoins intéressant de constater que les grands réservoirs disciplinaires comme Arxiv ne disparaissent pas pour autant et continuent d’apparaître comme un lieu « naturel » de dépôt. Cette dimension trans-institutionnelle est tout aussi forte pour les données de la recherche : si l’établissement est le premier lieu de sensibilisation et de formation, l’intérêt de diffuser des données de recherche est bien de toucher une communauté internationale regroupée autour d’un domaine de recherche. Pour cette raison, il me semble qu’un dispositif de collecte et d’accès à des données de recherche ne peut se mettre efficacement en place que sous une forme mutualisée, adossée à un réseau de chercheurs. Car il ne s’agit pas simplement de rendre accessibles les données existantes à l’instant T, mais d’envisager aussi l’alimentation du système au fur et à mesure de la production de nouvelles données, et son évolution par l’intégration de précisons, corrections, annotations partagées…

La question de la forme sous laquelle on rend les données accessibles convoque aussi la figure tutélaire (ces temps-ci du moins) du web sémantique : web of data, linked data, open data, big data, patata. Sur une toile idéale, je n’aurais qu’à tirer le fil d’Ariane. Mais il y a la réalité aussi, qui nous dit que fabriquer du vrai web sémantique, c’est lourd parce que ça signifie tout « traduire » en rdf. Pas folles les nombreuses institutions qui mettent en ligne des fichiers excel ou autre format avec l’étiquette « ouverture des données ». C’est un bon moyen de publier rapidement. En revanche, cela ne permettra pas l’agrégation automatique ni le lien vers d’autres données ; et cela rendra très difficile l’exploitation des métadonnées (quand elles existent…) spécifiant les conditions de constitution du corpus de données. Je ne sais pas trop vers quoi nous devons essayer de porter notre effort : vers un vrai passage des données aux formats du web sémantique, qui ouvre des possibilités d’échange et de traitement fantastiques ; ou vers une mise en ligne beaucoup plus rustique, qui peut s’opérer à moindre frais et plus rapidement ? Il me semble que seule la première branche de l’alternative rendrait à terme de vrais services à la communauté et autoriserait une réexploitation complète des données ; mais est-ce que le mieux risque en l’occurrence d’être l’ennemi du bien ?

 

Libres de droits ?

On entend souvent dire que « les données de la recherche sont libres de droit ». C’est pratique mais je ne suis pas sûre hélas que ça tienne la route sur toute la distance. Il y a un cadre juridique pour les « données du secteur public », cadre juridique qui évolue d’ailleurs au fur et à mesure des directives européennes (voir http://www.etalab.gouv.fr pour l’avancée de l’idée de « gouvernement ouvert »). Mais si l’on s’intéresse à tout le spectre des « données de la recherche », il est difficile de postuler une liberté de droits complète. Dans le matériau que brassent la recherche, il y a certes des mesures, relevés, observations etc. qui sont bien des « données du secteur public » ; mais pas que… Quelques exemples :

  • En philologie, pour l’établissement d’un texte ancien, les « données de la recherche » sont les enseignements fournis par les divers manuscrits ou éditions : variantes textuelles et codicologiques, dont l’établissement est en soi un travail de recherche. Or dans un tel processus, on peut à plusieurs étapes se retrouver confronté à des questions de droit : les manuscrits étudiés peuvent être détenus par un organisme qui n’autorise pas, ou qui commercialise, leur reproduction ; le travail intermédiaire de lecture, de relevé des variantes et d’analyse est un travail auquel s’applique le droit d’auteur ; et l’édition finale, établie à partir d’une comparaison de diverses versions et d’hypothèses génétiques, est souvent publiée sous le régime privé des contrats d’édition.
  • En sociologie, anthropologie ou histoire contemporaine, le matériau de base de certaines recherches est une campagne d’entretiens et d’observations enregistrés ou filmés. La trame de l’entretien est un travail du chercheur ou de l’équipe de recherche. Le contenu recueilli est en revanche l’oeuvre des interviewés, soumis à leur autorisation pour toute diffusion.
  • En histoire de l’art ou histoire culturelle, certains travaux se fondent sur le repérage et la constitution d’un corpus de sources iconographiques, sur lesquelles peuvent coexister plusieurs droits (celui de l’auteur de l’œuvre originale si elle n’est pas dans le domaine public, celui de l’auteur de la prise de vue ou de la reproduction, celui de l’agence ou de l’institution gestionnaire des droits photo, etc)

On est loin d’épuiser la totalité des cas de figure. Ces exemples ont pour but de montrer que, suivant ce qu’on qualifie de données de la recherche, on peut avoir à appliquer diverses strates juridiques. C’est pourquoi il serait peut-être plus simple de dissocier quand c’est possible la question du droit d’auteur de celle de l’open access : en effet, mettre en libre accès des documents ou des données, ce n’est pas supprimer le droit d’auteur qui les protège ; c’est simplement empêcher qu’il y ait une exclusivité de leur exploitation. Ainsi un auteur qui publie son travail sur une plateforme open access conserve bien sûr sa qualité d’auteur et les droits moraux qui y sont attachés ; il conserve aussi le droit, s’il le souhaite, de gérer lui-même toute forme de reproduction ou de représentation ultérieure de son article (exploitation publique, adaptation, traduction…) ; il peut aussi publier son article dans une revue et céder à l’éditeur les droits d’exploitation sur la forme publiée par la revue ; en revanche il ne peut vis-à-vis de cet éditeur s’engager sur le caractère inédit de son article, pas plus que céder tous les droits patrimoniaux de manière exclusive. C’est dans cet ordre d’idées que certains bailleurs de fonds ou institutions exigent la publication en open access des productions issues de programmes de recherche qu’ils ont portés ou financés.

 

Peut-on conclure ?

A supposer que vous ayez lu jusque là, oui, je me dépêche.

La transmission de ces données est indissociable des usages et des besoins des chercheurs, et ne peut être assurée qu’avec eux. Mais justement pour cette raison, de vraies questions à travers ce sujet sont posées aux bibliothèques et plus largement aux professionnels de l’information :

  1. Quelle place désormais pour l’article ? La forme réputée reine de la publication est un peu bousculée, à la fois par la diminution de la part de contenu original (beaucoup d’articles de type « état de l’art » ou de reprises de publications antérieures), par l’émergence de nouveaux canaux de diffusion (réseaux sociaux scientifiques, blogs…), et par la prise en compte croissante d’autres productions (rapports, documents techniques…). Or beaucoup de modèles reposent sur une distinction nette entre publication et reste de l’activité scientifique, la répartition entre bibliothèques et archives ou les modalités d’évaluation, pour ne citer que quelques broutilles. L’évolution des contours de la publication remet ces modèles en question, même si c’est à la marge (il faut bien commencer).
  2. Mieux prendre en compte l’ensemble des productions de la recherche : limitée à une partie seulement des publications, et qui plus est une partie qui ne constitue plus à coup sûr le premier lieu de diffusion de la recherche comme on vient de le dire, l’actuelle bibliométrie perd de sa légitimité. Notre rôle pourrait être aussi de faire valoir l’argument suivant : les articles ne présentent qu’une part limitative, à la fois « lissée » et peu réexploitable, de l’activité de recherche ; prendre en compte la totalité de l’activité scientifique suppose de s’intéresser à la totalité des productions (rapports, cours, papiers de recherche, mémoires…).
  3. Penser l’ensemble des productions documentaires de la recherche : données, notes, carnets, échanges, brouillons, articles. La totalité de ces formes est englobée sous l’appellation « archives » (= tous les documents produits ou reçus dans l’exercice d’une activité). Archivistes et bibliothécaires ont beaucoup à apprendre les uns des autres, pour assurer la cohésion de cette chaîne de production. Et idéalement, leur travail devrait aussi s’articuler avec celui des services chargés de la conservation du patrimoine scientifique matériel ou immatériel (objets et instruments, histoire et anthropologie des sciences).
  4. Comprendre les méthodes et les besoins des chercheurs : avec la question de la documentation électronique, les bibliothèques se sont positionnées sur des questions techniques, administratives et juridiques liées à l’acquisition et à la mise en œuvre des accès ; elles ne sont pas rentrées dans les contenus. Concernant les données de la recherche en revanche, les questions d’acquisition, d’accès et d’exploitation sont indissociables des impératifs scientifiques et ne peuvent être envisagés qu’avec la communauté des chercheurs. Le cadre de l’établissement n’est pas forcément pertinent, pas plus que les standards documentaires traditionnels. Entre recherche et documentation, il y a un espace à investir pour les bibliothécaires et les chercheurs qui ont envie de travailler ensemble à la diffusion des données.
  5. Et last but not least, à travers nos actions de formation ou d’autres initiatives, faire prendre conscience à la communauté scientifique que ce qu’elle produit est un bien collectif, qu’il faut conserver et diffuser dans un cadre public, et que les données de la recherche en font partie.

 

Position de l’Association du Réseau des Urfist sur la polémique concernant Refdoc

Dans la continuité de l’engagement de ses membres pour le Libre Accès, l’Association du Réseau des Urfist exprime son soutien au mouvement initié par Olivier Ertzscheid et porté par le collectif savoircom1 pour demander une clarification des rôles du service Refdoc de l’Inist, en particulier la séparation de la fonction signalement de la fonction fourniture de documents, la mise en conformité de cette dernière avec le respect des droits des auteurs et en cohérence avec la politique du CNRS et de l’Inist en faveur de l’Accès Ouvert à l’Information Scientifique.

Elle souhaite que les actions clés de la Bibliothèque Scientifique Numérique : « 6 (BSN3): Etudier un dispositif fédérant le signalement de toute la documentation accessible sur le territoire, et faire le lien avec la ressource dans le cadre du contrôle des droits » et « 13 (BSN8): Concevoir un service unifié de diffusion à distance de documents numériques et papier (convergence des dispositifs de prêt et de commande de l’ABES et de l’INIST) » permettent d’atteindre ces objectifs.

Pour l’Association du Réseau des Urfist, Michel Roland (président) et Alexandre Serres (vice-président)

[Dernière minute: Madame Geneviève Fioraso, ministre de l’ESR, a répondu à une question du député Lionel Tardy sur le service Refdoc. Voir le texte de sa réponse sur le blog du député. ]

Continuer la lecture

Éthique, évaluation, publication

La publication de l’article relatif au Boson de Higgs dans Physics Letters B suscite une nouvelle fois l’occasion de poser des questions cruciales sur l’éthique en matière de publication scientifique.

Le journal en question est publié par Elsevier dans un contexte de Golden O.A., dans le cadre des initiatives de SCOAP3, consortium monté par la communauté des chercheurs en Physique des Hautes énergies, pionnière en matière de libre accès. Agissant pour le compte de SCOAP3, le CERN a sélectionné 12 périodiques publiés par 7 éditeurs en vue de financer la publication d’articles. En 2011, étaient concernés 6600 articles. Sachant que le coût moyen nécessaire à la communauté pour payer le droit de publier dans ces revues se chiffre dans une fourchette allant de 1000 à 2000 $ par article, et que l’on souhaite épargner, autant que faire se peut, la contribution des laboratoires « auteurs », c’est au consortium qu’il appartient de régler la note, pour l’instant à hauteur d’environ 90 %. Idéalement, il faudrait financer le coût des 10 000 articles que cette communauté publie annuellement, chiffre à multiplier par le coût moyen que réclament les éditeurs à fort facteur d’impact pour chaque texte accepté.

On en revient toujours à l’implacabilité du système des facteurs d’Impact notamment dénoncé dès 2003 par Peter A.Lawrence et David Colquhoun dans Nature. Nul n’est d’ailleurs surpris outre mesure par le fait que ces critiques acerbes soient publiées dans un périodique qui, précisément, se distingue par son excellent I.F. Là comme ailleurs, la culture du paradoxe n’étonne plus.

Le groupe Nature  est représentatif du secteur biomédical dont on s’accorde à dire aujourd’hui qu’il est, sinon le seul, du moins le plus adapté à la structure du système d’évaluation fondé sur l’I.F. Les dérives dont pâtit la publication scientifique dans ce secteur sont connues depuis longtemps mais semblent s’accroître de façon significative ces dernières années. La compromission avec l’industrie pharmaceutique peut paraître anecdotique, mais elle est bien réelle et ses effets délétères ont déjà fait l’objet d’articles plus ou moins retentissants.

Ceux-ci relatent entre autres deux types de censure ; d’une part, celle que peut exercer la rédaction d’une revue sur les critiques émises par tel ou tel spécialiste à l’encontre d’articles susceptibles de vanter les mérites d’une molécule ou d’une méthode de thérapie chimique. D’autre part la censure exercée par défaut ou par omission lorsque les rapports émis négativement par la Food & Drug Administration à propos de telle molécule, sont passés sous silence ; non pas sur son éventuelle toxicité ou dangerosité aux doses prescrites, mais sur son inefficacité dans les essais cliniques par rapport à des placebos, par exemple. De même sur les effets secondaires, les rapports de la FDA peuvent être biaisés lors de la publication. Cet état de fait est assez grave, compte tenu de l’importance que l’on accorde aux Clinical Trials dans la recherche d’information médicale aujourd’hui.

Par ailleurs (mais certes, le secteur biomédical n’est pas le seul concerné), l’introduction grandissante de reviews dans les sommaires permet une augmentation « sournoise » des I.F. C’est le cas de la politique amorcée en la matière depuis quelque temps par The Lancet. On connaît bien cet épiphénomène de la course à l’I.F. que représente la diffusion et la très abondante citation des reviews. Il a néanmoins l’avantage de ne pas nuire à l’honnêteté intellectuelle et à la qualité de la recherche dans la mesure où ce type d’article ne sous-tend aucune réelle investigation élaborée en laboratoire.

Plus problématique est le phénomène de la vitesse contre lequel s’insurge le mouvement de la Slow Science. Car la nécessité de proposer rapidement de nouveaux résultats se traduit par des textes nombreux et parfois « risqués » dans leur contenus car n’ayant pas fait l’objet d’une contre-expertise suffisamment étoffée ou démultipliée, qui précisément implique du temps. Les études sur l’accroissement du phénomène de rétractation, i.e. de retrait d’articles (retraction  en anglais) sont nombreuses et s’accompagnent de constitution de bases de données ainsi que de blogs spécifiques.

« Depuis 2001, tandis que le nombre d’articles publiés dans les périodiques de recherche a cru de 44 %, le nombre de papiers ayant fait l’objet de rétractation s’est multiplié par 15, selon une enquête diligentée par Thomson Reuters pour le compte du Wall Street Journal. On ne relevait que 22 retraits en 2001, mais 139 en 2006 et 339 en 2010. De janvier à juillet 2011, le Web of Science en a compté 210. », rapporte Gautam Naik dans le WSJ (10 août 2011). Nature, Science et Cell sont des vedettes du genre.

 

Les Sciences humaines semblent être plus raisonnablement à l’abri de ces phénomènes de vitesse.  L’évaluation dans le domaine SHS représente à elle seule un vaste chantier, un sujet d’une importance capitale qui doit sortir de la gangue du silence ou de l’ombre portée par les méthodes appliquées dans le domaine STM. Les initiatives inspirées par l’IN-SHS du CNRS, comme JournalBase ou RIBAC, ou bien celles que suscite la Conférence des Publications en Psychologie de Langue Française (CPPLF) vis-à-vis de l’AERES et des éditeurs, constituent des avancées considérables que doit encourager la communauté. Les préconisations souvent timides du rapport du CDHSS d’octobre 2010 (pages 77 à 94) ont en effet pour caractéristique d’être perfectibles.

 

Manuel Durand-Barthez

Membre de l'URFIST de Paris. Formation SHS, professionnellement plutôt tourné vers les STM.

More Posts - Website

Présentation de la Bibliothèque Scientifique Numérique (BSN) à l’ENS Cachan le 4 juillet

Un communiqué du Comité de Pilotage Renatis:

Le réseau national des professionnels de l’Information scientifique et technique (IST) RENATIS du CNRS, soutenu par la MRCT avec le soutien du département de la coordination et des politiques transversales du MESR, organise une journée de communication sur le projet français de la Bibliothèque Scientifique Numérique (BSN) après trois ans de travaux des différents acteurs impliqués.

La manifestation se déroulera le mercredi 4 juillet 2012 de 9h30 à 17h à l’Amphithéâtre Marie Curie de l’Ecole Normale Supérieure de Cachan.

L’inscription est gratuite et obligatoire , dans la limite des places disponibles. Toutes les informations sont en ligne.

Inscription en ligne : http://tinyurl.com/Renatis-BSN

Programme à près le saut…

Continuer la lecture

La Conférence des Publications en Psychologie de Langue française (C.P.P.L.F.)

La Conférence des publications de psychologie en langue française « a pour objectif de promouvoir des concertations, en vue de définir les meilleures conditions de garantie d’existence et de qualité scientifique des publications, dans le respect des règles déontologiques et des principes éthiques. À cette fin, elle rassemble des acteurs et instances qui concourent à la publication, à la diffusion, à la conservation et à la valorisation des travaux de psychologie, par l’édition de revues, d’ouvrages, imprimés ou numériques. » (art. 2 des statuts).

 

La C.P.P.L.F. est un exemple remarquable de réflexion et d’action collectives se donnant pour objectif d’optimiser les conditions d’évaluation et de caractérisation des disciplines SHS en général et plus spécialement de la Psychologie. Enseignants-chercheurs, praticiens, éditeurs aux sens scientifique et diffuseurs, agrégateurs, sont réunis dans cette association dédiée aux publications de psychologie, qui œuvre dans le sens d’un dialogue constructif avec les instances d’évaluation : il s’agit de modifier de manière significative un certain nombre de principes dont l’inadéquation n’est plus à démontrer dans le domaine SHS ; la Psychologie constitue à cet égard une base de travail fort intéressante. La C.P.P.L.F. a bien voulu inviter l’URFIST de Paris à participer à ses travaux.

Voir le compte-rendu de son A.G. initiale sur le site  de cette Unité.

Manuel Durand-Barthez

Membre de l'URFIST de Paris. Formation SHS, professionnellement plutôt tourné vers les STM.

More Posts - Website

Dépôts en libre accès et politiques des éditeurs : Héloïse, un site français

« Afin de mieux communiquer auprès des chercheurs sur les autorisations en matière de dépôt, une plateforme d’information nommée Héloïse a été mise en place à l’adresse : http://heloise.ccsd.cnrs.fr. Elle résulte d’un partenariat entre le CCSD (Centre pour la communication scientifique directe), une unité du CNRS dédiée à la réalisation d’archives ouvertes, le SPCS (Syndicat de la presse culturelle et scientifique) et le SNE (Syndicat national du livre). Elle fait suite à plusieurs années de réflexion menée par le groupe de travail sur le libre accès du GFII (Groupement français de l’industrie de l’information).
Cette plateforme est la réponse aux attentes des auteurs au sujet de la transparence des règles fixées par les éditeurs français en matière de dépôt des articles de revues. Elle a pour but de recenser les politiques des éditeurs pour la mise en libre accès des articles des revues qu’ils publient et ce sont les éditeurs eux-mêmes qui déclarent leur politique. »

Les éditeurs sont encouragés à s’inscrire et à enregistrer leur politique de dépôt sur le site http://heloise.ccsd.cnrs.fr ou à prendre contact avec le CCSD (présentation d’Héloïse sur le site du SNE).

A la différence de l’initiative Sherpa/Romeo, les informations sur Héloïse sont enregistrées et certifiées par les éditeurs eux-mêmes. Il existe aussi un site équivalent pour les éditeurs espagnols : Dulcinéa.

Comment bloguent-ils?

Depuis quelques années, les acteurs de la recherche en sciences humaines se sont approprié les outils du Web 2.0 :  signets partagés, réseaux sociaux, plateformes de partage de contenus. Parmi eux, le blog est souvent utilisé comme un moyen simple et efficace de communication sur l’actualité de la recherche.

« Comment bloguent-ils ? » C’est la question qui sera explorée les 1er et 2 décembre 2011 au cours d’un événement organisé à Lyon par l’URFIST de Lyon, l’Institut des Sciences de l’Homme, la Maison de l’Orient et de la Méditerranée et le Centre pour l’édition électronique ouverte (Cléo).

Trois moments forts ponctueront cette manifestation autour des carnets de recherche en sciences humaines et sociales.

Continuer la lecture