Créer un style pour Zotero correspondant à une norme bibliographique juridique : retour d’expérience bordelais. Billet invité

Ce billet a été rédigé par Frédérique Flamerie de Lachapelle, conservatrice des bibliothèques à la direction de la documentation de l’Université de Bordeaux et membre de la rédaction du blog Zotero francophone.

Sur le projet, voir aussi : Gravier, Pierre. 2019. ‘Un style (Zotero) pour la recherche en droit : Retours sur une co-construction efficace’. Arabesques, no. 95: 16–17.

Escalator et escaliers à Lisbonne

Auteur : Daniel Kulinski – CC BY-NC-SA https://www.flickr.com/photos/didmyself/32714095277

Ce billet détaille les choix de méthode et d’outils effectués pour produire le fichier CSL Université de Bordeaux – Ecole doctorale de droit (French) dans le cadre du projet Citer des références juridiques de l’Urfist de Bordeaux, en partenariat avec la direction de la documentation de l’université de Bordeaux.

Il se focalise sur la démarche de transposition en un fichier CSL du style bibliographique formalisé dans le guide Citer des références bibliographiques juridiques, pour une utilisation du style intégrée à Zotero. Nous n’abordons pas la première phase du projet, ayant conduit à la publication de la première édition du guide ; nous vous invitons à consulter la page du projet sur le site de l’Urfist de Bordeaux pour plus de détails à ce sujet. Le point de départ demeure donc un point intermédiaire à l’échelle du projet dans son ensemble. Au-delà du point d’arrivée que constitue la publication du style et du matériel associé, nous proposerons en conclusion quelques perspectives de prolongement.

Sans reprendre l’ensemble des propos liminaires à la deuxième édition du guide, soulignons que cette phase du projet avait pour objectif de traduire les consignes de la première édition en instructions applicables par un logiciel. Il ne s’agissait pas d’écrire un nouveau guide, ni même de remettre en cause les choix méthodologiques de la première édition au profit de simplifications que des considérations techniques auraient rendu nécessaires. C’est donc au contraire un principe d’économie qui a guidé la démarche générale. Dans cette perspective, si certaines règles définies dans la première édition du guide ont été explicitées ou modifiées pour rendre possible l’automatisation par Zotero, les changements ont été minimes et limités à des ajustements nécessaires.

Collaboration, documentation et réutilisation

La méthode et les outils choisis ont répondu à un triple enjeu de collaboration, de documentation et de réutilisabilité des contenus produits.

La collaboration s’entend tout d’abord entre les acteurs du projet, aux profils complémentaires. L’éditeur du guide, maîtrisant parfaitement les normes bibliographiques du droit, a ainsi été sollicité à plusieurs reprises pour valider des propositions d’évolution rendues nécessaires par le langage CSL, ou dont l’impact était estimé mineur en regard du gain pour l’écriture du style CSL. En l’absence de connaissance des pratiques de la citation juridique, il aurait en effet été difficile de savoir sur quel élément de consigne il était possible de transiger ou non.

La collaboration, ensuite, s’entend également entre les acteurs du projet et les utilisateurs finaux, en premier lieu et avant tout les utilisateurs locaux pour lesquels le projet a été conçu, l’Ecole doctorale de droit de l’université de Bordeaux. La première édition du guide a suscité des retours formels ou informels au-delà de son public cible initial, de la part d’un public plus large, universitaire ou non, concerné par la citation de références juridiques. Il s’est donc agi de permettre non seulement aux destinataires directs mais plus largement à la communauté de juristes utilisatrice de Zotero de suivre le projet et éventuellement d’y contribuer, a minima en testant le fichier CSL. Une séance de tests et d’échanges avec des doctorants de l’Ecole doctorale de droit de l’université de Bordeaux a d’ailleurs été organisée lorqu’une première version fontionnelle du fichier CSL a pu être finalisée, à la mi-septembre 2019. Cette séance a notamment conduit à la révision certains des paramétrages effectués (par exemple le délimiteur pour les citations multiples en note de bas de page) et à l’intégration de nouveaux types de documents, les articles de presse et de magazine (voir l’issue GitHub pour l’ajout des modèles correspondant à ce type de document).

La démarche de documentation s’entend elle aussi dans cette double dimension interne et externe. D’un point de vue interne, nous souhaitions documenter tous les choix et les discussions qui ont jalonné la production du style. D’un point de vue externe, il convenait de fournir aux utilisateurs les éléments suffisants pour pouvoir utiliser le style de façon optimale. Le fichier CSL implique en effet quelques spécificités dans le paramétrage et l’usage des modules de traitement de texte de Zotero, ainsi que dans la saisie des données dans la bibliothèque Zotero. Si le recours à des champs indirects ou détournés a été limité au maximum, les spécifications du style n’ont pas permis d’en faire l’économie pour certains cas précis, par exemple pour les rôles de préfacier ou de directeur de thèse, qui ne sont pris en charge ni par CSL ni par Zotero.

L’enjeu de la réutilisation, enfin, met en évidence une autre catégorie d’utilisateurs potentiels, les réutilisateurs du fichier CSL ou de la documentation. Si les licences Creative Commons sous laquelle sont publiés le fichier CSL, la documentation et le guide autorisent de fait leur réutilisation, nous avons eu à coeur de la favoriser, en respectant au maximum les bonnes pratiques d’écriture CSL, en commentant le fichier CSL pour en faciliter la compréhension, enfin en publiant la documentation sous un format ouvert.

Les outils : GitHub, ReadtheDocs et groupe Zotero

Le principe d’économie évoqué précédemment s’est traduit dans le nombre et le choix des outils, en évitant de démultiplier les interfaces ou les plateformes utilisés.

GitHub s’est dès le départ imposé comme un outil pivot pour le projet. Disposer d’un historique documenté de toutes les modifications apportées au fichier de code CSL constitue bien sûr un atout majeur. Le dépôt csl_ed_droit_ubx sur GitHub a aussi permis de centraliser et de suivre toutes les discussions grâce aux issues (voir par exemple la discussion sur la mention d’édition), et d’ouvrir ces discussions à des contributions extérieures à l’université de Bordeaux, voire extérieures à la communauté de l’enseignement supérieur et de la recherche français.
La fonctionnalité de wiki de GitHub a aussi été mise à profit, principalement pour la page Contribuer au projet.

Un second dépôt GitHub csl_ed_droit_ub_documentation alimente les fichiers de la documentation du style CSL – Université de Bordeaux – Ecole doctorale de droit hébergée et publiée sur ReadtheDocs. Cette documentation constitue une version augmentée du guide “Citer des références bibliographiques juridiques”.

Elle comporte tout d’abord des indications pour le paramétrage et l’usage de Zotero, ainsi que des notes d’application générales communes à tous les types de document, à partir notamment des “Recommandations particulières” du guide – voir la section “Lisez-moi”.

Pour chaque type de document, elle intègre de plus des notes d’application dans Zotero et pour chaque exemple le lien vers le document correspondant dans la bibliothèque de groupe – voir la section “Modèles de citation des différents types de documents”.
Enfin, elle est versionnable et disponible aux formats html et aux formats pdf. Le langage ReStructuredText a été privilégié à Markdown, notamment en raison de ses possibilités de mise en forme étendues.

Le dernier outil se révèle finalement le premier, celui que nous avons mis en place avant même de travailler sur le fichier CSL, à savoir une bibliothèque de groupe Zotero, accessible librement en lecture depuis la page du groupe Zotero “style_csl_ed_droit_bx”.

Cette bibliothèque rassemble sous la forme de documents Zotero tous les exemples mentionnés dans la première édition du guide, et en comporte de nouveaux créés pour la deuxième édition. Ces nouveaux exemples illustrent d’une part des cas précisés, tels que les chapitres de livre et les articles de mélanges, relevant tous deux du type “contribution à un ouvrage”, et d’autre part des cas ajoutés dans la deuxième édition, tels que les articles de presse et de magazine.

A l’instar des autres outils, la bibliothèque Zotero est utile à la fois en interne et en externe, à la fois pour l’écriture du fichier CSL et pour la bonne appropriation et le bon usage du style par les utilisateurs.

Du point de vue de l’écriture du fichier CSL, on peut ainsi s’assurer aisément de transposer correctement les consignes de mise en forme. Le recours à des exemples préexistants facilite également le dialogue et les échanges avec les auteurs des consignes.

Du point de vue de l’utilisation du style, on dispose de modèles pour enregistrer correctement les documents dans sa bibliothèque, de façon à ce que toutes les informations soient saisies sous la forme et dans le champ appropriés (directeur de thèse, titre abrégé de mélange par exemple).

Ce récapitulatif des outils ne serait pas complet si l’on ne mentionnait pas les logiciels utilisés pour l’écriture du fichier CSL, à savoir l’éditeur CSL Zotero, combiné à un éditeur de texte. Pour davantage de détails, nous vous recommandons le billet consacré à ce sujet sur le blog Zotero francophone.

COLLECTIF, « Quel outil pour éditer des styles CSL? », sur Le blog Zotero francophone [en ligne], publié le 15 janvier 2018, [consulté le 5 juin 2019]. https://zotero.hypotheses.org/758

Perspectives

Si la publication au début de l’année 2019 d’une nouvelle édition du guide “Citer des références bibliographiques juridiques”, du fichier CSL et des ressources associées constituent une forme d’aboutissement, des pistes de prolongement du projet se dessinent également.

Une première perspective concerne l’augmentation de la typologie documentaire prise en charge, par le style et/ou le fichier CSL. Le guide comporte en effet déjà des indications pour la citation des jugements et arrêts et des codes ; l’intégration de ces consignes au fichier CSL sera étudiée. A la suite des articles de presse et de magazine ajoutés dans la deuxième édition, de nouveaux types de document comme les communications orales dans des congrès et les posters pourraient par ailleurs être ajoutés, en fonction des demandes des utilisateurs. Une procédure a été définie pour soumettre ces demandes, elle est accessible depuis le projet sur GitHub : page Contribuer au projet > Demander la prise en compte d’un nouveau type de document.

Une deuxième perspective porte sur l’utilisation de certaines des ressources associées au style (la bibliothèque de groupe notamment) lors de formations documentaires, pour sensibiliser les usagers à la qualité des données bibliographiques de leur bibliothèque Zotero. Cette perspective a notamment été évoquée lors de la formation “Citer des références…” organisée par l’Urfist de Bordeaux en partenariat avec la direction de la documentation de l’université de Bordeaux.

Enfin, une dernière perspective, non des moindres mais plus lointaine car relevant d’autres projets et d’autres acteurs, porte sur la réutilisation du fichier CSL pour la création d’un nouveau style. Il pourrait s’agit d’un style pour le domaine juridique mais répondant à des normes différentes (comme celles de RefLex par exemple), comme d’un style adapté à un domaine disciplinaire différent et répondant à d’autres normes.

Ateliers pratiques sur l’usage des ressources ISTEX

La plateforme ISTEX propose un accès à une collection pluridisciplinaire de 22 millions de documents pour l’ensemble des établissements de l’enseignement supérieur et de la recherche (ESR) français.
Les ressources sont réparties en 25 corpus éditeurs rassemblant plus de 250 éditeurs scientifiques et ont été acquises sans date limite d’accès et d’exploitation.
Les ressources se répartissent en 6 grands ensembles :

  • sciences de la vie et de la santé
  • sciences et techniques
  • sciences économiques et gestion
  • lettres et sciences humaines
  • sciences juridiques et politiques
  • axe pluridisciplinaire

Le développement de logiciels d’apprentissage automatique a permis d’enrichir et d’uniformiser l’ensemble des ressources afin d’interroger très finement l’intégralité de la base. À ce réservoir inégalé s’ajoute des services aux utilisateurs permettant d’en optimiser l’exploitation grâce à des outils de fouille de contenus (Text Mining) et de visualisation interactive.

Contexte

Les équipes ISTEX et leurs partenaires se sont déplacés dans une vingtaine de villes françaises en 2018 dans le cadre de l’événement ISTEX Tour pour réaliser des démonstrations sur le fonctionnement de la plateforme ISTEX et des services associés de fouille de textes. L’enquête de satisfaction diffusée auprès des participants a révélé une volonté d’aller plus loin dans l’usage des services et des outils présentés au cours d’ateliers pratiques.
Les équipes d’ISTEX s’associent cette année au réseau des URFIST pour proposer des « ateliers pratiques ISTEX ». Ces ateliers d’une journée permettront aux participants la prise en main des services et des outils de constitution, de visualisation et d’exploration d’un corpus thématique. Ils ont également pour objectifs de renforcer la communauté d’utilisateurs des ressources ISTEX et d’éveiller les pratiques documentaires vers la fouille de textes et de données (TDM).

Calendrier

Afin de desservir au mieux le territoire, l’INIST et les sept URFIST proposeront chacun un atelier pratique ISTEX cette année :

Programme

Matin : découvrir la plateforme ISTEX et services intégrés

Atelier : Construire et valoriser un corpus spécialisé à partir du réservoir ISTEX
30 min de présentation de la base ISTEX et 2h30 de manipulation de corpus

Les participants pourront découvrir les services ISTEX et s’approprier les méthodes de constitution et d’exploration de corpus à travers des exemples de corpus développés par l’INIST.  
Après une présentation générale d’ISTEX, cet atelier se déclinera en 3 modules :

  • Interrogation d’ISTEX pour constituer un corpus  
    • Affiner la requête pour limiter les étapes de post-traitement des résultats  
  • Extraction du corpus  
    • Utilisation du service de téléchargement ISTEX-DL  
  • Exploration, analyse et partage d’un corpus  
    • Utilisation du service de visualisation Lodex

A l’issue de cet atelier, les participants sauront interroger la base ISTEX pour construire, télécharger et explorer leur propre corpus.

Après-midi : Visualiser et analyser les métadonnées d’un corpus documentaire

Cette session sera consacrée à un seul des deux ateliers suivant :

  • Atelier 1 : Exploration d’un corpus documentaires ISTEX à l’aide de l’outil de cartographie Gargantext
  • Atelier 2 : Exploration d’un corpus documentaires ISTEX à l’aide de l’outil de cartographie Cillex  

Atelier 1 : Exploration d’un corpus documentaires ISTEX à l’aide de l’outil de cartographie Gargantext  
30 min de présentation de Gargantext et 2h30 de manipulation cartographique  

L’outil Gargantext est conçu pour produire des cartes interactives qui évoluent au fur et à mesure que vous travaillez dessus. Ces cartes thématiques de mots peuvent être utilisées pour construire un état de l’art en cartographiant un ensemble de documents, et mettant en place une représentation collective d’un questionnement, etc.   
La carte n’est pas l’objectif final mais une étape intermédiaire qui se conçoit comme support pour créer une représentation adaptative d’une question ou d’un problème en permettant des aller/retours entre les différents niveaux de vos corpus (document, termes, cartes, etc.). 

Cartographie Gargantext : expérimentation de Gargantext sur le corpus ISTEX 
Tutoriel : réalisation de sa première carte 

  • Le projet EasISTEX : Expérimentation de Gargantext sur le corpus ISTEX  
  • Présentation des bases de données  
  • Manipulations basiques de l’interface  
  • Usage avancé : Comment améliorer une carte  
  • Présentation de la version 4 de Gargantext 

Atelier 2 : Exploration d’un corpus documentaires ISTEX à l’aide de l’outil de cartographie Cillex  
30 min de présentation de Cillex et 2h30 de manipulation cartographique

L’outil Cillex est conçu pour produire des cartes dynamiques référençant les métadonnées d’une requête à l’API ISTEX. Cette cartographie permet de choisir les métadonnées d’intérêt en fonction du type de recherche (par thématique, par auteur, etc.)  

Cartographie Cillex : outils de visualisation du corpus documentaire ISTEX
Vidéo de présentation  

  • Ecosystème ISTEX : le projet Cillex  
  • Manipulation basique de l’interface  
  • Usage avancé :  
    • Traitement des données sur un tableur  
    • Affiner la sélection documentaire  
    • Visualiser les métadonnées d’intérêt

Ressources

En complément de ces formations, l’INIST a produit plusieurs tutoriels multimédia pour apprendre à interroger et interfacer l’API ISTEX (6 tutoriels).
Ces tutoriels permettront aux participants de se familiariser à la base ISTEX, comprendre les différents formats de documents et assimiler le vocabulaire en amont de l’atelier : 

L’écosystème ISTEX expose également certains projets qui ont utilisé ISTEX et ses corpus plein texte pour effectuer des recherche de type fouille de texte.
Ces ateliers seront l’occasion aussi pour ISTEX d’évaluer les besoins de communication et de formation et de réfléchir aux axes de développement des services existants.

Documentation et actualités

Plateforme ISTEX : TimeLine
Documentation ISTEX : doc.istex.fr
Twitter : @ISTEX_Platform
Blog ISTEX : blog.istex.fr

Pour toute autre information :
Contact technique : https://www.istex.fr/contact/

Un book sprint pour booster vos projets de rédaction collaborative. Interview d’Elisa de Castro Guerra (FlossManuals francophone)

Le contexte

L’Unité régionale de formation à l’information scientifique et technique de Bordeaux a organisé du 15 au 19 avril 2019 un book sprint sur la reproductibilité de la recherche. En savoir plus sur les auteurs. Les chercheurs, issus de différentes disciplines, ont rédigé tous les contenus et conçu la table des matières ex nihilo. L’équipe d’auteurs a été constituée spécialement pour le book sprint.
Début de la rédaction : lundi après-midi. Fin de la rédaction : jeudi soir. En savoir + sur le projet

Le livre issu du book sprint est disponible en accès libre.

Vous pouvez faire des propositions de contenus en créant une “issue” sur GitHub.

A l’origine, les book sprints ont été conçus pour documenter les logiciels libres : il s’agit d’une adaptation des code sprints des développeurs. L’accent est mis sur le travail collaboratif entre participants aux compétences diversifiées. Il s’agit d’une pratique d’écriture collaborative, pas seulement collective. Tout est écrit durant le sprint. La post-production (correction des coquilles, mise en page, intégration des références biblios, etc.) en revanche peut nécessiter plusieurs semaines de travail une fois le sprint passé. Sur une durée de 3 à 5 jours, le travail est effectué sous la houlette d’un facilitateur, dont le rôle est d’organiser les échanges.

Pour éclairer le rôle fondamental du facilitateur dans ce type de projet et la méthode du book sprint, l’Urfist de Bordeaux a posé quelques questions à Elisa de Castro Guerra qui a facilité le book sprint sur la reproductibilité de la recherche. Propos recueillis par Sabrina Granger, chef de projet.

Elisa, pourrais-tu te présenter en quelques mots? Quel est ton parcours, quels sont tes centres d’intérêt actuels?

Je suis psychologue et ethnologue de formation. Par curiosité et par goût, j’ai rejoint diverses communautés virtuelles autour du logiciel libre. Je me suis prise au jeu et je travaille aujourd’hui avec ces outils. Par un principe de retour à la communauté, je participe, à la hauteur de mes compétences, à ces logiciels, plus précisément aux logiciels libres graphiques avec une approche en UX design et sur de la documentation, sur de la formation. J’ai co-fondé plusieurs associations dont une a pour objectif de documenter avec un point de vue pédagogique l’utilisation de ces logiciels (Floss Manuals Francophone). Participer à ces logiciels et cet univers m’ont ouvert à d’autres compétences. Professionnellement j’ai pu en tirer avantage et cela m’arrive maintenant de faciliter des book sprints depuis 2011 sur des projets variés.

Qu’est-ce qu’un book sprint peut apporter à un service universitaire, un laboratoire de recherche ?

Le book sprint est une méthode pour écrire rapidement à plusieurs. Le groupe co-construit une bulle temporelle et crée un environnement favorable à la création et l’intelligence collective. Le temps est compté car l’objectif est bien identifié (produire un livre en quelques jours). Les différentes tâches sont identifiées aussi bien dans leur nature que leur durée.

Je ne connais pas précisément le travail spécifique du laboratoire de recherche, mais suite à l’expérience que nous avons vécu [NDLR : Elisa fait référence au book sprint organisé par l’Urfist de Bordeaux], j’ai l’impression que ce book sprint a permis :

  • de découvrir une nouvelle façon de collaborer
  • de découvrir une autre façon d’écrire vite et bien
  • de fédérer des chercheurs issus de disciplines différentes mais pourtant bousculés par des problématiques communes
  • d’enrichir sa pensée
  • de vivre une expérience humaine passionnante

Quels sont les 3 facteurs clés de réussite pour un book sprint selon toi? Et quels sont les 3 écueils principaux à éviter?

L’idéal est de réunir des personnes qui ont envie de participer à ce type d’expérience. Ces participants doivent avoir des points de vue (une expérience) différents des uns des autres, et des niveaux sur la question également différents.

Le sujet abordé doit être innovant, inutile de refaire ce qui existe déjà.

Il faut éviter d’organiser un book sprint dans le milieu naturel du participant, sinon il ne sera pas complètement disponible pour participer à cet événement. Il faut également éviter qu’un nouveau participant arrive en fin de book sprint, le risque est alors trop grand de déconstruire le travail déjà réalisé et de démotiver les participants présents depuis le début.

L’équipe réunie doit absolument être présente sur la totalité de l’événement, si c’est difficile, il faut alors plutôt accepter des participants quittant avant la fin plutôt que l’inverse.

Cite-moi 3 idées reçues (fausses)  que l’on pourrait avoir sur les book sprints? en termes d’organisation, de durée, de profils d’auteurs, de compétences mobilisées, etc.

Il est nécessaire d’avoir un facilitateur, réunir des participants ne suffit pas, même de bonne volonté. Et c’est difficile d’être à la fois auteur et facilitateur !

La durée du book sprint doit rester courte (pas plus de 5 jours) et être regroupée dans le temps (l’idéal est de proposer un book sprint sur 3 à 5 jours consécutif).

Les auteurs doivent déjà avoir eu une expérience positive avec l’écriture, être prêts à collaborer (écrire et accepter que quelqu’un modifie votre paragraphe) et à discuter.

Selon le sujet, il est essentiel de réunir des compétences diversifiées pour une approche plurielle et des expériences à des niveaux différents (débutant, intermédiaire, expert).

Quel est le rôle du facilitateur? Et comment bien faciliter un book sprint?

Le facilitateur a une vue globale sur la co-création alors que les participants sont dans la création de leur plus petite partie. Le facilitateur sait ce qui a été fait et ce qui reste à faire et met en place une lisibilité de ce qui reste à faire pour que chacun se responsabilise et s’organise afin de gérer son apport au regard du temps disponible.

Le facilitateur ressent l’humeur du groupe, il prend soin du groupe, et est attentif à ce que chacun reste dans sa zone de confort et a les moyens de donner le meilleur de soi-même.

Le facilitateur organise les discussions pour que les doutes soient levés et que le résultat de la co-création soit le reflet satisfaisant du groupe.

Je ne sais comment expliquer la facilitation d’un book sprint en peu de mots, participez à mes formations pour en apprendre davantage !

Quels sont les autres rôles que l’on peut prévoir quand on organise un book sprint?

Souvent en relation avec l’objet final, au cours de mon expérience de divers book sprints, nous avons pu faire appel à :

  • un développeur pour qu’il corrige les bugs constatés lors de l’événement
  • un traducteur pour qu’il contribue et améliore la localisation française
  • un débutant correspondant à la cible de la co-création afin de tester immédiatement (et corriger le cas échéant) l’efficacité de notre action
  • un graphiste pour la réalisation de schémas ou illustrations à insérer dans l’ouvrage
  • un coordinateur de projet pour identifier les auteurs et le lieu
  • un relecteur pour qu’il fasse une repasse sur la totalité de l’ouvrage terminé pour chasser les erreurs typographiques et de style inévitables
  • un bibliothécaire pour prendre soin de la bibliographie et des références bibliographiques
  • voire … un cuisinier pour nous préparer de bon petits plats le midi et le soir afin de créer des moments positif de vie du groupe autrement que par le travail !

Reproductibilité de la recherche : “Vers une recherche reproductible : Faire évoluer ses pratiques” un ouvrage en français pour une recherche plus transparente

Auteurs : Loïc Desquilbet, Boris Hejblum, Arnaud Legrand, Pascal Pernot, Nicolas Rougier

L’ouvrage est en accès libre, téléchargeable aux formats PDF et EPub.

URL pérenne : https://hal.archives-ouvertes.fr/hal-02144142

5 auteurs issus de disciplines variées ont rédigé un ouvrage en français pour aider chercheurs comme personnels scientifiques à relever les défis de la reproductibilité de la recherche. Dette technique, code informatique abscons, tableurs indomptables, figures impossibles à reproduire (alors même que l’article a été accepté par la revue !), chaos numérique, etc. Les freins à la traçabilité de la recherche sont nombreux et d’ordre aussi bien technique que méthodologique.

Tout au long du livre, les auteurs proposent un panel de solutions dont certaines ne nécessitent aucune compétence technique avancée pour être mises en œuvre. L’ouvrage a pour vocation de s’adresser à un public large.

Mots clés : recherche reproductible ; transparence de la recherche ; science ouverte ; crise de la réplication ; open source ; open data ; data sharing ; réutilisation des données ; standardisation ; book sprint

Les contenus de l’ouvrage

L’objectif de cet ouvrage est de donner les outils pour comprendre les enjeux de la recherche reproductible. Celle-ci vise à donner l’opportunité à tout chercheur de vérifier ou d’obtenir de nouveau les résultats d’un autre chercheur, que ce soit pour établir des comparaisons ou pour s’en inspirer. Notons que cet autre chercheur peut être l’auteur des travaux lui-même : ce qui était clair à un moment donné ne l’est plus quelques semaines plus tard. Notre ambition est d’apporter des solutions avec un niveau de technicité varié, permettant à chacun d’améliorer sa pratique dans son domaine et selon ses moyens.

Le livre se structure en trois grandes parties :

– la première partie traite de la notion même de recherche reproductible selon différentes perspectives. Il s’agit de prendre pour point de départ des expériences “traumatiques” engendrées par des pratiques plus ou moins (moins en fait) propices à une recherche reproductible.

– la deuxième partie explicite les causes et les origines des différents problèmes auxquels chaque chercheur, quel que soit son degré d’expertise dans son domaine, peut être confronté un jour ou l’autre.

– la troisième partie présente enfin une sélection de solutions offertes par la recherche reproductible pour résoudre ou prévenir ces problèmes à l’échelle de chacun.

Desquilbet, Loïc, Sabrina Granger, Boris Hejblum, Arnaud Legrand, Pascal Pernot, et Nicolas P. Rougier. Vers une recherche reproductible : Faire évoluer ses pratiques. Bordeaux : Urfist de Bordeaux, 2019.

Proposer des contenus, poser des questions aux auteurs

En créant une “issue” via GitHub ou en contactant l’Urfist de Bordeaux par mail (urfist/at/u-bordeaux.fr), il est possible de proposer des contenus, de poser des questions aux auteurs, tant sur les contenus que sur la méthode. Vous souhaiteriez proposer une traduction de l’ouvrage? Contactez-nous. https://github.com/rr-france/bookrr

Qu’est-ce qu’un book sprint?

La spécificité de cet ouvrage est d’avoir été rédigé dans le cadre d’un book sprint organisé par l’Unité régionale de formation à l’information scientifique et technique de Bordeaux (15-19/04/2019) : les auteurs ont rédigé tous les contenus et la table des matières ex nihilo. Pour en savoir + sur le projet

Un book sprint est un mode de rédaction collaboratif, pas seulement collectif. La notion de premier auteur n’existe pas.

Les auteurs

En savoir plus sur les auteurs, découvrir les contributeurs

Debunking data fraud : suites du meetup “To cheat or not to cheat : The dark side of data science”

Le contexte

Le 7 mars 2019, l’Urfist de Bordeaux et l’école doctorale “Mathématiques et informatique” (Université de Bordeaux) ont co-organisé le meet up : « To cheat or not to cheat : The dark side of data science ».

Peer review truqué, visualisations de données partisanes, interprétations abusives… Participant.e.s et intervenants ont échangé tout l’après-midi sur les pratiques de recherche les plus douteuses.

Intervenants

Nicolas Rougier est chercheur Inria en neurosciences computationelles. Il travaille à l’institut des maladies neurodégénératives à Bordeaux. Il a co-fondé le journal ReScience qui est spécialisé dans la publication de réplication en sciences computationelles. @NPRougier

Christophe Bontemps est ingénieur de recherche à l’INRA au sein de la Toulouse School of Economics. Economètre-statisticien de formation, il enseigne la visualisation des données depuis plusieurs années et est co-organisateur du Meetup Toulouse Dataviz. @Xtophe_Bontemps

Retours sur le meet up avec Christophe Bontemps

Propos recueillis par S. Granger, pour l’Urfist de Bordeaux

Christophe, stp, pourrais-tu te présenter en quelques mots? Quel est ton parcours? Quelles compétences principales as-tu développées et comment es-tu venu à te spécialiser dans la visualisation de données?

La version courte pour me présenter, c’est “Ingénieur économètre à la Toulouse School of Economics (TSE) pour l’INRA”, mais comme ce n’est ni très glamour ni très compréhensible, je préfère la version romancée : je suis une sorte de mathématicien qui essaie d’aider des chercheurs (en économie) à répondre à leurs questions en utilisant des données (de la vraie vie) et des modèles statistiques adaptés (modèles économétriques). Pour faire cela , je manipule évidemment des données, explore leurs caractéristiques et estime différentes statistiques ou indicateurs plus ou moins complexes,  voire des fonctions.

La représentation graphique (la dataviz) est omniprésente dans ma pratique que ce soit pour l’exploration des données ou pour la représentation de résultats. Il y a quelques années, pour résoudre mes propres problèmes de visualisation de mes estimations, j’ai voulu progresser sur les méthodes de visualisation de données.

J’ai alors acheté plein de bouquins, lu des articles et décidé d’approfondir le sujet. La meilleure méthode pour faire cela c’était d’enseigner, ce que je fais depuis 4 ans à l’ENSAI (Rennes), à TSE et bientôt à Vérone en Italie. Depuis 3 ans, je co-anime aussi le Meetup Toulouse Dataviz (1200 membres) qui organise aussi depuis 2 ans un challenge de visualisation de données, le “Hackaviz”.

Pourrais-tu me citer 3 fausses bonnes idées en matière de dataviz?

Mes cours et mes étudiants m’ont beaucoup appris sur la dataviz. Mais c’est surtout en faisant des erreurs et en partant sur de mauvaises idées, dont celles-ci, que l’on apprend :

  • Un graphique vaut 1000 mots.  Il est vrai qu’un graphique peut porter un message plus puissamment qu’un texte. Il sera aussi mieux mémorisé. Mais un graphique sans contexte, et donc sans les mots qui l’accompagnent pour en décrire les éléments visuels, leur signification, la source des données, la question posée et les éléments de réponse apportés par le graphique, n’apprend pas plus sur le monde qu’un joli coloriage.
  • Plus ça bouge, mieux c’est !, autrement dit, une bonne dataviz est interactive, est obligatoirement dynamique et tout réagit à tout. Les effets “Wahoo” que l’on rencontre souvent sur le net sont rarement porteurs de sens et de comparaisons instructives. Les data journalistes (les vrais) ne s’y trompent pas et sont revenus à des formes graphiques plus simples et porteuses d’histoires.
  • Pour des données géolocalisées, on est obligé de faire une carte”. Non, on peut comprendre les élections américaines sans cartes, on peut mesurer l’évolution du changement climatique sans faire une carte des températures (qui ne reflétera pas l’impact sur les populations par exemple). Les cartes sont des représentations extrêmement complexes qui exigent beaucoup de compétences, de l’expérience et de la rigueur dans leur composition. C’est d’ailleurs un métier et il y a des formations spécifiques pour cela.  Ajouter des éléments statistiques sur une carte relève donc du défi (comment visualiser l’incertitude autour d’une valeur sur une carte? Quels éléments visuels peut-on superposer à une carte? Que et comment comparer sur une carte ?). Or, comme de nombreux et formidables outils existent, nombreux sont ceux qui ont ce réflexe malheureux de cartographie. ( La même remarque s’applique aux données de réseau sociaux représentées sous forme de boules de poils inutiles par réflexe, parce que les données sont “de réseau”. )

Pourrais-tu me citer 3 idées reçues sur la dataviz, dans un contexte de recherche?

“Mon” monde de la recherche est composé d’économistes, d’économètres et de statisticiens qui sont parfois réceptifs à la dataviz, mais parfois pas. Je n’ai donc qu’une vision très partielle de la recherche, mais j’ai souvent entendu les choses suivantes, potentiellement entendues ailleurs :

  • Une bonne table suffit. Les tables de statistiques descriptives sont encore une norme absolue, mais comparer des distributions avec des moyennes, écarts-types, min et max, c’est extrêmement réducteur. Une bonne table est souvent supplantée par une bonne visualisation, mais il faut se donner un peu de mal, c’est vrai.
  • Il ne faut pas passer trop de temps sur les graphiques, l’important ce sont les résultats”. La visualisation de données est encore perçue comme un outil pratique lié au développement de l’informatique. Or, c’est aussi un outil de la statistique moderne qui permet de tester visuellement et rapidement un ensemble d’hypothèses. Tout comme la statistique, cela demande de créer les bons tests, c’est à dire les bonnes visualisations et ce n’est pas un amusement esthétique. De nombreux statisticiens de renom ont d’ailleurs  travaillé à créer les bons outils et les bonnes pratiques dans différents contextes.
  • Pas de boîtes à moustaches, personne ne comprendra ce que cela représente. C’est un éditeur de revue (une revue sérieuse) qui m’a écrit cela. Dommage, cette représentation a vraiment son utilité et elle fut inventée en 1977! C’est vraiment symptomatique du travail qu’il reste à faire pour éduquer toute une population assez conservatrice lorsqu’il s’agit de publication.

Supposons que je n’aie pas de compétences techniques en R ou Python, ou tout autre langage de programmation. Mon truc, ce sont les tableurs. Quels seraient tes 3 conseils pour m’aider à améliorer mes visualisations de données? Par quoi puis-je commencer?

Je commencerais par investir dans… les possibilités graphiques des tableurs ! L’outil que l’on utilise n’est pas le plus important, même si les graphiques proposés en premier choix dans ces tableurs ont de graves défauts.

Ensuite, je lirais (en anglais) l’excellent livre Storytelling with Data ou (en français)  Convaincre avec des Graphiques efficaces. Ces deux livres sont entièrement composés de graphiques sous Excel et donnent de très bonnes pratiques de visualisation, faciles à appliquer au quotidien.

Enfin, je suivrais une formation (en ligne ou pas) pour comprendre pourquoi et comment on fait des graphiques. Une formation agnostique sur les outils utilisés, axée sur les techniques de visualisation que l’on peut appliquer même sur du papier avec des crayons de couleur.

Autre cas de figure : dans mon unité de recherche, je souhaiterais disséminer des bonnes pratiques de dataviz. Que me conseilles-tu en termes de modalités de transfert de compétences? Que peut apporter un hackathon à des chercheurs par exemple?

Oui, un hackathon, (ou un hackaviz) est un excellent moyen de se plonger dans une problématique de représentation de données à partir d’un jeu de données inconnu qu’il faut découvrir. Cela permet aussi de se rendre compte que l’on peut présenter des faits, des résultats, des trouvailles de différentes façons et que l’on peut aussi “ne pas voir” quelque chose. En outre, l’exercice, si encadré, permet de découvrir de nouvelles pratiques et de nouveaux outils que l’on aura envie d’essayer tout de suite sur le jeu de données. Ce n’est pas très difficile à mettre en œuvre et est souvent enrichissant et ludique parce qu’on travaille en groupe.

Selon toi, existe-t-il des cas de triche acceptables?

Cela dépend ce qu’on appelle “triche”.  “Tricher” avec les règles pour simplifier et mettre l’accent sur un point précis en informant le lecteur est tout à fait acceptable. “Tricher” en créant une carte du métro qui ne respecte pas les distances entre stations est tout à fait acceptable (et accepté) également. Tandis que tricher avec les données, choisir une représentation volontairement (ou pas) trompeuse, non adaptée aux données, recadrée, ou simplement faussée, n’est par contre pas acceptable. On voit de nombreux cas, hélas, comme j’ai pu vous l’exposer à Bordeaux.

Et inversement, qu’est-ce qui reste inacceptable, pour TOUJOURS? aka un score de 55 sur l’échelle du scandale, qui est une échelle allant de 1 à 10.

Bon nombre de visualisations sont hélas basées sur des comparaisons (ou sur des statistiques) qui n’ont pas de sens. Que l’on utilise des échelles doubles, que l’on tronque des axes, ou que l’on torde des graphiques pour tromper l’œil et le cerveau par des comparaisons faussées reste inacceptable. Mais il y a toujours une chose qui me révolte dans ce domaine : c’est la comparaison d’éléments non comparables. Que cela soit une comparaison chiffrée ou graphique. L’exemple récurrent de la comparaison du nombre de morts sur les routes lors du week-end de Pâques me fait souvent douter de l’intelligence humaine ou me laisse penser qu’il y a tentative de manipulation. Est-ce que l’on compare le nombre de promeneurs  dans les Pyrénées sous la pluie et sous le soleil? Quelle que soit la représentation graphique de ces pseudo-statistiques, ces comparaisons sont stupides, intolérables et oui toujours scandaleuses !

Plus généralement, selon toi, quelles bonnes pratiques de dataviz adopter pour une recherche plus transparente et plus reproductible?

Tout d’abord, si les (bonnes) méthodes de visualisation de données étaient enseignées dans les cursus des disciplines où l’on traite des données et où l’on utilise des statistiques, la question des bonnes pratiques se poserait moins cruellement qu’aujourd’hui.

Ensuite, je crois que la question de la transparence et de la reproductibilité se pose en termes d’outils, mais aussi de volonté. Il faut des outils permettant de tracer les étapes de la production d’un graphique (et donc d’un résultat), mais il faut aussi que les chercheurs aient l’envie de partager cette chaîne de traitements.

Donc, formation + bons outils (pas de tableurs) + volonté + incitations. Tout un programme, qui se met en place doucement avec une nouvelle génération de chercheurs.

Pour finir, comment définirais-tu une bonne dataviz?

Excellente question que j’esquive en laissant répondre le génial Jacques Bertin “Il n’y a pas de bons ou de mauvais [graphiques] (…), il y a des constructions qui répondent  et d’autres qui ne répondent pas aux questions qu’on est en droit de se poser”. (cf. Jacques Bertin “Théorie matricielle de la graphique” Communication et langages, Armand Colin, 1981, 48, 62-74. )

L’identité numérique du chercheur : quel accompagnement ?

Suite à des demandes régulières d’intervention ces dernières années autour de l’identité numérique pour des doctorants et des enseignants-chercheurs, l’URFIST de Paris a récemment proposé une formation de formateurs dédiée à cette question. Cette formation sous forme d’ateliers était l’occasion de répondre au besoin d’accompagnement et d’échanges ressenti par un certain nombre de professionnels de l’IST (bibliothécaires, documentalistes, etc.) autour d’une préoccupation de plus en plus centrale pour le chercheur et son institution. Dans la continuité de cette formation, ce billet souhaite proposer des repères, des exemples, des retours d’expérience et des pistes d’action possibles pour accompagner au mieux les chercheurs.

Un grand merci à tous les participants de ces deux ateliers pour leur travail et leurs échanges !

Plan
Besoins et attentes des chercheurs
Positionnement des professionnels de l’IST
Retour sur l’atelier Formation de formateurs
Quels scénarios d’accompagnement pour quels buts ?
Former à l’identité numérique : points de vigilance
Conclusion

Cet article est également disponible en format PDF sur le site de l’URFIST de Paris.

Continuer la lecture

Valoriser le travail des reviewers. Retours d’expérience de chercheurs sur le peer review, Publons

Dans le cadre de la journée d’étude du 27 mars 2018 « Le peer review à l’ère de l’open science : enjeux et évolutions » (consulter les supports ; consulter les tweets) organisée par l’Unité régionale de formation à l’information scientifique et technique de Bordeaux, une table-ronde a été dédiée à la question de la reconnaissance et de la valorisation de l’activité des reviewers.  La manifestation a été organisée en partenariat avec le centre Bordeaux Sud-Ouest de l’Inria, la délégation Aquitaine du CNRS, le pôle ressources humaines et développement social de l’Université de Bordeaux.

Hervé Maisonneuve, médecin et rédacteur du blog « Rédaction médicale et scientifique », a animé les échanges entre les participants et les chercheurs invités à témoigner : Florence Débarre (CNRS ; Centre Interdisciplinaire de Recherche en Biologie, Collège de France) ; Fabien Lotte (équipe Potioc, Inria) ; Nicolas Rougier (équipe Mnemosyne, Inria) ; Olivier Sandre (Laboratoire de Chimie des Polymères Organiques, CNRS).

Focus sur les retours d’expérience de 2 chercheurs, Florence Débarre et Fabien Lotte, qui se sont prêtés à une interview croisée. Les 2 chercheurs évoquent : leurs activités de reviewers ; les enjeux dans leurs disciplines ; leurs besoins ; leur utilisation de Publons et notamment la question de son rachat par Clarivate analytics, les forces et faiblesses de la plateforme du point de vue d’utilisateurs réguliers, etc.

Propos recueillis par H. Maisonneuve et S. Granger

Présentation de Florence Débarre : « Florence Débarre est théoricienne en écologie de l’évolution. Chercheuse au CNRS, elle travaille au Centre Interdisciplinaire de Recherche en Biologie (CIRB), à Paris. Elle est membre du groupe SMILE (Stochastic Models for the Inference of Life Evolution). »  Source : site personnel de Florence Débarre, trad. S. Granger

Présentation de Fabien Lotte : « Le pain quotidien de Fabien Lotte, c’est le traitement des signaux électro-encéphalographiques (EEG) qui sont une mesure de l’activité cérébrale de tout être humain. D’emblée, il l’indique que, si ses recherches sont tendues vers la reconnaissance des signaux les plus distinctifs pour savoir ce qui se passe dans le cerveau, il ne peut toutefois pas savoir ce que vous pensez ! Traquer et scruter les courbes dessinées par l’activité cérébrale est utile pour améliorer le pilotage des BCI (Brain Computer Interface). Fabien traite les signaux et conçoit des types d’interfaces homme-machine appelées  interfaces cerveau-ordinateur. » Source : site web Inria

Qu’est-ce que Publons ? Comment avez-vous connu Publons ?

[FD] « Publons est un site web qui recense les reviews faites par les chercheurs, agglomère les données liées à ces reviews ; le site permet aussi de partager publiquement les reviews (ce que je n’ai jamais fait), mais aussi de suivre le devenir d’un papier (par exemple qui a été accepté ensuite dans un autre journal).

Je crois que j’ai connu Publons via un email sur la liste de diffusion « evoldir » (liste de diffusion internationale pour la communauté en biologie de l’évolution), puis via Twitter. Je me suis inscrite en 2016. Avant je suivais mes reviews faites sur un tableur, mais j’ai apprécié d’avoir un système me permettant d’authentifier les reviews que j’avais faites. »

[FL] « J’ai connu Publons via le journal Journal of Neural Engineering, qui est un journal majeur dans ma communauté de recherche, et dont je suis un relecteur régulier et un membre du bureau éditorial.

En terminant une évaluation (review) d’article pour ce journal, le système informatique de celui-ci me demande si je veux que mon évaluation soit officiellement reconnue via leur partenaire Publons.

Je ne connaissais pas Publons, mais j’ai regardé rapidement et j’ai trouvé l’idée intéressante donc je me suis créé un compte et cette relecture a donc été officialisée. C’était donc ma première.

J’ai ensuite vu qu’on pouvait transmettre à Publons les e-mails officiels de remerciement qu’on avait reçu pour les relectures qu’on avait faites auparavant, de façon à ce qu’elles soient également officialisées.

J’ai donc fouillé dans ma boite e-mail pour retrouver ces e-mails (en tout cas ceux que j’avais, car il m’en manquait) et les transmettre à Publons. »

Pourquoi utiliser Publons ? L’utilisation de Publons vous a-t-elle conduit à modifier certaines de vos pratiques?

[FD] « J’utilise Publons pour chacune des reviews que je fais ; je liste désormais l’URL de mon profil Publons dans mon CV, et je l’ai mentionné dans ma dernière demande de financements. Publons me permet aussi de mieux suivre les reviews que je fais, en particulier leur nombre (et me permet d’en refuser plus rapidement si j’ai atteint mon quota mensuel!). Dans ma discipline, une review prend du temps (c’est au moins une journée pleine de travail, souvent plus). » [FL] « Ma motivation à utiliser Publons vient du fait que la relecture d’articles scientifiques est une activité essentielle et majeure d’un métier de chercheur, qui assure la publication d’articles scientifiques de qualité (ou en tout cas limite la publication d’articles à la qualité douteuse), et qui est très chronophage. Par exemple, de mon côté, ces dernières années j’ai évalué entre 40 et 70 articles par an (à la fois de journaux et conférences), et l’évaluation de chaque article peut prendre plusieurs heures, voire même une demie journée pour les articles de journaux longs.

Cette activité est malgré tout peu reconnue et valorisée, et n’a que très peu de poids dans nos dossiers, par exemple lors que l’on demande des financements, une promotion ou pour nos évaluations régulières. Ainsi, alors que cette activité est essentielle pour la recherche, il y a très peu d’incitations à la faire de la part des institutions.

Les statistiques de Publons le montre d’ailleurs, la majorité des relectures est faite par une minorité de relecteurs (dont je fais partie). Il est en effet beaucoup plus valorisant pour sa carrière de passer du temps à écrire des articles ou des projets de recherche plutôt qu’à en évaluer. Mais l’un ne peut pas fonctionner sans l’autre. Publons change donc la donne en reconnaissant officiellement ce travail de relecture, et en permettant aux chercheurs de le valoriser.

De mon côté, j’ai par exemple obtenu 2 prix de relecteur par Publons (« Publons peer review award 2017 »), pour être dans les 1% de relecteurs (enregistrés chez Publons) ayant effectué le plus grand nombre de relectures en 2017, à la fois dans les disciplines d’ingénierie et de neurosciences (mon domaine de recherche étant à la croisée des deux disciplines). C’est donc un prix scientifique que je peux mettre en avant et valoriser sur mon CV. Je candidate cette année pour être directeur de recherche Inria, ce prix est donc bienvenu !

Mes pratiques n’ont pas spécialement évolué, à part que maintenant je transmets chaque e-mail de remerciement d’évaluation d’articles à Publons immédiatement !»

Selon vous, quelles sont les forces et les faiblesses de Publons ? Quel est votre avis sur son rachat par Clarivate analytics ?

[FD]

« Forces :

Intégration avec des journaux, en particulier ceux qui utilisent ScholarOne (qui appartient aussi à Clarivate Analytics), qui facilite le décompte des reviews ;

Force de frappe de Clarivate Analytics

Statistiques sur le contenu des reviews, comparaisons avec d’autres reviewers du domaine (par exemple longueur des reviews, jours de la semaine auquel les reviews sont envoyées)

L’intégration avec ORCID qui permet de centraliser et bien identifier les données

Faiblesses :

Détenu par Clarivate Analytics ; je crains la concentration des pouvoirs dans les mains d’une seule entreprise privée (Web of Science, Scholar One), qui détient beaucoup de données sur les chercheurs ; cf un de mes Tweets (1er juin 2017) lorsque j’ai appris le rachat

A l’époque, j’ai réfléchi à supprimer mon compte, mais Publons est quand même bien utile… Cependant, le fait que Clarivate Analytics ait récemment racheté beaucoup de petites startups comme Publons (par exemple Impact Story, que j’appréciais aussi), m’inquiète.

On peut potentiellement identifier un reviewer si on soupçonne quelqu’un et qu’on voit apparaître sur son profil Publons le nom du journal dans lequel on a soumis son article…

Publons n’est pas encore trop efficace pour les articles édités ; je suis Editrice Associée du journal Evolution, mes évaluations sont détaillées, quasiment comme des reviews, et j’aimerais que Publons les comptabilise aussi correctement (il n’y a aussi pas d’intégration automatique via Scholar One des articles édités)

J’ai appris via les fondateurs de Peer Community In (consulter le support de présentation Peer Community In) qu’être sur Publons est payant pour les journaux»

[FL] « Au-delà des apports que j’ai mentionnés ci-dessus, les limites actuelles que je vois à Publons pour l’instant, dans ma discipline (je suis informaticien), est que Publons ne reconnait pour l’instant que, ou quasi que les relectures d’articles de journaux. Or, dans la communauté informatique (au contraire de beaucoup d’autres communautés comme les neurosciences par exemple), on publie beaucoup d’articles de conférences, ceux-ci pouvant présenter des résultats aussi aboutis et aussi détaillés que ceux présentés dans des journaux informatiques. Par exemple, en Interaction Homme Machine ou en Machine Learning, les publications dans les grosses conférences du domaine (ACM CHI, NIPS, ICML, etc.) sont tout aussi voire plus reconnues et sélectives que celles dans les meilleurs journaux du domaine.

En tant qu’informaticiens nous effectuons donc de nombreuses relectures d’articles de conférences (qui sont souvent à peu près aussi longs que certains journaux informatiques). Celles-ci ne sont généralement pas reconnues par Publons pour une raison pratique toute bête : nous ne recevons pas d’e-mail officiel de remerciement pour chaque article de conférence évalué, le tout se passant sur des sites internet dédiés, auxquels Publons n’a pas accès.

Dans l’avenir, il me parait donc essentiel que Publons puisse aussi reconnaitre les relectures d’articles de conférences, qui sont essentiels en informatique. »

Concernant le rachat de Publons par Clarivate analytics : « Je n’ai pas spécialement d’avis, je ne connais pas bien les enjeux politiques ou commerciaux derrière. J’espère seulement que cela permettra à Publons d’aller plus loin dans son travail, tout en restant scientifiquement neutre et objectif, sans être influencé par des biais commerciaux. »

Dans quelle mesure, ce type d’outils peut-il être pertinent également pour des chercheurs en début de carrière?

[FD] « Je recommande Publons en début de carrière, comme preuve de l’activité de reviewing ; je ne recommande cependant pas forcément les reviews publiques. » [FL] « En début de carrière, être invité à faire des relectures d’articles est un signe de visibilité et de reconnaissance dans l’expertise des chercheurs invités pour la relecture. On n’invite en effet a priori que des gens qui maitrisent leur sujet et dont on sait qu’ils travaillent sur le sujet. Ainsi, Publons permet aux chercheurs en début de carrière de valoriser ces travaux de relectures et de mettre en avant la visibilité scientifique qu’ils ont acquise en officialisant les relectures qu’ils effectuent. Lorsqu’en suite ils vont candidater pour un poste permanent, ils pourront ainsi prouver ce travail sur leur CV. »

Quel avenir pour ce type de plateforme ? Connaissez-vous d’autres moyens, d’autres plateformes ou systèmes apportant pour valoriser le travail des relecteurs ?

[FD] « Elsevier reviewer credits (des sortes de médailles affichées sur le profil consolidé Elsevier) ; les listes de reviewers publiées annuellement par les journaux (par exemple PNAS ou Proceedings of the Royal Society B). Nature permet aussi d’exporter un certificat de reviews faites ; j’ai reçu des emails pour Reviewers Credits, mais je n’ai jamais utilisé la plateforme. »

[Note Urfist Bordeaux] : En savoir + sur les métriques alternatives déployées dans le cadre du projet Open Peer Review Module du Spanish National Research Council, cf. présentation d’I. Bernal (reputation scores for authors in Open peer review in DIGITAL.CSIC : analyzing potential roles of institutional repositories in the future of scholarly communication) + Osman, N., & Sierra, C. (2016). Reputation in the Academic World. http://dx.doi.org/10.13039/501100000780

On peut également citer Peer Community In (PCI), plateforme gratuite et non commerciale de recommandation de preprints. PCI n’est pas un outil visant à faciliter le suivi des activités des reviewers, mais PCI contribue à valoriser l’activité des reviewers dans la mesure où les reviews sont publiées dès lors que le preprint est validé. L’auteur du preprint reste libre de publier son article dans la revue de son choix ou de le déposer dans une archive ouverte.

« Nous n’avons pas d’autre choix » : les éditeurs, ResearchGate et les guerres du copyright

Nous avions laissé éditeurs et ResearchGate fin septembre en position d’observateurs, chaque camp campant sur ses positions. Rappelons en effet que le 15 septembre 2017, l’association d’éditeurs STM envoyait, via son cabinet d’avocats, une proposition à ResearchGate afin de rendre le réseau « plus compatible avec les droits d’usage et d’accès pour partager des articles », et lui laissait jusqu’au 22 septembre pour trouver un accord – courrier resté sans suite du côté du réseau social. Les choses se sont emballées courant octobre, et les rebondissements sont suffisamment importants pour que Nature et Science couvrent le sujet. D’offensives en contre-offensives, les lignes bougent sans pour autant clarifier les positions de toutes les parties prenantes…

Continuer la lecture

Robin des bois ou rogue open access ? Les réseaux sociaux académiques en 2017

L’offensive des éditeurs contre les réseaux sociaux académiques est lancée ! Elle aura mis du temps, mais la voilà. Alors qu’Academia et ResearchGate semblaient, faute de réaction jusque-là, en position de force, la puissante association STM, qui regroupe notamment Elsevier, Springer Nature, Taylor & Francis ou encore Wiley, vient en effet d’envoyer à ResearchGate le 15 septembre 2017 un courrier pointant directement du doigt ce qu’elle considère comme les lacunes et les abus du réseau. Mais parce qu’il n’y a pas que les éditeurs qui sont concernés, voici une synthèse 2017 pour comprendre les forces en présence d’une guerre du partage plus totalement larvée désormais.

Éditions précédentes : « Pour une utilisation critique des réseaux sociaux académiques » (2014), « Où en est-on des réseaux sociaux académiques ? » (2015) et « #DeleteAcademicSocialNetworks ? Les réseaux sociaux académiques en 2016 » (2016).

Plan
« Couteaux suisses de la communication académique » ou « clubs Diogène »
Le partage à l’aune de la « fatigue juridique » des chercheurs
« Qui ne tire pas profit sur le dos des chercheurs » ?
Quelle place pour les initiatives open access ?
Des opportunités pour la réputation et les métriques ?
Le « Be visible or vanish » des professionnels de l’IST

  Continuer la lecture

Former à l’intégrité scientifique en LSH : retour d’expérience de l’Urfist de Bordeaux

Historique du projet

Dans le cadre de la mise en œuvre de l’arrêté du 25 mai 2016[1] fixant le cadre national de la formation et les modalités conduisant à la délivrance du diplôme national de doctorat, l’école doctorale Montaigne Humanités (Université Bordeaux Montaigne) a sollicité l’Urfist de Bordeaux pour concevoir une offre de formation dédiée à l’intégrité scientifique. En effet, l’article 3 de l’arrêté indique que les écoles doctorales doivent désormais veiller à ce que chaque doctorant « reçoive une formation à l’éthique et à l’intégrité de la recherche[2] ».

Si l’arrêté du 25 mai 2016 constitue le point de départ du projet, la lettre de mission émanant de Sandro Landi, directeur de l’école doctorale Montaigne Humanités, étend le public cible du dispositif aux enseignants-chercheurs, chercheurs et personnels d’appui à la recherche. Il s’agit d’appréhender l’intégrité scientifique comme un enjeu d’établissement. Michel Pernot, délégué à l’intégrité scientifique et Frédéric Boutoulle, vice-président recherche de l’Université Bordeaux Montaigne, ont également été partie prenante du projet.

Entre péchés capitaux de la recherche et petits arrangements du quotidien

Ainsi que le rappellent P. Corvol et R. Gicquel, « il faut bien distinguer l’intégrité scientifique, c’est-à-dire les règles qui gouvernent la pratique de la recherche, de l’éthique de la recherche qui aborde de façon plus large les grandes questions que posent les progrès de la science et leurs répercussions sociétales[3] ». On peut également citer la définition de la commission de réflexion sur l’éthique de la recherche en sciences et technologies du numérique de l’Alliance des sciences et technologies du numérique (Allistene) : « L’intégrité scientifique passe par les bonnes pratiques, les comportements à adopter dans la recherche et à promouvoir dans les laboratoires[4] ». En d’autres termes, l’intégrité scientifique se situe essentiellement sur le terrain de la praxis.

L’expression « intégrité scientifique » est spontanément associée à la lutte contre les péchés capitaux de la recherche que sont la fraude, la falsification et le plagiat[5]. Certes, ainsi que le soulignent M. Bergadaà[6], P. Corvol et R. Giquel, il s’avère difficile de mesurer précisément l’ampleur du phénomène et son évolution, faute d’accès à des données détaillées. R. Gicquel et P. Corvol évoquent entre autres raisons le fait qu’il existe « une régulation non explicite[7] » par la communauté scientifique. Mais lorsqu’elles deviennent publiques, les affaires de plagiat ou de conflits d’intérêt font l’objet d’une très forte médiatisation. On peut citer par exemple l’affaire des plagiats du physicien Etienne Klein relayée par de nombreux médias généralistes en avril 2017.

Les piliers de la méconduite scientifique (fraude, falsification, plagiat) focalisent l’attention, mais L. M. Bouter et ses co-auteurs alertent sur la nécessité d’élargir le périmètre de la prévention à ce qu’ils nomment les « everyday research dilemma[8] ». En effet, selon l’étude, les pratiques de recherche douteuses menacent tout autant la recherche et la confiance entre chercheurs que la tricherie caractérisée :

In short, research misconduct as well as sloppy science threaten the validity of scientific knowledge and may also inflict damage to the trust between scientists and, if revealed in the media, may also damage public confidence in science[9].

Comment définir ces pratiques douteuses à l’origine de ce que L. M. Bouter et ses co-auteurs nomment la « sloppy science [10]» ? Ces écarts peuvent être volontaires ou non. Il s’agit par exemple de se livrer à un état de l’art sélectif. On ne se situe pas au cœur de la fraude, mais dans une zone intermédiaire. Toutefois, par leur fréquence et la gravité de leurs impacts, les pratiques douteuses ne représenteraient-elles finalement pas le cœur du problème plutôt que sa périphérie, ainsi que le suggèrent L. M. Bouter et ses co-auteurs ?

Our ranking results seem to suggest that selective reporting, selective citing, and flaws in quality assurance and mentoring are the major evils of modern research[11].

Si une offre de formation à l’intégrité scientifique peut difficilement faire l’économie d’une sensibilisation à la lutte contre le plagiat, la fraude et la falsification, elle ne devrait pas s’y résumer.

Ancrer l’intégrité scientifique dans les pratiques quotidiennes

Plutôt que de faire de l’intégrité scientifique un sujet de formation en soi, le parti a été pris de décliner une série de 5 modules traitant de problématiques particulièrement sensibles dans le domaine des lettres, langues, sciences humaines et sociales :

– « Citer ses sources en lettres, langues, sciences humaines : de l’exploitation des sources à l’éthique de la citation ».

Formateur : Pierre Gravier, conservateur des bibliothèques, direction de la documentation, Université de Bordeaux.

L’objectif principal de la formation est de permettre aux participants d’acquérir ou de consolider une méthodologie ad hoc en matière de traçabilité des sources. S’il existe des outils permettant d’automatiser la gestion des références bibliographiques, il n’en demeure pas moins que l’acquisition d’une méthode rigoureuse de citation demeure une étape incontournable.

– « Domestiquez vos données sources : organiser, fiabiliser et sécuriser ses données en SHS ».

Formateur : Michel Jacobson, ingénieur en informatique spécialisé dans la gestion de corpus numériques et l’archivage numérique, Laboratoire ligérien de linguistiques (UMR LLL). Formation organisée en partenariat avec la délégation régionale du CNRS.

Ce module s’adresse à des non spécialistes en informatique. Ce stage n’est pas une formation au data management plan ; il s’inscrit dans une perspective plus généraliste et traite des questions d’archivage, de normes, d’organisation des données, d’authentification, de description des données. Le formateur explique les enjeux inhérents au cycle de vie des données.

L’enjeu de la formation est double. Il s’agit d’une part de sensibiliser les participants au fait que la gestion des données sources ne relève pas d’un plan uniquement technique, mais scientifique ; et d’autre part, de démontrer qu’il est possible d’adopter  au quotidien de bonnes pratiques de gestion, sans être un spécialiste du numérique.

Programmer une formation dédiée à la gestion des données de recherche est apparu comme une priorité dans le cadre d’un cycle dédié à l’intégrité scientifique. En effet, la mise à disposition des données contribue notamment à une plus grande transparence de la recherche et constitue également un enjeu clé dans le domaine des lettres, langues, sciences humaines et sociales.

– « Gérer des données sensibles et des données personnelles : enjeux juridiques pour le chercheur »

Formatrice : Emilie Masson, juriste, service informatique et libertés du CNRS

– « La pratique du droit d’auteur pour le chercheur en LSH » Formatrice : Hélène Skrzypniak, enseignant-chercheur en droit de la propriété intellectuelle, Urfist de Bordeaux, Institut de recherche en droit des affaires et du patrimoine (Irdap)

 « De victime à auteur de plagiat : protéger son œuvre et ne pas franchir à son tour la ligne rouge » Formatrices : Sabrina Granger, conservateur des bibliothèques, Urfist de Bordeaux ; Hélène Skrzypniak, enseignant-chercheur en droit de la propriété intellectuelle, Urfist de Bordeaux, Irdap

Le choix des thématiques suit l’une des préconisations du rapport Corvol et Gicquel rappelant que « l’approche et la sensibilité sur les questions d’intégrité sont différentes selon les disciplines, même s’il existe une base commune d’éthique[12] ».

Le cycle s’achève sur un atelier intitulé « L’intégrité scientifique en action », animé par 3 intervenants aux profils complémentaires : Olivier Le Deuff, enseignant-chercheur en sciences de l’information et de la communication (IUT Bordeaux Montaigne ; unité de recherche « Médiations, Informations, Communication, Arts » Mica), Julien Baudry (conservateur des bibliothèques, service commun de la documentation, Bordeaux Montaigne) et Hélène Skrzypniak (enseignant-chercheur en droit de la propriété intellectuelle, Urfist de Bordeaux, Irdap). Les thèmes sont choisis par les inscrits. A la différence des formations, l’accent est essentiellement mis sur les échanges entre participants et animateurs : les participants deviennent co-responsables des contenus abordés. L’objectif est de permettre aux participants d’échanger sur leurs pratiques de manière plus informelle que dans le cadre d’une formation.

Ainsi que le souligne la présentation des formations conçues par l’Urfist pour l’école doctorale Montaigne Humanités, « l’objectif [des formations] est de mobiliser les doctorants par la pratique en leur démontrant que le respect de l’intégrité scientifique n’est pas une question exogène, mais qu’il s’inscrit dans leur quotidien et que des solutions concrètes peuvent être mises en œuvre[13] ». Tous types d’actions confondus, le cycle représente 48 heures de formation. Hormis l’atelier de clôture, chaque session dure entre 6 et 9h. Les modules sont indépendants les uns des autres afin de laisser toute latitude aux inscrits de construire leur parcours de formation personnalisé.

Adopter une approche non restrictive de l’intégrité scientifique

Le thème de l’intégrité scientifique est abordé à travers une pluralité de contextes. Il s’agit donc bel et bien de mettre l’accent sur les « everyday research dilemma » analysés par L. M. Bouter et ses co-auteurs. Les questions juridiques constituent un élément incontournable du cycle de formation. Toutefois, tout comme elle ne se réduit pas à la lutte contre le plagiat, l’intégrité scientifique excède également le seul périmètre juridique. Le souhait de l’école doctorale Montaigne Humanités était en effet d’adopter l’approche la moins restrictive possible.

C’est pourquoi une attention particulière a été portée d’une part à la traçabilité des sources et aux bonnes pratiques de citation. Il s’agit de donner aux participants des clés pour citer correctement une référence et ne pas devenir plagiaire malgré eux. Les formations traitent également des zones grises de la citation (citations de complaisance, citations de seconde main, auto-plagiat) ainsi que leurs conséquences sur la qualité des travaux scientifiques.

D’autre part, la gestion et de la fiabilisation des données sources constituent également des thèmes étroitement articulés à celui de l’intégrité scientifique : comment mettre à disposition de ses pairs des données à des fins de partage, ou de validation si ces informations ne sont ni correctement structurées, ni référencées de manière satisfaisante ? L’objectif de cette formation animée par un spécialiste de la gestion de corpus numériques est de sensibiliser des non informaticiens aux prérequis pour une science plus ouverte et plus transparente. Ainsi, les thématiques des données de la recherche et de l’open science résident au cœur de l’offre de formation à l’intégrité scientifique.

En guise de bilan d’étape

Les plus : une très forte adéquation entre contenus et besoins. Les questionnaires de satisfaction complétés par les participants à l’issue de chaque formation font état d’un niveau de satisfaction élevé. Le format d’une journée ou d’une journée et demie n’a pas été jugé trop long par les participants, dans la mesure où l’accent était mis sur la pratique dans les stages organisés sous forme de TD.

Si le cycle de formations a pour objet l’intégrité scientifique plus que l’éthique, les questionnaires d’évaluation ainsi que les retours directs des participants mettent en lumière le fait que les formations représentent autant d’occasion d’adopter un regard plus réflexif sur leurs pratiques et leur rapport à l’activité même de recherche. Ainsi, la consolidation ou l’acquisition de méthodes ouvre des questionnements de nature épistémologique. Dans le cadre de la formation sur le plagiat, la séquence dédiée à la paraphrase et aux pratiques douteuses de citation donne par exemple lieu à des échanges nourris entre participants, allant bien au-delà des seules questions formelles.

Les marges de progression : un hiatus entre besoins et attentes. Les questionnaires d’évaluation témoignent d’une prise de conscience de l’étendue des besoins réels à l’occasion de la formation. Le travail sur la médiatisation de ces formations à l’intégrité scientifique constitue un enjeu majeur pour la prochaine édition du cycle.

Sources

« Arrêté du 25 mai 2016 fixant le cadre national de la formation et les modalités conduisant à la délivrance du diplôme national de doctorat »

BERGADAÀ, Michelle, Le Plagiat académique : comprendre pour agir, Paris, L’Harmattan, 2015, 228 p.

BOUTER, Lex M., TIJDINK, Joeri, AXELSEN, Nils[et al.], « Ranking major and minor research misbehaviors: results from a survey among participants of four World Conferences on Research Integrity », Research Integrity and Peer Review, vol. 1, 2016, p. 17.

COMMISSION DE RÉFLEXION SUR L’ÉTHIQUE DE LA RECHERCHE EN SCIENCES ET TECHNOLOGIES DU NUMÉRIQUE D’ALLISTENE, « Proposition de formation doctorale : initiation à l’éthique de la recherche scientifique », 2016.

CORVOL, Pierre et GICQUEL, Rémy, « Bilan et propositions de mise en oeuvre de la charte nationale d’intégrité scientifique », 2016.

SMALDINO, Paul E. et MCELREATH, Richard, « The Natural Selection of Bad Science », arXiv:1605.09511 [physics, stat], mai 2016, [En ligne : http://arxiv.org/abs/1605.09511].

UNIVERSITÉ BORDEAUX MONTAIGNE, « Formation à l’éthique de la recherche et à l’intégrité scientifique – Université Bordeaux Montaigne », [En ligne : http://www.u-bordeaux-montaigne.fr/fr/ecole-doctorale/diplomes-et-formations/formations-proposees-par-l-ed/integrite-scientifique.html]. Consulté le22 juin 2017.

Descriptifs détaillés des formations

Intitulé Objectifs Publics cibles
« Citer ses sources en lettres, langues, sciences humaines : de l’exploitation des sources à l’éthique de la citation » Appliquer correctement des normes de citations, connaître les usages en termes d’abréviations et de locutions latines

Identifier les pratiques de citation potentiellement problématiques pour ne pas devenir plagiaire malgré soi

 

En complément : « Publication scientifique, communication », in Pratiquer une recherche intègre et responsable. Un guide, CNRS, CPU, mars 2017

Doctorants
« De victime à auteur de plagiat : protéger son œuvre et ne pas franchir à son tour la ligne rouge » Identifier les pratiques douteuses de citation

Rappel des bonnes pratiques : citations directes, paraphraser dans le respect du droit d’auteur, définir un auteur

Caractériser le plagiat d’un point de vue juridique

Comprendre le plagiat comme système d’écriture : jeu de rôle plagiaire et détracteur de plagiat. Les participants sont répartis en 2 groupes. Ils sont amenés à tour de rôle à produire un plagiat à partir d’une sélection de sources et de consignes d’écriture. Cette fabrique du plagiat est documentée via un journal de bord du plagiaire. Puis, dans un second temps, les groupes échangent leurs productions et doivent détecter les distorsions apportées aux sources. La restitution permet de faire dialoguer détracteurs de plagiat et plagiaires sur les techniques utilisées, les éléments identifiés ou non.

Doctorants
« Domestiquez vos données sources : organiser, fiabiliser et sécuriser ses données en SHS » Mettre en œuvre une méthodologie de gestion de ses données sources

Identifier les cas critiques et sécuriser ses données

Tous publics enseignement et recherche
« La pratique du droit d’auteur pour le chercheur en lettres, langues, sciences humaines et sociales » Connaître les droits et les devoirs des chercheurs Tous publics enseignement et recherche
« Gérer des données sensibles et des données personnelles : enjeux juridiques pour le chercheur » Identifier les données appelant un traitement spécifique : qu’est-ce qu’une donnée personnelle, une donnée sensible ?

Identifier les enjeux juridiques liés à la collecte de données sensibles

Acquérir une méthode pour gérer les questions d’anonymat, de diffusion.

Tous publics enseignement et recherche
« Ateliers « L’intégrité scientifique en action » Identifier les mécanismes qui conduisent à la fraude pour s’en prémunir : ex. crise de l’édition et de ses modèles économiques ; dangers et dérives d’une évaluation centrée sur des indicateurs inadaptés, les conflits d’intérêts, etc.

Comprendre le processus de recherche et positionner sa démarche dans un environnement scientifique

Tous publics enseignement et recherche

[1] « Arrêté du 25 mai 2016 fixant le cadre national de la formation et les modalités conduisant à la délivrance du diplôme national de doctorat ».

[2] Ibidem.

[3] Pierre Corvol et Rémy Gicquel, « Bilan et propositions de mise en œuvre de la charte nationale d’intégrité scientifique », 2016, p. 24.

[4] Commission de réflexion sur l’éthique de la recherche en sciences et technologies du Numérique d’Allistene, « Proposition de formation doctorale : initiation à l’éthique de la recherche scientifique », 2016, p. 9.

[5] « Most researchers, when asked to give examples of breaches of research integrity will mention fabrication, falsification, and plagiarism, whereas only few can mention more than some [questionable research practices] items. », in Lex M. Bouter, Joeri Tijdink, Nils Axelsen[et al.], « Ranking major and minor research misbehaviors: results from a survey among participants of four World Conferences on Research Integrity », Research Integrity and Peer Review, vol. 1, 2016, p. 17, p. 2.

[6] Michelle Bergadaà, Le Plagiat académique: comprendre pour agir, Paris, L’Harmattan, 2015, 228 p.

[7] Pierre Corvol et Rémy Gicquel, op. cit., p. 35.

[8] Lex M. Bouter[et al.], op. cit., p. 7.

[9] Ibidem, p. 2.

[10] Sur le thème de la crise de la qualité de la recherche, cf. Paul E. Smaldino et Richard McElreath, « The Natural Selection of Bad Science », arXiv:1605.09511 [physics, stat], mai 2016.

[11] Lex M. Bouter[et al.], op. cit., p. 7.

[12] Pierre Corvol et Rémy Gicquel, op. cit., p. 38.

[13] Université Bordeaux Montaigne, « Formation à l’éthique de la recherche et à l’intégrité scientifique – Université Bordeaux Montaigne », [En ligne : http://www.u-bordeaux-montaigne.fr/fr/ecole-doctorale/diplomes-et-formations/formations-proposees-par-l-ed/integrite-scientifique.html]. Consulté le22 juin 2017.