Archives de catégorie : Edition scientifique

Saisir l’objet mouvant de la prédation dans la communication scientifique

(par Innocent Azilan, co-responsable de l’URFIST de Lyon entre septembre 2024 et août 2025, et doctorant en SIC)

Prédation. Ce n’est (vraisemblablement) pas un mot qui rime avec science, laquelle renvoie à rigueur et vérité (Popper, 2003). Pourtant, s’il y a deux cancers qui gangrènent actuellement le champ de la communication scientifique, ce sont bien les logiques d’enclosure (Carmes & Pélissier, 2013) et la prédation qui touche ce champ. Si le libre accès est une réponse à la première, il a, malgré lui, créé les conditions qui ont fait germer la seconde.  Mais la prédation est un objet mouvant. Tout l’enjeu est de la cerner.

1- Essai de définition de la prédation scientifique

Dans l’édition scientifique, on doit la notion de « revue/éditeur prédateur » au bibliothécaire universitaire américain, expert en bibliométrie, Jeffrey Beall (Cirasella & Berger, 2017) qui a commencé à alerter sur le phénomène. Beall s’est alors lancé dans une entreprise périlleuse ; recenser des éditeurs et des revues « potentiellement prédateurs ». Il publiait et actualisait régulièrement sur son blog Scholarly Open Access, qui a popularisé la “liste de Beall” (Beall, 2013). Cette liste est rapidement devenue une référence importante, largement consultée par les bibliothécaires, les chercheurs et les défenseurs de l’accès ouvert pour repérer les pratiques douteuses (Demir, 2018).

Mais rapidement, la méthodologie mise en place par Beall a été critiquée pour sa défaillance (Cirasella & Berger, 2017). Plusieurs auteurs soulignent que ses critères hétérogènes, parfois formulés de manière générale ou ambiguë et non pondérés, ne sont ni entièrement publiés ni appliqués de façon traçable, ce qui rend l’évaluation peu reproductible (Couture, 2017, Kendall, 2021). Sur le plan procédural, Beall décidait seul des inclusions/suppressions, sans comité d’arbitrage, sans procédure d’appel ni transparence sur les preuves mobilisées. En outre, la confusion entre « éditeurs » et « revues » a pu conduire à l’exclusion en bloc de titres n’ayant pas fait l’objet d’une analyse au cas par cas (Kendall, 2021 ; Berger & Cirasella, 2017).

Plusieurs travaux contestent aussi la logique binaire de cette liste qui consiste à séparer « bonnes » et « mauvaises » revues, au détriment d’un continuum de pratiques et de contextes éditoriaux, avec un risque de stigmatisation et de biais géographiques ou institutionnels (Eriksson & Helgesson, 2018 ; Boukacem-Zeghmouri et al. , 2022). Sur le plan normatif, il a été documenté que Beall adopte une position critique à l’égard du Libre Accès, qu’il assimile fréquemment au seul modèle auteur-payeur, tout en défendant les modèles des grands éditeurs commerciaux (dont Elsevier) ; ce qui a nourri le soupçon de biais pro-éditeurs dans ses jugements (Berger & Cirasella, 2017). Mais dans tous les cas, les critiques ont porté moins sur l’idée de signaler des pratiques prédatrices que sur des défauts de méthode. Mills & Inouye (2020)  jugent d’ailleurs le terme « prédation » trop large, car « inconduites » avec « mauvaise qualité ». Ces derniers précisent que le concept omet de prendre en compte la gamme complexe de facteurs institutionnels, économiques et politiques qui influencent les décisions individuelles de publication.

Face à ces critiques et aux biais de cadrage, une définition de consensus a été proposée par un groupe international de chercheurs et d’acteurs de l’édition. Sont prédatrices les entités « qui priorisent leur intérêt propre au détriment de la science» (Grudniewicz et al., 2019). Cette définition déplace l’attention des seules modalités économiques vers des indices vérifiables de comportement et d’intention, parmi lesquels : (1) promesses irréalistes de délais (« évaluation en 72 h », « acceptation garantie ») et absence de description crédible du processus d’évaluation ; (2) faux affichages (usurpation de membres de comités éditoriaux, logos d’indexation ou « facteurs d’impact » fictifs, confusion volontaire entre ISSN, titres proches de revues reconnues) ; (3) opacité des politiques (aucune information claire sur l’éthique, les conflits d’intérêts, la gestion des données, les retraits et corrections) ; (4) pratiques commerciales trompeuses (sollicitations massives, frais cachés ou exigés après acceptation, démarchage de numéros spéciaux « clé en main ») ; (5) défaillances éditoriales (plagiat non détecté, absence d’archivage pérenne, licences floues, révisions de pure forme).

Des travaux de sociologie et d’histoire de la communication scientifique montrent par ailleurs que la « prédation » s’inscrit dans des dynamiques plus larges de marchandisation, d’explosion des volumes et d’instrumentalisation des métriques, à la fois anciennes et renouvelées (Fyfe et al., 2017). La montée des évaluations quantitatives et des modèles Open Access gold crée des incitations susceptibles de fragiliser les garde‑fous. Un facteur systémique majeur qui alimente la demande pour les services de ces éditeurs est la culture oppressante du publish or perish. La prédation n’est donc pas seulement une question de fraude isolée, mais une conséquence des mutations du champ de la communication scientifique depuis la Seconde Guerre mondiale (Boukacem-Zeghmouri et al. , 2022).

Cependant, en janvier 2017, Jeffrey Beall a été contraint de retirer sa liste et d’arrêter son blog à la suite de plaintes de certains éditeurs et documentalistes. Malgré son retrait, la liste originale de Beall reste consultable via des archives et sur des sites comme « Stop Predatory Journals ».  À la suite de cela, la société américaine Cabells Publishing a lancé en juin 2017 une « liste noire » payante, désormais appelée « Predatory Reports ». Cette liste recensait environ 13 000 revues qualifiées de prédatrices au 20 mars 2019, en se basant sur 74 critères pondérés. Elle contiendrait 63% des éditeurs et 94% des revues identifiées dans la liste originale de J. Beall. La croissance de ces revues est alarmante, leur nombre étant passé d’environ 1 800 en 2010 à plus de 19 000 selon les dernières estimations de Cabells [1][2].  

Sur le plan empirique, la répartition géographique et linguistique du phénomène est marquée : les analyses bibliométriques indiquent que les auteurs publiant dans des ces revues proviennent majoritairement d’Asie et d’Afrique (environ deux tiers à trois quarts des articles selon les périodes étudiées), avec des écarts notables entre pays ; par exemple, le ratio « articles dans des revues prédatrices / articles indexés Web of Science » a été signalé comme particulièrement élevé au Nigeria et en Inde (estimations précoces : 1 580 % et 277 %) (Shen & Björk, 2015 ), tandis que des travaux plus récents confirment des différences entre pays et disciplines (Severin et al., 2021 ; Macháček & Srholec, 2022 )

Parallèlement, certaines initiatives « listes vertes » se concentrent sur des aires linguistiques spécifiques : en France, la Conférence des doyens de médecine et le CNU-Santé maintiennent une liste de revues « recommandables » (anglophones et francophones) utilisée pour l’évaluation (SIGAPS). Les conséquences pour les chercheurs sont concrètes : dans plusieurs sections (par exemple en santé, dont la médecine d’urgence), les comités peuvent juger défavorablement les publications ou activités éditoriales menées dans des revues identifiées comme prédatrices, et la conformité aux listes de référence devient un critère d’appréciation. Enfin, au niveau normatif, la révision 2023 du European Code of Conduct for Research Integrity (ALLEA) considère comme une violation de l’intégrité le fait d’établir, soutenir ou utiliser délibérément des revues, éditeurs, événements ou services qui sapent la qualité de la recherche (incluant les revues prédatrices).

2- Typologie de la prédation

Une manière d’appréhender la prédation est de s’intéresser à la typologie des revues et éditeurs touchés. Car la prédation n’est pas un « type » unique de revue, mais un gradient de pratiques qui peut mêler plusieurs facteurs convergents comme la fraude délibérée, la maladresse, la maturité des pratiques éditoriales et l’exposition à des incitations (APC, volume, métriques).

2.1. La prédation par opportunisme

Conséquence de la montée rapide du modèle du libre accès financé par des frais de traitement d’article (APC), des éditeurs ont trouvé une faille dans cette voie pour capter la manne financière disponible. Ces acteurs monnaient la publication d’un article sans fournir l’intégralité des garanties éditoriales, notamment l’évaluation. Ces revues et éditeurs se caractérisent avant tout par une quête de profits, au détriment de l’érudition (Boukacem-Zeghmouri et al. , 2022 ; Demir, 2018). Dans cette logique, leur santé économique dépend de l’efficacité de leurs démarchages et de leurs stratégies marketing. Dans la forme la plus courante, les acteurs se caractérisent par des informations trompeuses ou falsifiées de marqueurs habituels de fiabilité d’une revue. Ils s’efforcent de ressembler aux revues les plus prestigieuses (nom très proche, logo), imitent les sites web, les comités éditoriaux, et les formulaires de soumission des revues de qualité, et font de fausses allégations d’indexation ou de facteurs d’impact (logos Web of Science/Scopus non vérifiables).

Plusieurs indicateurs peuvent alerter les chercheurs sur la nature prédatrice d’une revue. Parmi les plus courants, on trouve les invitations non sollicitées à publier, souvent par courriel non professionnel, la promesse de publication dans des délais très courts, le manque de transparence sur le processus de révision par les pairs, et surtout les frais de publication, souvent modestes (par exemple, inférieurs à 150$). Il est important de noter qu’une revue prédatrice réunit généralement plusieurs de ces critères, mais pas nécessairement tous (de La Blanchardière et al., 2021). Dans tous les cas, leur principale caractéristique est que ces acteurs sont des mutants. Ils disparaissent quand ils sont démasqués, pour réapparaitre avec une nouvelle identité.  

En effet, cette prédation qui consiste à imiter les attributs d’une revue légitime s’inscrit dans une logique économique particulière. On peut éclairer cette logique par la théorie du « marché des citrons» (Akerlof, 1970). Dans ce modèle de l’économiste américain George Akerlof, développé initialement pour analyser le marché automobile de l’occasion, l’existence de produits de mauvaise qualité (indiscernables à première vue des produits de qualité) entraîne une perte de confiance des acheteurs. Cette asymétrie d’information (Akerlof & Spence, 1970) déstabilise le marché dans son ensemble. Les acteurs honnêtes se trouvent mis en difficulté par la présence d’imposteurs qui bénéficient du même vernis de crédibilité.

Appliqué à l’édition scientifique, le mécanisme se traduit ainsi : les revues prédatrices par imitation profitent de la faible capacité des chercheurs, surtout lorsqu’ils sont jeunes ou peu formés aux standards éditoriaux internationaux, à distinguer rapidement un éditeur sérieux d’un éditeur prédateur. Les conséquences de cette asymétrie d’information sont doubles. Pour les chercheurs, d’une part, certains s’y engagent involontairement, pensant publier dans une revue reconnue ; tandis que d’autres, en situation de forte pression à la publication, choisissent délibérément ces voies par pure stratégie. Pour l’écosystème global, d’autre part, la multiplication de ces revues dégrade la confiance générale à l’égard des revues de la périphérie, et peut même jeter le soupçon sur des initiatives émergentes mais légitimes comme celles du Sud global, qui souffrent alors d’une mauvaise réputation non méritée.

De fait, l’effet « lemons » produit ici une externalité négative. En baissant la qualité perçue de l’ensemble du marché, les revues prédatrices tirent vers le bas la valeur symbolique et la visibilité des revues qui ne disposent pas encore de labels de reconnaissance internationale (comme l’indexation dans les bases de données). À long terme, on assiste à un cercle vicieux dans lequel, plus les acteurs frauduleux prospèrent, plus les barrières de confiance se renforcent pour les nouveaux entrants, et plus il devient compliqué pour les revues légitimes de la périphérie de prouver leur crédibilité.

Ici, la notion de prédation rejoint plus largement les critiques des « dérives financiarisées » de la science où les indicateurs de visibilité et de performance tendent à être instrumentalisés au détriment de la rigueur scientifique (Larivière et al., 2015). En ce sens, la prédation par imitation ne constitue pas seulement un problème isolé, mais un facteur de dysfonctionnement structurel du champ éditorial mondial. Elle nous rappelle que la publication scientifique n’est pas un marché autosuffisant, mais un système socio-économique fragile qui repose sur des marqueurs de confiance et de réputation. Lorsque ces marqueurs peuvent être piratés, l’ensemble de la structure est menacé, à moins de compenser par des dispositifs de certification, de labellisation et de pédagogie auprès des auteurs/chercheurs.

2.2. La prédation par immaturité

De nombreuses revues scientifiques, notamment portées par des institutions dans les pays du Sud, évoluent dans un écosystème particulier. Cet écosystème est caractérisé par des contraintes structurelles. En Afrique subsaharienne par exemple, le financement tout d’abord est limité. La plupart des projets éditoriaux reposent largement sur le bénévolat des chercheurs ou des membres de la communauté académique, sans bénéficier d’un soutien national ni sous la forme de plateformes communes, ou de politiques publiques dédiées. Ces acteurs non formés découvrent l’édition sur le tas. Cette non-professionnalisation du métier a souvent une incidence sur la régularité de la parution, qui dépend alors de l’emploi du temps des personnes en charge du travail éditorial ingrat (car souvent non valorisé) (Akakpo, 2009).

Les coûts liés à l’infrastructure éditoriale, tels que l’hébergement web, l’attribution et la gestion des DOI, archivage, matériel technique, représentent un poids proportionnellement plus important pour ces revues que pour leurs homologues dans d’autres contextes. S’y ajoutent des enjeux linguistiques. Les revues sont souvent contraintes de naviguer entre plusieurs langues de communication scientifique, avec des imperfections dans les langues dominantes (comme l’anglais) qui ne sont pas toujours les leurs. Enfin, la formation inégale en matière de pratiques éditoriales et de standards internationaux (éthique de la publication, gestion du peer review, normalisation des métadonnées) constitue un frein important. Pour ne rien arranger, ces facteurs font que ces revues échouent dans leurs tentatives d’indexation par les bases de données du système-monde (Kuchma & Ševkušic, 2024 ; Piron, 2018 ; Azilan, 2024). Le tout est couronné par la facturation quasi systématique en Afrique des frais de publication/d’insertion qui se situent entre 75 et 150 euros, soit dans la marge des sommes demandées par les éditeurs prédateurs. Là encore cependant, il est nécessaire de comprendre que ces frais appliqués par les éditeurs de la périphérie (Afrique, Amérique latine) relèvent davantage d’un modèle d’édition du type communautaire (comme c’est parfois le cas avec les sociétés savantes et les académies éditrices) que d’un modèle commercial.

Les manquements fréquemment observés tels que les sites Internet peu élaborés, métadonnées incomplètes, politiques éditoriales peu détaillées, relèvent dans cet écosystème davantage de l’immaturité éditoriale, des capacités techniques limitées, voire des postures scientifiques imitatives (Kalenga, 1992), que de la mauvaise foi. Dans bien des cas, la faible maturité des revues de cette région (mise en perspective avec les normes globales) est le résultat d’un déficit d’infrastructures (Aldirdiri, 2024), de formation et de soutien institutionnel, et rarement d’un rejet des standards internationaux. La littérature souligne que la prédation se nourrit aussi d’asymétries structurelles et d’inégalités d’accès aux ressources éditoriales (Boukacem-Zeghmouri et al. , 2022).

En conséquence, un grand nombre de ces revues entrent dans les cases théoriques de la prédation. Mais les classer d’emblée « prédatrices » fige des trajectoires et invisibilise les efforts de montée en qualité (Nwagwu, 2016). Mills & Inouye (2020) défendent l’idée que la prédation tend parfois à confondre des pratiques frauduleuses avec l’émergence d’une économie éditoriale alternative propre aux systèmes universitaires en rapide expansion et adoptant précocement le Libre Accès. En effet, le basculement du modèle économique basé sur l’abonnement ou la vente vers des modèles de financement en amont ouvre un espace à de nouveaux intermédiaires éditoriaux, souvent locaux, qui répondent à une demande d’édition et de visibilité insuffisamment satisfaite par les circuits dominants, notamment dans certaines langues, régions ou niches disciplinaires. Si ces acteurs présentent des standards hétérogènes et des dispositifs de peer reviewing perfectibles, ils ne relèvent pas ipso facto de la prédation : ils participent d’une reconfiguration du marché, où les normes, la professionnalisation et les garanties éthiques sont encore en consolidation. D’où la nécessité d’une distinction analytique entre prédation et immaturité organisationnelle, afin de soutenir les dynamiques légitimes d’édition en Libre Accès tout en réprimant fermement les dérives véritablement prédatrices qui cohabitent avec cette immaturité.

Il convient en dernière analyse de préciser que peu de revues africaines francophones subsahariennes sont considérées dans les listes de revues prédatrices, pour la simple raison qu’elles sont pour la plupart invisibles. Si bien que, pour les quelques-unes qui y apparaissent, c’est paradoxalement une forme de visibilité en soi. À cet égard, les travaux de Hesselmann (Hesselmann & Reinhart, 2021 ; Hesselmann et al., 2017) sur les régimes de visibilité/invisibilité dans la science éclairent ce paradoxe. Ils montrent que les « dispositifs de visibilité » (listes, alertes, rétractations) produisent une visibilité surtout punitive, tandis que les conditions structurelles d’invisibilité (faible indexation, métadonnées lacunaires, absence d’infrastructures) demeurent hors-champ. Autrement dit, l’inscription d’une revue jusqu’alors ignorée sur une liste dite prédatrice constitue moins un diagnostic de sa qualité qu’un effet d’étiquetage amplifié par des circuits de réputation asymétriques. Cela rejoint notre cas : l’invisibilité relative des revues africaines coexiste avec des moments de saillance négative qui figent leur image et occultent les trajectoires de professionnalisation.

Une approche graduée permettrait donc à ces revues d’évoluer hors de la zone grise. Dans ce sens, un travail que j’ai entrepris avec des collègues a visé à proposer une évaluation des revues africaines basée sur une échelle de maturité en 5 étoiles (Azilan et al., 2024). S’inspirer de cette grille invite à déplacer le regard : au lieu de prendre la « visibilité par la stigmatisation » pour un indicateur, il s’agit d’évaluer les conditions de production de visibilité (capacités éditoriales, soutiens, standards techniques) et de juger les revues selon leur maturation plutôt que par dichotomie légitime/prédatrice.

2.3. La prédation par avidité

La distinction apparemment simple entre éditeurs « légitimes » et « prédateurs » apparaît beaucoup moins nette qu’on ne le suppose généralement. La frontière qui séparait ces deux catégories tient essentiellement à la logique de rentabilité sur laquelle repose l’édition scientifique depuis l’arrivée des acteurs privés (Guédon, 2017). Dans une économie fondée sur des impératifs de croissance et de profit, le risque de voir certaines pratiques éditoriales basculer vers des formes de prédation est prégnant. L’émergence de nouveaux modèles économiques (libre accès payant via l’APC, accords transformants, abonnements groupés) illustre la recherche constante de nouvelles rentes par les acteurs dominants. Mais, sous la pression de la croissance et du rendement, les dispositifs éditoriaux eux-mêmes deviennent des espaces de fragilité.

Dans cette perspective, on peut parler d’Open Science washing, c’est-à-dire l’appropriation du vocabulaire et des instruments de la science ouverte (APC « vertueux », accords transformants, dépôts partiels en archives ouvertes, tableaux de bord d’“ouverture”) sans en respecter les principes effectifs d’accessibilité, de transparence, de réutilisabilité et de gouvernance. La rhétorique d’ouverture sert alors d’habillage réputationnel à des modèles qui perpétuent des rentes. Sous la pression du rendement, des promesses performatives peuvent masquer des pratiques moins conformes à l’esprit de la science ouverte et fragiliser la confiance.

Ainsi, il importe de souligner que même des éditeurs réputés, parmi les plus visibles et dominants de la scène internationale, peuvent tomber dans des pratiques discutables. Ces écarts ne traduisent pas toujours une stratégie de prédation, mais peuvent résulter de dispositifs organisationnels précis, tels que les numéros spéciaux pilotés par des éditeurs invités (special issues), où les mécanismes de sélection et de contrôle éditorial ne sont pas les plus rigoureux. Prenons le cas des numéros spéciaux par exemple ; bien qu’ils visent à dynamiser ou à thématiser la visibilité d’une revue, ils constituent des points d’entrée privilégiés pour des dérives telles que l’abaissement du seuil de qualité, la complaisance dans la sélection ou la délégation excessive du contrôle scientifique (Gleasner & Sood, 2024).

La littérature récente met d’ailleurs en lumière des failles systématiques dans certains segments de l’édition académique. On relève notamment des cas de manipulation de l’évaluation par les pairs, de recours à des « paper mills » (Parker et al., 2024 ; Candal-Pedreira et al., 2022), de comportements anormaux en matière de citations (auto-citations massives, réseaux ou cartels de citations) (Fister Jr. et al. ; Perez et al.). Ces dérives affectent aujourd’hui autant les écosystèmes périphériques que ceux dominants. Cette porosité de la frontière entre légitime et prédateur complexifie désormais l’usage de catégories binaires. Elle invite à repenser la notion même de la prédation, non plus comme une étiquette figée appliquée à quelques éditeurs ou revues, mais comme une zone de vulnérabilité pouvant toucher, selon les contextes et les pressions économiques, l’ensemble des acteurs de l’édition scientifique mondiale.

On peut mobiliser, pour éclairer ce phénomène, la perspective des systèmes sociotechniques. La publication scientifique n’existe pas indépendamment d’un écosystème de métriques, de plateformes, d’évaluations institutionnelles et de régulations internationales qui prescrivent les formes légitimes de valorisation. Dans cet écosystème, l’équilibre entre valeur scientifique et valeur marchande est toujours précaire. Si l’innovation éditoriale ou l’ouverture de nouveaux canaux de diffusion peuvent accroître la circulation des savoirs, elles peuvent tout aussi bien alimenter des logiques extractives.

3- Du prestige à la prédation. Comment les grands éditeurs se font avoir ?

La catégorie la plus nuancée de prédation se situe dans ce qui est souvent appelé la « zone grise » de l’édition scientifique. Des éditeurs comme MDPI, Frontiers et Hindawi, pour ne citer que les figures plus discutées dans la littérature, constituent des exemples de cette ambivalence. Ils présentent, a priori, à la fois des caractéristiques d’éditeurs fiables et des pratiques proches de la prédation.

Si l’affaire Hindawi/Wiley (Petrou, 2025) entre 2022 et 2024 constitue un point d’inflexion en raison de l’ampleur des rétractations et de la perte de crédibilité d’une marque entière, elle ne doit pas être interprétée comme un cas isolé. Au contraire, c’est une manifestation d’une faille structurelle qui concerne l’ensemble des éditeurs qui ont recours massivement aux numéros spéciaux comme axe de croissance et d’attraction d’auteurs. Ces special issues sont devenus pour nombre d’éditeurs des points de vulnérabilité exploités pour produire des revenus éditoriaux. D’un point de vue théorique, on peut parler d’une capture d’un dispositif sociotechnique (Akrich, 1993) : un outil pensé pour enrichir la communication scientifique est détourné et reconfiguré par des acteurs opportunistes pour maximiser leurs gains symboliques et financiers.

Un indicateur clé de cette dérive a été l’accélération des délais d’acceptation pour les articles des numéros spéciaux par rapport aux articles réguliers. Chez Hindawi/Wiley, en 2022, les articles des numéros spéciaux étaient acceptés en 67 jours, soit 56 jours plus rapidement que les 123 jours des articles réguliers, avec des écarts encore plus importants pour des revues comme BioMed Research International et Wireless Communications and Mobile Computing. Les conséquences de ces pratiques ont conduit à la désindexation de plusieurs revues Hindawi du Web of Science (WoS). Cela a même impacté la valeur boursière de Wiley, qui avait acquis Hindawi en 2021 pour la modique somme de 298 millions de dollars (Petrou, 2025).

L’affaire Hindawi/Wiley montre comment un éditeur de renom peut être fragilisé par ses propres logiques organisationnelles de croissance. Fondé en Égypte, Hindawi est devenu, dans les années 2010-2020, l’un des plus grands éditeurs scientifiques basés en Afrique (plus de 250 revues en 2022), avant que Wiley ne mette fin à la marque en 2023-2024 à la suite de ces scandales d’intégrité. Le danger ne réside donc pas uniquement dans la marge du champ scientifique, mais au cœur même de ses principaux flux éditoriaux.

Deux autres cas l’illustrent particulièrement bien : MDPI et Frontiers.

  • Le cas MDPI

MDPI (Multidisciplinary Digital Publishing Institute) est un autre cas emblématique de cette zone grise. L’éditeur est connu pour l’explosion du nombre d’articles et de numéros spéciaux, avec une croissance exponentielle de publications. En France, le total cumulé d’articles publiés par MDPI est passé de 4 609 en 2018 à 26 130 en 2022, soit une augmentation… de 466% (Fovet-Rabot, 2022). La rapidité de publication est une caractéristique distinctive de MDPI, avec un délai médian entre la soumission et la publication de seulement 38 jours en 2021 (Ibid.).

Cet éditeur basé en Suisse s’est fortement développé grâce à ce modèle qui mise également sur l’ouverture massive de special issues. Dans certaines disciplines comme les sciences de l’ingénieur ou les sciences de l’environnement, les special issues représentent aujourd’hui la majorité des volumes publiés. Cette stratégie hyper‑volumétrique, combinée à des délais de traitement extrêmement rapides, suscite encore aujourd’hui de nombreuses critiques dans la communauté académique.

Si le processus éditorial chez MDPI est formellement mieux encadré que dans le cas Hindawi, plusieurs signaux faibles ont été relevés : surproduction thématique, avec des numéros parfois hétéroclites, lancés sans lien évident avec la revue mère, dépendance excessive à des éditeurs invités, peu expérimentés en gestion éditoriale ; volume d’articles incompatible avec une évaluation de qualité. Les comités éditoriaux et de relecteurs de MDPI sont souvent pléthoriques, comptant des centaines de membres. Ses revues affichent également des taux élevés d’autocitation (environ 30%, parfois plus de 50%), une pratique d’accroissement artificiellement de leur facteur d’impact (Oviedo-García, 2021). Les frais de publication (APC) ont considérablement augmenté, passant de 0-1700 CHF (1800€) en 2017 à 1200-2500 CHF (environ 1300 et 2600€) début 2022. L’éditeur a même offert des réductions pour les articles liés au COVID-19 (Fovet-Rabot, 2022).

  • Le cas Frontiers

L’éditeur Frontiers, par ailleurs pionnier sur certains aspects de l’édition en libre accès, a également été critiqué pour un peer reviewing trop souples liés à son système de Research Topics (équivalents des special issues). Ici encore, le volume apparait comme une variable clé. Des cas concrets d’usurpation d’identité de relecteurs ou d’éditeurs ont également été rapportés. Par exemple, une adresse électronique non authentique a été utilisée pour usurper l’identité d’un scientifique et l’associer à plusieurs articles en tant qu’éditeur ou relecteur. Cela a mené à la rétractation d’un article et à la correction de quatre autres : il s’agit d’un exemple d’un processus de révision par les pairs compromis.

Les cas Hindawi/Wiley, MDPI et Frontiers montrent que la question ne se situe pas uniquement dans les marges ou auprès d’éditeurs peu scrupuleux, mais qu’elle concerne des maisons d’édition reconnues, indexées dans les bases académiques centrales (Scopus, Web of Science, DOAJ).

Ce qui est principalement en jeu chez ces éditeurs, c’est l’industrialisation du modèle des special issues. Cela pose une question théorique plus large : les special issues fonctionnent comme un dispositif socioéconomique biface. D’un côté, ils ouvrent des espaces académiques pour des communautés nouvelles, interdisciplinaires ou périphériques. De l’autre, lorsqu’ils deviennent une stratégie de volume, ils créent une faille exploitée par des acteurs commerciaux et fragilisent les mécanismes de validation scientifique. Dans le cas des 3 éditeurs, la prédation n’est pas un état ontologique, mais l’émergence de pratiques à risque sous contraintes d’incitation liées à la croissance, à la réputation, et aux métriques.

Le principal reproche qui peut être adressé à ces acteurs est d’embrasser une production inflationniste qui dépasse les capacités raisonnables d’une évaluation rigoureuse, alors même que l’édition scientifique globale est désormais secouée par une crise de l’évaluation (Gingras, 2023 ; Flaherty, 2022 ; Nottale, 2005). On produit trop pour trop peu de personnes disponibles pour lire et évaluer. Or, la production scientifique chez d’autres éditeurs concurrents augmente également sans que ceux-ci ne soient à ce jour considérés comme prédateurs. Hanson et al. (2024) ont montré que si la stratégie de croissance des éditeurs précités (Hindawi, MDPI et Frontiers) est basée sur la publication des numéros spéciaux et du nombre d’articles par numéro, on peut observer une autre forme de croissance chez d’autres éditeurs, basée sur la publication de nouvelles revues. Ainsi, les auteurs ont montré que les éditeurs comme Elsevier et Springer ont également augmenté leur publication totale d’articles. Elsevier a enregistré une augmentation d’articles de 41% entre 2016 et 2022, et de 52% chez Springer sur la même période.  En complément, ils ont adopté une stratégie subtile de distribution de ces articles sur un nombre croissant de revues. Finalement, dans un cas ou dans l’autre, il s’agit des modèles de croissance qui renvoient au même problème : la surproduction comme stratégie de croissance économique.

Au-delà des suspicions, Guillaume Cabanac a mis en œuvre d’une méthode de détection des traces textuelles pouvant indiquer l’existence de pratiques frauduleuses, appelées « expressions torturées » (Cabanac, 2023 ; Cabanac & Labbé, 2022). Celles-ci ont été trouvées dans les catalogues de ces grandes maisons d’édition. Les expressions torturées sont des assemblages de mots incongrus et dénués de sens, conséquences de l’utilisation de logiciels de paraphrasage afin de contourner les détecteurs de plagiat. Des exemples concrets selon Cabanac sont « corrosif nucléique » pour « acide nucléique », « conscience contrefaite » pour « intelligence artificielle », ou encore « déception rénale » pour « insuffisance rénale ».

L’augmentation constante de ces expressions torturées (416 cas en 2018, 638 en 2019, 1 135 en 2020 et plus de 1 500 en 2021) indique un problème qui contourne les mécanismes de contrôle qualité traditionnels dont aiment se prévaloir les éditeurs de l’oligopole. On désigne par là le petit groupe d’acteurs dominants de l’édition scientifique internationale (souvent cités : Elsevier, Springer Nature, Wiley, Taylor & Francis, Sage) qui concentrent une part majeure des titres, des citations et des revenus du secteur (Larivière et al., 2015v). Ceux-ci deviennent malgré eux des vecteurs de recherche frauduleuse. La reconnaissance de ce problème est telle que des éditeurs comme ACM, Elsevier, IEEE, l’Institute of Physics et SAGE ont contacté l’équipe de Cabanac pour désormais utiliser leur outil (Problematic Paper Screener) dans leur processus prépublication, signe que les méthodes classiques d’évaluation sont elles aussi dysfonctionnelles. Problematic Paper Screener analyse quotidiennement des millions de publications indexées dans Dimensions pour détecter ces anomalies. Une approche participative permet d’identifier de nouvelles expressions torturées, qui sont ensuite ajoutées au logiciel. Les articles signalés sont rapportés sur la plateforme PubPeer.org pour une réévaluation post-publication et, potentiellement, une rétractation. Cela étant, il convient de penser à d’autres formes d’évaluation plus ouvertes, comme ces évaluations post-publication qui peuvent être les derniers remparts pour limiter la pollution scientifique.

Graphique montrant les éditeurs touchés par les expressions torturées (en nombre d'articles): IEEE (6653 articles) devance dans l'ordre Springer, Elsevier, Taylor & Francis et Wiley (878 articles)

Figure 1 : Les 5 plus grands éditeurs scientifiques, qui concentrent à eux seuls la moitié de la production scientifique mondiale indexée (oligopole), sont touchés par les expressions torturées. Source de la donnée : Problematic Paper Screener.

Sans négliger d’autres paramètres qui font la différence entre ces deux groupes (notamment les taux de rejets, le délai de traitement, l’inflation du facteur d’impact), il convient de noter que la maximisation des gains est au cœur des deux stratégies. En cela, on peut bien admettre que les éditeurs commerciaux jouent avec la ligne rouge, cherchant constamment l’équilibre entre rentabilité et évaluation, avec la nuance fondamentale que certains sont à la fois juge et partie. Et s’il faut désormais considérer que la prédation est un fléau global, qui est donc légitime pour dénoncer et sanctionner les coupables ?

4- Qui pour signaler la prédation ?

La question de la légitimité à qualifier une revue de “prédatrice” reste indéterminée. Le signalement des revues prédatrices implique une diversité d’acteurs et soulève des interrogations sur les conflits d’intérêts potentiels.

D’abord, il y a des acteurs qu’on peut considérer comme « historique ». La liste de Beall a joué un rôle d’alerte, mais sa méthodologie a été sujette à de vives critiques. Stop Predatory Practice, Predatory Journals, Retraction Watch, PubPeer, Problematic Paper Screener  sont entre autres aujourd’hui des initiatives plus « communautaires » pour servir de garde-fou. A côté de ces initiatives, cohabitent d’autres de type privé. Cabells Publishing évoqué plus tôt propose ses « Predatory Reports » , dont l’accès est payant.

Parallèlement, des « listes blanches » comme le Directory of Open Access Journals (DOAJ) et l’adhésion à des organisations professionnelles telles que le Committee on Publication Ethics (COPE) et l’Open Access Scholarly Publishers Association (OASPA) sont utilisées pour identifier les revues fiables. Cependant, elles ne sont jamais exhaustives ni totalement à jour, et peuvent être sources de divergences. Des études ont établi que les revues prédatrices peuvent infiltrer des listes blanches, autant que des revues sérieuses peuvent être taxées à tort de prédatrices. Le COPE lui-même met en garde contre la confiance aveugle dans ces listes, surtout si les critères d’évaluation ne sont pas transparents (Manca et al., 2018 ; Pond et al., 2019).  

En 2013, John Bohannon a mené une enquête dans ce sens (Bohannon, 2013). Il a soumis 304 faux articles scientifiques générés par des algorithmes sous Python à des revues en libre accès, dont beaucoup figuraient dans la liste de Beall, complétée avec d’autres revues du DOAJ. Si la majorité des revues prédatrices acceptent la publication, Bohannon observe que 18% d’entre elles ont rejeté l’article. D’abord, certaines revues appartenant à des éditeurs prestigieux, dont Elsevier et Sage, figurent parmi celles qui ont accepté l’article. 45 % des éditeurs du DOAJ qui ont terminé le processus d’examen ont également accepté. L’auteur a pu conclure qu’une revue sur 5 dans la liste de Beall est accusée à tort (lire aussi Davis, 2013).

Face à ce constat, des outils d’évaluation multicritères fondés sur la pédagogie ont été développés pour aider les chercheurs à évaluer eux-mêmes la fiabilité d’une revue. Des initiatives comme Think.Check.Submit (Pearson, 2017 ; Cortegiani & Shafer, 2018) et Compass to Publish (Dony, 2025) proposent des listes de vérification et des questionnaires pour guider les auteurs dans leur choix.

–          Le rôle ambigu des bases de données

Les bases de données bibliographiques comme Scopus (Elsevier) et Web of Science (Clarivate) sont largement considérées comme les sources les plus fiables de données bibliographiques pour l’analyse et l’évaluation de la recherche. Elles appliquent des critères de sélection rigoureux (voire discriminatoires) pour l’inclusion des revues. Ces critères dont on ne connait pas les détails précisément, reposent globalement sur la révision par les pairs, la transparence des politiques éthiques, la régularité de publication, la contribution académique, et la diversité géographique des éditeurs et des auteurs.

De même, ces bases de données jouent un rôle actif dans le signalement et la désindexation des revues qui ne respectent plus standards de qualité et leurs directives éthiques qu’elles ont fixés. Scopus, par exemple, utilise un « système Radar » pour détecter les violations et désindexe régulièrement les revues qui présentent une qualité éditoriale douteuse, comme cela a été le cas avec Hindawi.

Cependant, le rôle de ces bases de données n’est pas sans ambiguïté ; non seulement parce que l’indexation n’est pas une garantie absolue de qualité, mais surtout, un problème structurel réside dans le fait qu’Elsevier (propriétaire de Scopus) et Clarivate (propriétaire du Web of Science) sont également des acteurs majeurs de l’édition scientifique. Cette double casquette, où des entités commerciales évaluent et indexent des publications, y compris potentiellement les leurs ou celles de leurs concurrents, peut susciter des questions de conflits d’intérêts. Cette concentration de pouvoir où les mêmes acteurs définissent les standards de qualité et profitent à la fois de la publication et de l’évaluation, représente un risque pour l’objectivité et l’indépendance de l’évaluation. Il est possible que leurs intérêts commerciaux influence, même subtilement, les critères ou l’application des règles.

Il se pose donc un autre problème dans l’écosystème si les bases de données désindexent les concurrents taxés comme douteux alors que ces plateformes appartiennent à des éditeurs qui publient eux-mêmes des articles de qualité inquiétante, comme c’est le avec les expressions torturées.

Conclusion

La prédation scientifique n’est pas un problème isolé, mais le symptôme d’un système scientifique fragilisé par l’urgence de publier et la financiarisation croissante des savoirs. Les outils traditionnels de distinction et d’autorité ne résistent pas à eux-seuls, difficile de faire face à un phénomène qui change en permanence de visage, un objet mouvant. Mais l’enjeu principal n’est pas l’obsolescence de ces outils, mais leur mise en œuvre cohérente par des politiques publiques qui alignent les incitations, financent les capacités et assurent l’exécution. La lutte exige donc une mobilisation collective : des chercheurs formés assurément (comme le font les Urfist en France), mais aussi des institutions et financeurs pour repenser l’évaluation. Réaffirmer que la publication scientifique est un bien commun mondial est la condition pour restaurer un équilibre durable entre intégrité et production.

Quelques axes méritent à mes yeux d’être explorés pour prolonger l’analyse et envisager des solutions durables face à ces vulnérabilités. Un premier champ réside dans l’observation des dynamiques régionales. L’exemple des revues locales en Afrique, en Amérique latine ou en Asie du Sud invite à examiner les mécanismes alternatifs de légitimation qu’elles mettent en œuvre, souvent en dehors des grands circuits commerciaux et bibliométriques dominants. Comprendre ces trajectoires permettrait non seulement de réduire le flou autour de la notion de prédation, mais aussi de valoriser des pratiques éditoriales ancrées dans des contextes scientifiques et culturels spécifiques.

Un second axe consisterait à expérimenter des modèles de gouvernance partagée. L’implication conjointe des chercheurs, des éditeurs, des bibliothèques et des financeurs pourrait offrir un cadre collectif pour encadrer certains dispositifs à risque (notamment les special issues) et mettre en place des barrières contre la dérive volumétrique qui les fragilise. Ces approches collaboratives constitueraient une étape décisive vers une responsabilisation des différents acteurs de l’écosystème scientifique.

PS : Je voudrais remercier Aline Bouchard (URFIST de Paris) et Tristan Salord (IRIT) pour la lecture et les commentaires de ce texte.

 

Repérer et Analyser les articles Scientifiques Problématiques (RASP) : une résidence toulousaine

vue sur la loupe des outils de détection de méconduite scientifique : Prolematic paper screener, tortured phrases, AI contentCe projet scientifique et pédagogique, financé par le Fonds national pour la science ouverte, est porté par l’Université de Toulouse au sein du laboratoire IRIT en partenariat avec l’URFIST Occitanie.  

Ce projet de 18 mois (juin 2025-décembre 2026) vise à mieux saisir à la fois quantitativement et qualitativement l’ampleur de ces nouvelles formes de déviances de la production scientifique que ce soit à l’échelle :
– de leurs productions (articles générés automatiquement par IA ou par des algorithmes de grammaires probabilistes, falsification ou arrangements plus ou moins problématiques des données, cartels de citations),
– de leur “marché” (“paper mills”, marché de la citation, “hijacking” de revues, …).

Il bénéficie pour cela des travaux réalisés par Guillaume Cabanac, professeur des Universités à l’Université de Toulouse, et des communautés de chercheurs œuvrant sur ces questions aux niveaux national et international. En parallèle, il bénéficie du travail de recherche de Guillaume Sire, maitre de conférences HDR de l’Université Toulouse Capitole, pour aller interroger les motivations de la production de ces articles scientifiques problématiques. 

Cette résidence est l’occasion de diffuser auprès d’un large public à la fois les outils permettant d’identifier ces méconduites et pratiques frauduleuses, comme le Problematic Paper Screener, accompagnés d’éléments de compréhension de ces pratiques. Un des objectifs de ce post-doctorat est également de concevoir et animer des formations de sensibilisation à ces questions et leurs enjeux via les catalogues de formation du Réseau URFIST.

Pour mener à bien ce projet, Tristan Salord a été recruté : Sociologue et économiste de formation, spécialisé en scientométrie et sciences sociales computationnelles, il a intégré les deux équipes début juin et déjà animé un atelier de formation le 26 juin à l’occasion du séminaire national des URFIST à Toulouse. Ce moment riche aussi bien en partages d’expériences qu’en discussion sur les problématiques contemporaines de la production scientifique, laisse présager une collaboration dynamique et fructueuse. Retour en image sur l’atelier

23 juin prochain : restitution des recherches GIS URFIST !

Le 23 juin 2025, les lauréats du 3ème appel à projet du GIS Réseau Urfist présenteront les principaux résultats de leurs travaux de recherche et d’expérimentation pédagogique sur l’IST en science ouverte, avec un focus sur la qualité des données de la recherche ainsi que les nouvelles pratiques de production et diffusion scientifiques des chercheurs. 

La matinée sera consacrée à la présentation des plateformes de formation FormaDoct et Spoc Quéro V2, ainsi qu’à des outils pédagogiques pour favoriser l’ouverture des données de recherche et la réutilisation de données d’enquête. 

L’après-midi permettra de découvrir des questions de recherche centrales et encore peu traitées, allant des nouveaux modes de communication et de publication scientifiques aux coûts de la science ouverte, en passant par les problèmes de qualité et de découvrabilité des données de recherche.

La journée sera organisée en présentiel à l’Université Toulouse Capitole et des temps seront réservés aux échanges avec le public.

Inscription et programme sur le site Sygefor :

https://sygefor.reseau-urfist.fr/#/training/11161/13875/

 Davantage d’information sur les projets lauréats sur le site du GIS Réseau Urfist, menus « Projets de recherche » et « Projets pédagogiques » :

https://gisurfist.hypotheses.org/

 

Les projets Wikimédia en condensé : retour sur l’école d’été à la MSH de Dijon

Depuis plus d’un an, les URFIST accueillent des wikimédiens et wikimédiennes en résidence. Une de leurs missions est de former le monde de l’enseignement supérieur et de la recherche aux projets Wikimédia : Wikipédia le plus connu, mais aussi sa base de connaissances Wikidata, sa photothèque Commons et des projets moins connus comme Lingua Libre (langues), le Wiktionnaire (dictionnaire multilingue) et Wikisource (bibliothèque de textes libres).

Ces formations, disponibles sur Sygefor, se déroulent le temps de quelques heures en présentiel ou en visio. Pour les structures éloignées souhaitant monter en compétences collectivement, ou pour les personnes aux emplois du temps très contraints, un autre type de format trouve ici son intérêt : l’école thématique.

Une semaine pour mettre la science ouverte au cœur des projets wikimédia

Durant l’été 2024, 8 formations réparties sur cinq jours ont été réalisées à la Maison des Sciences de l’homme de Dijon. A partir du catalogue de formation de l’URFIST, la MSH a sélectionné les formats et les projets qui l’intéressaient et qui trouveraient leur public à l’université de Bourgogne : Wikipédia, Wikidata, OpenRefine, Commons, Wikisource auquel s’est joint un projet invité, OpenStreetMap. Si la plupart des ateliers ont été réalisés en présentiel, deux sessions ont été proposées en visio pour toucher un large public. Grâce à cette formule, l’école a comptabilisé une trentaine de participations.

Un programme diversifié mais complémentaire

Les formations alternaient théorie et pratique, en s’adaptant au contexte dijonnais : des publications issues de HAL ont été ajoutées comme sources à Wikipédia, mais aussi des documents sur les océans (thème de l’exposition en cours au Museum de Dijon) et sur les œuvres du musée des Beaux-Arts de Dijon.

Pour enrichir Commons, c’est le campus de Dijon qui a été choisi comme modèle et les cartographes d’OpenStreetMap ont pu compléter les alentours du lieu de formation (en espérant que cela donnera envie au site internet de l’université de Bourgogne de changer de fond de carte pour passer à OSM, comme l’avait déjà fait la MSH).

La MSH de Dijon accueille un pôle éditorial, ce qui a permis de faire découvrir la bibliothèque Wikisource à travers la retranscription d’un ouvrage rare de Marceline Desbordes-Valmore, autrice au concours de l’agrégation 2024.

Enfin, la proximité avec les jeux olympiques a offert un très bon exercice pratique sur Wikidata. L’ensemble des sportifs paralympiques français participant aux Jeux Olympiques de Paris 2024 ont été intégrés à la base de connaissance. Certaines ont d’ailleurs depuis remporté une médaille et ont à présent leur page sur Wikipédia.

Photo de Delika Diallo

By Chris93 – Own work, CC BY 4.0,Djelika Diallo

 

Bilan de l’école et perspectives

Les différents projets Wikimédia sont interconnectés : les faire découvrir sur un temps court permet de mieux faire comprendre aux stagiaires les liens qui existent entre eux. Les ateliers condensés ont permis de poursuivre et d’approfondir certains points qu’une formation de deux heures ne permet pas de couvrir. Les échanges ont été facilités par les intérêts des différentes personnes et ont ouvert des perspectives de recherche à la MSH.

Ce panorama a également permis aux différentes personnes de faire leur choix parmi les projets, certaines préférant un projet pour des qualités qui sont pour d’autres limitantes. Chaque profil a ainsi pu poursuivre son exploration de Wikimédia en ayant trouvé le projet qui lui convenait le mieux.

Au total, l’école a permis d’enrichir 230 articles et d’y ajouter plus de 700 000 octets. Son format est déjà prévu pour être décliné en école d’hiver à Bordeaux (inscriptions ici).

Remerciements
Cette école a bénéficié de l’appui de l’équipe de numérisation de la bibliothèque de l’ENS de Lyon et de Philippe Gambette (Université Gustave-Eiffel) sur le projet Wikisource.

Org mode, un compagnon de route pour les adeptes de data science et de recherche reproductible

Découvrir Orgmode : 2 meet ups

Tutoriel de Frédéric Santos

Quelques mots sur Org mode

En très peu de mots, Org mode pourrait être présenté comme le cousin germain des Jupyter notebooks. Org mode et les notebooks créés via Jupyter lab représentent 2 solutions particulièrement intéressantes et matures dans un contexte de recherche. Les interfaces interactives créées via Org mode et les Jupyter notebooks permettent à leurs utilisateurs de : développer, documenter (Markdown, HTML/CSS), gérer des citations BibTeX ou des équations, exécuter du code, à partir d’un seul et même document. 

Grâce à Babel, Org-mode permet donc d’exécuter des blocs de code à partir d’un même fichier texte. Fortran, Python, R, des scripts de traitement en Bash, des formules LaTeX, des images. 

Quels sont les avantages de ce type de solution pour des chercheurs.euses et des data scientists ?

(merci à Frédéric Santos – statisticien à l’UMR Pacea – et Christophe Halgand – ingénieur de recherche en calcul scientifique à l’Institut de Neurosciences Cognitives et Intégratives d’Aquitaine – pour leurs avis éclairants)

  • générer plusieurs formats d’exports à partir d’un même fichier : pratique pour créer des pages web facilement intégrables dans un site web
  • bénéficier des avantages de LaTeX … la complexité du langage en moins pour gérer des références internes, de la biblio
  • présenter des résultats sous forme de diaporamas qu’on peut modifier en direct : les visualisations comme les calculs sont mis à jour directement
  • créer des démonstrations permettant de répondre à un point spécifique (ex. démonstration mathématique), créer des tutos pour donner la possibilité d’interagir avec le code mais aussi de figer facilement les données en créant une page html
  • concevoir des supports pédagogiques interactifs
  • quand on est en situation de prise de notes : pouvoir créer des modules de code interactifs
  • rédiger des articles plus reproductibles : certes, un outil ne fera jamais tout car la méthode joue un rôle majeur, mais Org mode peut rendre de fiers services

Org-mode, un outil pour les happy few ? Pas vraiment, Org mode peut séduire un large public :

Whether you are a statistician or data scientist or algorithm/software developer, you will benefit from this elegant open-source tool for efficient and robust reproducible research. I will outline my favorite set-up (Virtual Machine, Linux, Emacs, LaTeX, CDLaTeX, R, ESS) and demonstrate its potential in statistical analysis and algorithm development.

(Chen 2018)

Org mode : vers la rédaction d’articles plus reproductibles. Échanges avec Frédéric Santos, R-addict et statisticien (UMR Pacea)

R-addict et statisticien, Frédéric Santos exerce ses missions au sein de l’unité mixte de recherche Pacea (De la préhistoire à l’actuel). Fr. Santos est chargé d’analyser, de définir et de mettre en œuvre les outils statistiques et informatiques pour la gestion et le traitement des données dans le cadre des projets de recherche de l’unité Pacea. Il anime également des formations à la statistique. 

Propos recueillis par Sabrina Granger, Urfist de Bordeaux

Comment se servir d’Org mode tout en appliquant les consignes impartis par les éditeurs aux auteurs ? Ne s’expose-t-on pas à des problèmes de non interopérabilité ? 

Tous les journaux acceptant les manuscrits en format LaTeX et fournissant des templates LaTeX sont compatibles. C’est le cas de toutes les revues PLOS, de Nature, de PNAS, à priori de toutes les revues Elsevier et Springer, etc. Il n’y a que chez Wiley que beaucoup de journaux n’acceptent que des manuscrits au format Word, parfois en plus avec des exigences de mise en forme fantaisistes… dans un tel cas, en effet, c’est pratiquement incompatible avec l’utilisation d’Org mode (ou alors, les difficultés liées au respect de la mise en forme deviennent supérieures aux bénéfices tirés de l’utilisation d’Org mode).

En fait, tout fichier Org mode peut être exporté en LaTeX en utilisant une classe LaTeX externe. Si l’éditeur la fournit (et fournit aussi un .csl ou un .bst pour le style biblio), c’est gagné : il n’y a rien de spécifique à faire.

Il faut aussi noter que de nouveaux systèmes de publication se développent en dehors du giron des éditeurs classiques, comme les “Peer Community In” (NDLR : voir aussi les supports du workshop 2018 Urfist de Bordeaux sur le peer review) . Comme il s’agit d’un système de peer-review sur la base de preprints déposés sur arXiv ou bioRxiv, l’auteur a toutes les libertés imaginables en termes de mise en forme, et peut employer les outils qui lui plaisent sans se soucier de leur compatibilité avec les normes des éditeurs.

Sous quel format le fichier est-il envoyé à la revue, quels formats de sortie peut-on gérer ? 

Par exemple chez Elsevier ou Springer, le manuscrit initial peut être envoyé comme un simple PDF, sans fichier source éditable. Un fichier source éditable doit ensuite être fourni avec la première révision. On peut alors envoyer le fichier PDF généré par Org mode (qui sera consulté par les reviewers), ainsi que le fichier .tex (qui sera utilisé par l’éditeur) exporté à partir du document Org mode. Tout ce que souhaitent les éditeurs, c’est d’avoir un .tex éditable : peu importe si le fichier .tex a été tapé directement en LaTeX, ou converti/exporté en LaTeX depuis un fichier Org mode, Rmarkdown ou Jupyter.

Puis-je facilement revoir le manuscrit collaborativement avec ce type de solution ? 

Oui et non ! Si les co-auteurs connaissent eux aussi Org mode (ou Rmarkdown) et Git, on peut faire un petit dépôt GitLab ou GitHub pour orchestrer et coordonner tout ça. Mais ce n’est pas encore répandu dans toutes les disciplines.

Si aucun autre co-auteur ne connaît ces outils et qu’aucun ne veut/peut les apprendre, alors une solution est de faire le manuscrit en Rmarkdown, d’exporter le Rmarkdown en Word, de transmettre le Word aux co-auteurs, et ensuite d’utiliser le package R “redoc” qui permet de répercuter automatiquement sur le fichier Rmarkdown les modifications faites dans le Word. 

C’est à l’heure actuelle la seule solution qui existe pour travailler “en mode notebook” avec des co-auteurs qui ne veulent pas le faire ; il n’existe encore aucun équivalent en Org mode ou Jupyter à ma connaissance.

Soumettre un papier de cette manière, ça change surtout la vie des reviewers ou celle de l’auteur ?

Clairement les deux ! 

Pour l’auteur, écrire un article en Word est une galère abominable ; écrire un article en Rmarkdown ou Org mode tient presque du plaisir (je suis sérieux !). En plus, on est sûr de ne pas écrire de bêtises, on gagne du temps en s’assurant que toute modification faite en cours de route sur les données sera automatiquement répercutée sur l’ensemble des résultats sans avoir rien à faire, on a absolument tout dans le même fichier (texte, code, figures, tables, résultats, et même lettre à l’éditeur, réponse aux reviewers, et même mails envoyés par des collaborateurs si on veut !), etc

Org mode a également la particularité d’offrir des fonctionnalités de gestion de projet pour planifier très précisément l’avancée du travail. On peut établir un planning, fixer des dates limites par tâche, mettre des “timers”, des priorités, des tags, des statuts, suivre le % d’avancement pour chaque tâche, etc. Bref, tout devient plus simple, et complètement centralisé. Un dernier avantage évident pour l’auteur : on gagne fortement en potentiel de citation, parce que l’article devient à la fois plus “crédible” et transparent, et parce qu’il sert également d’exemple auquel d’autres chercheurs peuvent se référer.

Pour les reviewers, cela les prédispose très favorablement à faire des commentaires plus agréables sur le papier, et cela leur garantit aussi que l’auteur ne “triche” pas sur ses données (cela leur épargne aussi des vérifications manuelles).

Org mode, c’est ok pour un papier, mais quid d’un livre ou une thèse?

Voici un exemple de livre écrit à 100% en Org mode. Il n’y en a pas encore énormément à ma connaissance, mais Org mode est très clairement l’outil le plus adapté à la rédaction de documents très longs mêlant texte, code informatique, et résultats de ce code. Pour des documents très courts ou des petites notes/présentations, Jupyter peut être une solution plus légère.

Une seconde alternative, ciblant spécifiquement les manuscrits de thèses, est le package R Huskydown, , voir le template de l’Université George Washington :

This project provides a template for writing a PhD thesis in R Markdown, and rendering those files into a PDF formatted according to the requirements of the University of Washington. It uses the University of Washington Thesis class to convert R Markdown files into a PDF formatted ready for submission at UW. This project was inspired by the thesisdown and bookdown packages. Currently, the PDF and gitbook versions are fully-functional, and are the focus of this package. The word and epub versions are in development, have no templates behind them, and are essentially calls to the appropriate functions in bookdown. If you are new to working with bookdown and rmarkdown, please read over the documentation available in huskydown PDF template (which you can create by following the simple instructions below) and the bookdown book. Under the hood, the University of Washington Thesis LaTeX template is used to ensure that documents conform precisely to submission standards. At the same time, composition and formatting can be done using lightweight markdown syntax, and R code and its output can be seamlessly included using rmarkdown

Découvrir Org mode

Chen, Feiming. 2018. ‘Organizing Research Projects with an Efficient Open-Source Tool (Emacs Org-Mode)’. presented at the Washington  Statistical Society, October 23. http://washstat.org/presentations/20181024/Chen_F.pdf.

Schulte, Eric, and Dan Davison. 2011. ‘Active Documents with Org-Mode’. Computing in Science & Engineering 13 (3): 66–73. https://doi.org/10.1109/MCSE.2011.41.

Stanisic, Luka, Arnaud Legrand, and Vincent Danjean. 2014. ‘An Effective Git And Org-Mode Based Workflow For Reproducible Research’. Operating Systems Review 49: 61–70. https://doi.org/10.1145/2723872.2723881.

Se former

07/04/2020, Bordeaux (campus de Talence) : Meet up : Org mode versus Jupyter lab (notebooks). Tu crois que tu sais interagir avec du code ? [annulé en raison des mesures de prévention contre le covid-19]

 

Sprint science ouverte : éditer et traduire collaborativement le manuel Open Science Training Handbook de Foster Open science (16 avril 2020, Bordeaux et Paris) : edit 18/03 session annulée (mesures prévention coronavirus)

Edit 18/03 : en raison des mesures pour limiter la propagation du coronavirus, il n’est plus possible de maintenir le sprint initialement prévu le 16 avril 2020.  Des alternatives sont en cours d’organisation : sprinters, we’ll need you soon ! Merci pour votre compréhension.

Le sprint est co-organisé par l’Urfist de Bordeaux et l’association HackYourResearch (ex. HackYourPhD) ; il est soutenu par Foster Open Science, le Comité pour la science ouverte et la Mission de la pédagogie et du numérique pour l’enseignement supérieur (Mipnes). 

Rdv le 16 avril 2020 à Bordeaux et à Paris pour un sprint dans le sprint

2 centres, 2 équipes de sprinters pour éditer et traduire en 1 journée le manuel de formation à la science ouverte conçu par Foster Open Science : Open Science Training Handbook

Le manuel a déjà été traduit dans plusieurs langues. Venez contribuer à la version française en rejoignant une équipe de sprinters. Le sprint n’est pas une formation sur la science ouverte : c’est l’occasion de travailler de manière collaborative sur la science ouverte. 

Le sprint va permettre d’éditer et de traduire un manuel issu lui-même d’un book sprint ayant eu lieu en 2018 à la bibliothèque allemande nationale de science et technologie, piloté par Foster Open Science

S’inscrire dans un (seul !) centre pour rejoindre une équipe de sprinters : 

Sait-on à l’avance quels chapitres du livre va-t-on éditer et traduire ? Non. La répartition est connue le jour même par tirage au sort. Il n’y a pas non plus de répartition thématique afin de permettre aux participants de travailler sur un panel de sujets. Le découpage tient compte du nombre de signes. 

Objectifs

  • Concevoir la version française du manuel Open Science Training Handbook, de Foster Open Science : le texte sera disponible en accès ouvert
  • Découvrir des méthodes pédagogiques pour former à la science ouverte
  • S’initier à une méthode de travail collaborative et intensive

Dans le cadre de ce sprint édition et traduction, 2 types d’activités vous sont proposées : 

  • éditer la version française produite par l’association HackYourResearch à partir d’une solution de traduction automatique ; l’un des objectifs du projet est notamment d’enrichir la traduction obtenue automatiquement grâce aux expertises des participants
  • traduire de l’anglais vers le français les passages non traduits

Chaque participant·e sera amené.e à travailler sur les aspects édition et traduction. 

Le texte à traduire et à éditer a été sélectionné pour sa qualité.

La version produite par les participant·e·s sera à son tour éditée par une traductrice professionnelle. 

Qui seront les sprinters ?

Si le texte est déjà partiellement traduit, à quoi le sprint sert-il ? 

La version proposée par l’association HackYourResearch a été produite directement avec des outils de traduction automatisée. Vos expertises dans le domaine de la science ouverte vont permettre de faire évoluer ce texte, d’y apporter toutes les nuances nécessaires. 

L’avis de Gisèle Massol, traductrice et interprète professionnelle : 

En tant que chercheurs, traducteurs et linguistes, nous croyons que la traduction automatique, malgré d’impressionnants progrès, ne peut se substituer à la traduction humaine. En effet, la machine permet d’automatiser et d’accélérer le processus de traduction pour proposer une première version plus ou moins précise du texte original, mais seul un examen et une révision approfondie par un traducteur humain permet de comprendre les nuances les plus fines du texte d’origine et de les restituer dans la langue cible.

Par ailleurs, la démarche d’Open Science que valorise le manuel à traduire, fait appel à un ensemble de pratiques qui seront mises en oeuvre pendant le sprint de traduction : le travail collaboratif entre spécialistes de plusieurs disciplines, l’utilisation des outils internet et la confrontation directe des résultats de la machine avec les questions et hypothèses des participants au sprint. Enfin, l’objet final sera la diffusion et la vulgarisation des résultats de la recherche commune, après la phase de discussion scientifique.

Le sprint de traduction fera collaborer des spécialistes de diverses disciplines autour d’un exercice dont ils ne sont pas experts, pour leur permettre par la pratique directe, d’acquérir des outils méthodologiques par l’analyse critique de la traduction automatique, sa révision et son amélioration par les apports collaboratifs, pour parvenir à une production commune.

Intervenants, acteurs

Qui est Foster Open Science ? 

FOSTER Plus (Fostering the practical implementation of Open Science in Horizon 2020 and beyond) est un projet de deux ans financé par l’UE, mené par 11 partenaires dans 6 pays. L’objectif principal est de contribuer à un changement réel et durable dans le comportement des chercheurs européens afin que la science ouverte devienne la norme.

Les communautés de recherche, les institutions de recherche et les organismes de financement de la recherche ont tous reconnu que les compétences en matière de science ouverte sont de plus en plus essentielles pour permettre aux chercheurs d’entreprendre une recherche et une innovation responsables. Si toutes les parties prenantes s’accordent de plus en plus sur la nécessité d’améliorer les compétences en matière de science ouverte, l’adoption d’approches de science ouverte a été assez limitée jusqu’à présent. + d’infos

Les acteurs du sprint français

Elisa de Castro Guerra : formatrice à Activdesign et présidente de Floss Manuals Francophone, Elisa de Castro Guerra est spécialisée en création numérique et web. Elle travaille sur le développement d’applications web depuis plusieurs années. E. de Castro Guerra milite pour l’utilisation des logiciels libres, en particulier par la facilitation d’écriture de documentations en langue française. E. de Castro Guerra anime ainsi régulièrement des book sprints pour des associations, des entreprises. Elle a animé le book sprint de l’Urfist de Bordeaux sur la reproductibilité de la recherche

Gisèle Massol est traductrice assermentée. Elle est formatrice pour adultes en langue anglaise des spécialités scientifiques et techniques et a été intervenante à l’Université de Bordeaux pour les Facultés de Médecine, Neurosciences et Sociologie. Traductrice-interprète expert auprès de la Cour d’Appel de Bordeaux, G. Massol intervient aussi en tant qu’interprète de conférences et est donc habituée par la traduction simultanée à gérer de la production linguistique dans de très brefs délais.

HackYourResearch : “HackYourResearch est une communauté créée en France en janvier 2013 par Célya Gruson-Daniel et Guillaume Dumas. Elle regroupe des profils variés (doctorant·e·s, jeunes chercheur·e·s, entrepreneur·e·s, designers…) autour d’un même sujet d’intérêt : l’Open Science. Sous ce terme, se cache la volonté commune d’amener plus de collaboration, de transparence, et d’ouverture dans les pratiques de recherche actuelles. HackYourResearch souhaite explorer cette thématique de l’Open Science, afin de mieux de la définir et suivre ses évolutions. Cette exploration se fait de façon collaborative sous différents formats.” + d’infos

L’unité régionale de formation à l’information scientifique et technique (Urfist) de Bordeaux : l’unité de Bordeaux fait partie d’un réseau national. Les missions des Urfist sont de former les chercheurs, enseignants-chercheurs, doctorants et personnels scientifiques de toutes disciplines aux enjeux de l’information et de l’édition scientifique. Les Urfist développent aussi des actions ciblant les personnels de soutien à la recherche. + d’infos

Le comité pour la science ouverte propose des orientations et instruit les sujets sur les questions de la science ouverte, impulse et accompagne les actions associées dans une structure fluide, facilitant l’expression et la remontée des idées, les engagements et les contributions aux différents groupes de travail. + d’infos

La mission de la pédagogie et du numérique pour l’enseignement supérieur vise à améliorer la qualité et l’efficience des parcours de formation au service de la réussite des apprenants et du développement des territoires selon deux priorités : rénover les approches et pratiques d’enseignement et de  formation étendues à la formation tout au long de la vie ; faire du numérique un catalyseur de ces transformations et en soutenir les effets. + d’infos

Un book sprint pour booster vos projets de rédaction collaborative. Interview d’Elisa de Castro Guerra (FlossManuals francophone)

Le contexte

L’Unité régionale de formation à l’information scientifique et technique de Bordeaux a organisé du 15 au 19 avril 2019 un book sprint sur la reproductibilité de la recherche. En savoir plus sur les auteurs. Les chercheurs, issus de différentes disciplines, ont rédigé tous les contenus et conçu la table des matières ex nihilo. L’équipe d’auteurs a été constituée spécialement pour le book sprint.
Début de la rédaction : lundi après-midi. Fin de la rédaction : jeudi soir. En savoir + sur le projet

Le livre issu du book sprint est disponible en accès libre.

Vous pouvez faire des propositions de contenus en créant une “issue” sur GitHub.

A l’origine, les book sprints ont été conçus pour documenter les logiciels libres : il s’agit d’une adaptation des code sprints des développeurs. L’accent est mis sur le travail collaboratif entre participants aux compétences diversifiées. Il s’agit d’une pratique d’écriture collaborative, pas seulement collective. Tout est écrit durant le sprint. La post-production (correction des coquilles, mise en page, intégration des références biblios, etc.) en revanche peut nécessiter plusieurs semaines de travail une fois le sprint passé. Sur une durée de 3 à 5 jours, le travail est effectué sous la houlette d’un facilitateur, dont le rôle est d’organiser les échanges.

Pour éclairer le rôle fondamental du facilitateur dans ce type de projet et la méthode du book sprint, l’Urfist de Bordeaux a posé quelques questions à Elisa de Castro Guerra qui a facilité le book sprint sur la reproductibilité de la recherche. Propos recueillis par Sabrina Granger, chef de projet.

Elisa, pourrais-tu te présenter en quelques mots? Quel est ton parcours, quels sont tes centres d’intérêt actuels?

Je suis psychologue et ethnologue de formation. Par curiosité et par goût, j’ai rejoint diverses communautés virtuelles autour du logiciel libre. Je me suis prise au jeu et je travaille aujourd’hui avec ces outils. Par un principe de retour à la communauté, je participe, à la hauteur de mes compétences, à ces logiciels, plus précisément aux logiciels libres graphiques avec une approche en UX design et sur de la documentation, sur de la formation. J’ai co-fondé plusieurs associations dont une a pour objectif de documenter avec un point de vue pédagogique l’utilisation de ces logiciels (Floss Manuals Francophone). Participer à ces logiciels et cet univers m’ont ouvert à d’autres compétences. Professionnellement j’ai pu en tirer avantage et cela m’arrive maintenant de faciliter des book sprints depuis 2011 sur des projets variés.

Qu’est-ce qu’un book sprint peut apporter à un service universitaire, un laboratoire de recherche ?

Le book sprint est une méthode pour écrire rapidement à plusieurs. Le groupe co-construit une bulle temporelle et crée un environnement favorable à la création et l’intelligence collective. Le temps est compté car l’objectif est bien identifié (produire un livre en quelques jours). Les différentes tâches sont identifiées aussi bien dans leur nature que leur durée.

Je ne connais pas précisément le travail spécifique du laboratoire de recherche, mais suite à l’expérience que nous avons vécu [NDLR : Elisa fait référence au book sprint organisé par l’Urfist de Bordeaux], j’ai l’impression que ce book sprint a permis :

  • de découvrir une nouvelle façon de collaborer
  • de découvrir une autre façon d’écrire vite et bien
  • de fédérer des chercheurs issus de disciplines différentes mais pourtant bousculés par des problématiques communes
  • d’enrichir sa pensée
  • de vivre une expérience humaine passionnante

Quels sont les 3 facteurs clés de réussite pour un book sprint selon toi? Et quels sont les 3 écueils principaux à éviter?

L’idéal est de réunir des personnes qui ont envie de participer à ce type d’expérience. Ces participants doivent avoir des points de vue (une expérience) différents des uns des autres, et des niveaux sur la question également différents.

Le sujet abordé doit être innovant, inutile de refaire ce qui existe déjà.

Il faut éviter d’organiser un book sprint dans le milieu naturel du participant, sinon il ne sera pas complètement disponible pour participer à cet événement. Il faut également éviter qu’un nouveau participant arrive en fin de book sprint, le risque est alors trop grand de déconstruire le travail déjà réalisé et de démotiver les participants présents depuis le début.

L’équipe réunie doit absolument être présente sur la totalité de l’événement, si c’est difficile, il faut alors plutôt accepter des participants quittant avant la fin plutôt que l’inverse.

Cite-moi 3 idées reçues (fausses)  que l’on pourrait avoir sur les book sprints? en termes d’organisation, de durée, de profils d’auteurs, de compétences mobilisées, etc.

Il est nécessaire d’avoir un facilitateur, réunir des participants ne suffit pas, même de bonne volonté. Et c’est difficile d’être à la fois auteur et facilitateur !

La durée du book sprint doit rester courte (pas plus de 5 jours) et être regroupée dans le temps (l’idéal est de proposer un book sprint sur 3 à 5 jours consécutif).

Les auteurs doivent déjà avoir eu une expérience positive avec l’écriture, être prêts à collaborer (écrire et accepter que quelqu’un modifie votre paragraphe) et à discuter.

Selon le sujet, il est essentiel de réunir des compétences diversifiées pour une approche plurielle et des expériences à des niveaux différents (débutant, intermédiaire, expert).

Quel est le rôle du facilitateur? Et comment bien faciliter un book sprint?

Le facilitateur a une vue globale sur la co-création alors que les participants sont dans la création de leur plus petite partie. Le facilitateur sait ce qui a été fait et ce qui reste à faire et met en place une lisibilité de ce qui reste à faire pour que chacun se responsabilise et s’organise afin de gérer son apport au regard du temps disponible.

Le facilitateur ressent l’humeur du groupe, il prend soin du groupe, et est attentif à ce que chacun reste dans sa zone de confort et a les moyens de donner le meilleur de soi-même.

Le facilitateur organise les discussions pour que les doutes soient levés et que le résultat de la co-création soit le reflet satisfaisant du groupe.

Je ne sais comment expliquer la facilitation d’un book sprint en peu de mots, participez à mes formations pour en apprendre davantage !

Quels sont les autres rôles que l’on peut prévoir quand on organise un book sprint?

Souvent en relation avec l’objet final, au cours de mon expérience de divers book sprints, nous avons pu faire appel à :

  • un développeur pour qu’il corrige les bugs constatés lors de l’événement
  • un traducteur pour qu’il contribue et améliore la localisation française
  • un débutant correspondant à la cible de la co-création afin de tester immédiatement (et corriger le cas échéant) l’efficacité de notre action
  • un graphiste pour la réalisation de schémas ou illustrations à insérer dans l’ouvrage
  • un coordinateur de projet pour identifier les auteurs et le lieu
  • un relecteur pour qu’il fasse une repasse sur la totalité de l’ouvrage terminé pour chasser les erreurs typographiques et de style inévitables
  • un bibliothécaire pour prendre soin de la bibliographie et des références bibliographiques
  • voire … un cuisinier pour nous préparer de bon petits plats le midi et le soir afin de créer des moments positif de vie du groupe autrement que par le travail !

Reproductibilité de la recherche : “Vers une recherche reproductible : Faire évoluer ses pratiques” un ouvrage en français pour une recherche plus transparente

Auteurs : Loïc Desquilbet, Boris Hejblum, Arnaud Legrand, Pascal Pernot, Nicolas Rougier

L’ouvrage est en accès libre, téléchargeable aux formats PDF et EPub.

URL pérenne : https://hal.archives-ouvertes.fr/hal-02144142

5 auteurs issus de disciplines variées ont rédigé un ouvrage en français pour aider chercheurs comme personnels scientifiques à relever les défis de la reproductibilité de la recherche. Dette technique, code informatique abscons, tableurs indomptables, figures impossibles à reproduire (alors même que l’article a été accepté par la revue !), chaos numérique, etc. Les freins à la traçabilité de la recherche sont nombreux et d’ordre aussi bien technique que méthodologique.

Tout au long du livre, les auteurs proposent un panel de solutions dont certaines ne nécessitent aucune compétence technique avancée pour être mises en œuvre. L’ouvrage a pour vocation de s’adresser à un public large.

Mots clés : recherche reproductible ; transparence de la recherche ; science ouverte ; crise de la réplication ; open source ; open data ; data sharing ; réutilisation des données ; standardisation ; book sprint

Les contenus de l’ouvrage

L’objectif de cet ouvrage est de donner les outils pour comprendre les enjeux de la recherche reproductible. Celle-ci vise à donner l’opportunité à tout chercheur de vérifier ou d’obtenir de nouveau les résultats d’un autre chercheur, que ce soit pour établir des comparaisons ou pour s’en inspirer. Notons que cet autre chercheur peut être l’auteur des travaux lui-même : ce qui était clair à un moment donné ne l’est plus quelques semaines plus tard. Notre ambition est d’apporter des solutions avec un niveau de technicité varié, permettant à chacun d’améliorer sa pratique dans son domaine et selon ses moyens.

Le livre se structure en trois grandes parties :

– la première partie traite de la notion même de recherche reproductible selon différentes perspectives. Il s’agit de prendre pour point de départ des expériences “traumatiques” engendrées par des pratiques plus ou moins (moins en fait) propices à une recherche reproductible.

– la deuxième partie explicite les causes et les origines des différents problèmes auxquels chaque chercheur, quel que soit son degré d’expertise dans son domaine, peut être confronté un jour ou l’autre.

– la troisième partie présente enfin une sélection de solutions offertes par la recherche reproductible pour résoudre ou prévenir ces problèmes à l’échelle de chacun.

Desquilbet, Loïc, Sabrina Granger, Boris Hejblum, Arnaud Legrand, Pascal Pernot, et Nicolas P. Rougier. Vers une recherche reproductible : Faire évoluer ses pratiques. Bordeaux : Urfist de Bordeaux, 2019.

Proposer des contenus, poser des questions aux auteurs

En créant une “issue” via GitHub ou en contactant l’Urfist de Bordeaux par mail (urfist/at/u-bordeaux.fr), il est possible de proposer des contenus, de poser des questions aux auteurs, tant sur les contenus que sur la méthode. Vous souhaiteriez proposer une traduction de l’ouvrage? Contactez-nous. https://github.com/rr-france/bookrr

Qu’est-ce qu’un book sprint?

La spécificité de cet ouvrage est d’avoir été rédigé dans le cadre d’un book sprint organisé par l’Unité régionale de formation à l’information scientifique et technique de Bordeaux (15-19/04/2019) : les auteurs ont rédigé tous les contenus et la table des matières ex nihilo. Pour en savoir + sur le projet

Un book sprint est un mode de rédaction collaboratif, pas seulement collectif. La notion de premier auteur n’existe pas.

Les auteurs

En savoir plus sur les auteurs, découvrir les contributeurs

Debunking data fraud : suites du meetup “To cheat or not to cheat : The dark side of data science”

Le contexte

Le 7 mars 2019, l’Urfist de Bordeaux et l’école doctorale “Mathématiques et informatique” (Université de Bordeaux) ont co-organisé le meet up : « To cheat or not to cheat : The dark side of data science ».

Peer review truqué, visualisations de données partisanes, interprétations abusives… Participant.e.s et intervenants ont échangé tout l’après-midi sur les pratiques de recherche les plus douteuses.

Intervenants

Nicolas Rougier est chercheur Inria en neurosciences computationelles. Il travaille à l’institut des maladies neurodégénératives à Bordeaux. Il a co-fondé le journal ReScience qui est spécialisé dans la publication de réplication en sciences computationelles. @NPRougier

Christophe Bontemps est ingénieur de recherche à l’INRA au sein de la Toulouse School of Economics. Economètre-statisticien de formation, il enseigne la visualisation des données depuis plusieurs années et est co-organisateur du Meetup Toulouse Dataviz. @Xtophe_Bontemps

Retours sur le meet up avec Christophe Bontemps

Propos recueillis par S. Granger, pour l’Urfist de Bordeaux

Christophe, stp, pourrais-tu te présenter en quelques mots? Quel est ton parcours? Quelles compétences principales as-tu développées et comment es-tu venu à te spécialiser dans la visualisation de données?

La version courte pour me présenter, c’est “Ingénieur économètre à la Toulouse School of Economics (TSE) pour l’INRA”, mais comme ce n’est ni très glamour ni très compréhensible, je préfère la version romancée : je suis une sorte de mathématicien qui essaie d’aider des chercheurs (en économie) à répondre à leurs questions en utilisant des données (de la vraie vie) et des modèles statistiques adaptés (modèles économétriques). Pour faire cela , je manipule évidemment des données, explore leurs caractéristiques et estime différentes statistiques ou indicateurs plus ou moins complexes,  voire des fonctions.

La représentation graphique (la dataviz) est omniprésente dans ma pratique que ce soit pour l’exploration des données ou pour la représentation de résultats. Il y a quelques années, pour résoudre mes propres problèmes de visualisation de mes estimations, j’ai voulu progresser sur les méthodes de visualisation de données.

J’ai alors acheté plein de bouquins, lu des articles et décidé d’approfondir le sujet. La meilleure méthode pour faire cela c’était d’enseigner, ce que je fais depuis 4 ans à l’ENSAI (Rennes), à TSE et bientôt à Vérone en Italie. Depuis 3 ans, je co-anime aussi le Meetup Toulouse Dataviz (1200 membres) qui organise aussi depuis 2 ans un challenge de visualisation de données, le “Hackaviz”.

Pourrais-tu me citer 3 fausses bonnes idées en matière de dataviz?

Mes cours et mes étudiants m’ont beaucoup appris sur la dataviz. Mais c’est surtout en faisant des erreurs et en partant sur de mauvaises idées, dont celles-ci, que l’on apprend :

  • Un graphique vaut 1000 mots.  Il est vrai qu’un graphique peut porter un message plus puissamment qu’un texte. Il sera aussi mieux mémorisé. Mais un graphique sans contexte, et donc sans les mots qui l’accompagnent pour en décrire les éléments visuels, leur signification, la source des données, la question posée et les éléments de réponse apportés par le graphique, n’apprend pas plus sur le monde qu’un joli coloriage.
  • Plus ça bouge, mieux c’est !, autrement dit, une bonne dataviz est interactive, est obligatoirement dynamique et tout réagit à tout. Les effets “Wahoo” que l’on rencontre souvent sur le net sont rarement porteurs de sens et de comparaisons instructives. Les data journalistes (les vrais) ne s’y trompent pas et sont revenus à des formes graphiques plus simples et porteuses d’histoires.
  • Pour des données géolocalisées, on est obligé de faire une carte”. Non, on peut comprendre les élections américaines sans cartes, on peut mesurer l’évolution du changement climatique sans faire une carte des températures (qui ne reflétera pas l’impact sur les populations par exemple). Les cartes sont des représentations extrêmement complexes qui exigent beaucoup de compétences, de l’expérience et de la rigueur dans leur composition. C’est d’ailleurs un métier et il y a des formations spécifiques pour cela.  Ajouter des éléments statistiques sur une carte relève donc du défi (comment visualiser l’incertitude autour d’une valeur sur une carte? Quels éléments visuels peut-on superposer à une carte? Que et comment comparer sur une carte ?). Or, comme de nombreux et formidables outils existent, nombreux sont ceux qui ont ce réflexe malheureux de cartographie. ( La même remarque s’applique aux données de réseau sociaux représentées sous forme de boules de poils inutiles par réflexe, parce que les données sont “de réseau”. )

Pourrais-tu me citer 3 idées reçues sur la dataviz, dans un contexte de recherche?

“Mon” monde de la recherche est composé d’économistes, d’économètres et de statisticiens qui sont parfois réceptifs à la dataviz, mais parfois pas. Je n’ai donc qu’une vision très partielle de la recherche, mais j’ai souvent entendu les choses suivantes, potentiellement entendues ailleurs :

  • Une bonne table suffit. Les tables de statistiques descriptives sont encore une norme absolue, mais comparer des distributions avec des moyennes, écarts-types, min et max, c’est extrêmement réducteur. Une bonne table est souvent supplantée par une bonne visualisation, mais il faut se donner un peu de mal, c’est vrai.
  • Il ne faut pas passer trop de temps sur les graphiques, l’important ce sont les résultats”. La visualisation de données est encore perçue comme un outil pratique lié au développement de l’informatique. Or, c’est aussi un outil de la statistique moderne qui permet de tester visuellement et rapidement un ensemble d’hypothèses. Tout comme la statistique, cela demande de créer les bons tests, c’est à dire les bonnes visualisations et ce n’est pas un amusement esthétique. De nombreux statisticiens de renom ont d’ailleurs  travaillé à créer les bons outils et les bonnes pratiques dans différents contextes.
  • Pas de boîtes à moustaches, personne ne comprendra ce que cela représente. C’est un éditeur de revue (une revue sérieuse) qui m’a écrit cela. Dommage, cette représentation a vraiment son utilité et elle fut inventée en 1977! C’est vraiment symptomatique du travail qu’il reste à faire pour éduquer toute une population assez conservatrice lorsqu’il s’agit de publication.

Supposons que je n’aie pas de compétences techniques en R ou Python, ou tout autre langage de programmation. Mon truc, ce sont les tableurs. Quels seraient tes 3 conseils pour m’aider à améliorer mes visualisations de données? Par quoi puis-je commencer?

Je commencerais par investir dans… les possibilités graphiques des tableurs ! L’outil que l’on utilise n’est pas le plus important, même si les graphiques proposés en premier choix dans ces tableurs ont de graves défauts.

Ensuite, je lirais (en anglais) l’excellent livre Storytelling with Data ou (en français)  Convaincre avec des Graphiques efficaces. Ces deux livres sont entièrement composés de graphiques sous Excel et donnent de très bonnes pratiques de visualisation, faciles à appliquer au quotidien.

Enfin, je suivrais une formation (en ligne ou pas) pour comprendre pourquoi et comment on fait des graphiques. Une formation agnostique sur les outils utilisés, axée sur les techniques de visualisation que l’on peut appliquer même sur du papier avec des crayons de couleur.

Autre cas de figure : dans mon unité de recherche, je souhaiterais disséminer des bonnes pratiques de dataviz. Que me conseilles-tu en termes de modalités de transfert de compétences? Que peut apporter un hackathon à des chercheurs par exemple?

Oui, un hackathon, (ou un hackaviz) est un excellent moyen de se plonger dans une problématique de représentation de données à partir d’un jeu de données inconnu qu’il faut découvrir. Cela permet aussi de se rendre compte que l’on peut présenter des faits, des résultats, des trouvailles de différentes façons et que l’on peut aussi “ne pas voir” quelque chose. En outre, l’exercice, si encadré, permet de découvrir de nouvelles pratiques et de nouveaux outils que l’on aura envie d’essayer tout de suite sur le jeu de données. Ce n’est pas très difficile à mettre en œuvre et est souvent enrichissant et ludique parce qu’on travaille en groupe.

Selon toi, existe-t-il des cas de triche acceptables?

Cela dépend ce qu’on appelle “triche”.  “Tricher” avec les règles pour simplifier et mettre l’accent sur un point précis en informant le lecteur est tout à fait acceptable. “Tricher” en créant une carte du métro qui ne respecte pas les distances entre stations est tout à fait acceptable (et accepté) également. Tandis que tricher avec les données, choisir une représentation volontairement (ou pas) trompeuse, non adaptée aux données, recadrée, ou simplement faussée, n’est par contre pas acceptable. On voit de nombreux cas, hélas, comme j’ai pu vous l’exposer à Bordeaux.

Et inversement, qu’est-ce qui reste inacceptable, pour TOUJOURS? aka un score de 55 sur l’échelle du scandale, qui est une échelle allant de 1 à 10.

Bon nombre de visualisations sont hélas basées sur des comparaisons (ou sur des statistiques) qui n’ont pas de sens. Que l’on utilise des échelles doubles, que l’on tronque des axes, ou que l’on torde des graphiques pour tromper l’œil et le cerveau par des comparaisons faussées reste inacceptable. Mais il y a toujours une chose qui me révolte dans ce domaine : c’est la comparaison d’éléments non comparables. Que cela soit une comparaison chiffrée ou graphique. L’exemple récurrent de la comparaison du nombre de morts sur les routes lors du week-end de Pâques me fait souvent douter de l’intelligence humaine ou me laisse penser qu’il y a tentative de manipulation. Est-ce que l’on compare le nombre de promeneurs  dans les Pyrénées sous la pluie et sous le soleil? Quelle que soit la représentation graphique de ces pseudo-statistiques, ces comparaisons sont stupides, intolérables et oui toujours scandaleuses !

Plus généralement, selon toi, quelles bonnes pratiques de dataviz adopter pour une recherche plus transparente et plus reproductible?

Tout d’abord, si les (bonnes) méthodes de visualisation de données étaient enseignées dans les cursus des disciplines où l’on traite des données et où l’on utilise des statistiques, la question des bonnes pratiques se poserait moins cruellement qu’aujourd’hui.

Ensuite, je crois que la question de la transparence et de la reproductibilité se pose en termes d’outils, mais aussi de volonté. Il faut des outils permettant de tracer les étapes de la production d’un graphique (et donc d’un résultat), mais il faut aussi que les chercheurs aient l’envie de partager cette chaîne de traitements.

Donc, formation + bons outils (pas de tableurs) + volonté + incitations. Tout un programme, qui se met en place doucement avec une nouvelle génération de chercheurs.

Pour finir, comment définirais-tu une bonne dataviz?

Excellente question que j’esquive en laissant répondre le génial Jacques Bertin “Il n’y a pas de bons ou de mauvais [graphiques] (…), il y a des constructions qui répondent  et d’autres qui ne répondent pas aux questions qu’on est en droit de se poser”. (cf. Jacques Bertin “Théorie matricielle de la graphique” Communication et langages, Armand Colin, 1981, 48, 62-74. )

Valoriser le travail des reviewers. Retours d’expérience de chercheurs sur le peer review, Publons

Dans le cadre de la journée d’étude du 27 mars 2018 « Le peer review à l’ère de l’open science : enjeux et évolutions » (consulter les supports ; consulter les tweets) organisée par l’Unité régionale de formation à l’information scientifique et technique de Bordeaux, une table-ronde a été dédiée à la question de la reconnaissance et de la valorisation de l’activité des reviewers.  La manifestation a été organisée en partenariat avec le centre Bordeaux Sud-Ouest de l’Inria, la délégation Aquitaine du CNRS, le pôle ressources humaines et développement social de l’Université de Bordeaux.

Hervé Maisonneuve, médecin et rédacteur du blog « Rédaction médicale et scientifique », a animé les échanges entre les participants et les chercheurs invités à témoigner : Florence Débarre (CNRS ; Centre Interdisciplinaire de Recherche en Biologie, Collège de France) ; Fabien Lotte (équipe Potioc, Inria) ; Nicolas Rougier (équipe Mnemosyne, Inria) ; Olivier Sandre (Laboratoire de Chimie des Polymères Organiques, CNRS).

Focus sur les retours d’expérience de 2 chercheurs, Florence Débarre et Fabien Lotte, qui se sont prêtés à une interview croisée. Les 2 chercheurs évoquent : leurs activités de reviewers ; les enjeux dans leurs disciplines ; leurs besoins ; leur utilisation de Publons et notamment la question de son rachat par Clarivate analytics, les forces et faiblesses de la plateforme du point de vue d’utilisateurs réguliers, etc.

Propos recueillis par H. Maisonneuve et S. Granger

Présentation de Florence Débarre : « Florence Débarre est théoricienne en écologie de l’évolution. Chercheuse au CNRS, elle travaille au Centre Interdisciplinaire de Recherche en Biologie (CIRB), à Paris. Elle est membre du groupe SMILE (Stochastic Models for the Inference of Life Evolution). »  Source : site personnel de Florence Débarre, trad. S. Granger

Présentation de Fabien Lotte : « Le pain quotidien de Fabien Lotte, c’est le traitement des signaux électro-encéphalographiques (EEG) qui sont une mesure de l’activité cérébrale de tout être humain. D’emblée, il l’indique que, si ses recherches sont tendues vers la reconnaissance des signaux les plus distinctifs pour savoir ce qui se passe dans le cerveau, il ne peut toutefois pas savoir ce que vous pensez ! Traquer et scruter les courbes dessinées par l’activité cérébrale est utile pour améliorer le pilotage des BCI (Brain Computer Interface). Fabien traite les signaux et conçoit des types d’interfaces homme-machine appelées  interfaces cerveau-ordinateur. » Source : site web Inria

Qu’est-ce que Publons ? Comment avez-vous connu Publons ?

[FD] « Publons est un site web qui recense les reviews faites par les chercheurs, agglomère les données liées à ces reviews ; le site permet aussi de partager publiquement les reviews (ce que je n’ai jamais fait), mais aussi de suivre le devenir d’un papier (par exemple qui a été accepté ensuite dans un autre journal).

Je crois que j’ai connu Publons via un email sur la liste de diffusion « evoldir » (liste de diffusion internationale pour la communauté en biologie de l’évolution), puis via Twitter. Je me suis inscrite en 2016. Avant je suivais mes reviews faites sur un tableur, mais j’ai apprécié d’avoir un système me permettant d’authentifier les reviews que j’avais faites. »

[FL] « J’ai connu Publons via le journal Journal of Neural Engineering, qui est un journal majeur dans ma communauté de recherche, et dont je suis un relecteur régulier et un membre du bureau éditorial.

En terminant une évaluation (review) d’article pour ce journal, le système informatique de celui-ci me demande si je veux que mon évaluation soit officiellement reconnue via leur partenaire Publons.

Je ne connaissais pas Publons, mais j’ai regardé rapidement et j’ai trouvé l’idée intéressante donc je me suis créé un compte et cette relecture a donc été officialisée. C’était donc ma première.

J’ai ensuite vu qu’on pouvait transmettre à Publons les e-mails officiels de remerciement qu’on avait reçu pour les relectures qu’on avait faites auparavant, de façon à ce qu’elles soient également officialisées.

J’ai donc fouillé dans ma boite e-mail pour retrouver ces e-mails (en tout cas ceux que j’avais, car il m’en manquait) et les transmettre à Publons. »

Pourquoi utiliser Publons ? L’utilisation de Publons vous a-t-elle conduit à modifier certaines de vos pratiques?

[FD] « J’utilise Publons pour chacune des reviews que je fais ; je liste désormais l’URL de mon profil Publons dans mon CV, et je l’ai mentionné dans ma dernière demande de financements. Publons me permet aussi de mieux suivre les reviews que je fais, en particulier leur nombre (et me permet d’en refuser plus rapidement si j’ai atteint mon quota mensuel!). Dans ma discipline, une review prend du temps (c’est au moins une journée pleine de travail, souvent plus). » [FL] « Ma motivation à utiliser Publons vient du fait que la relecture d’articles scientifiques est une activité essentielle et majeure d’un métier de chercheur, qui assure la publication d’articles scientifiques de qualité (ou en tout cas limite la publication d’articles à la qualité douteuse), et qui est très chronophage. Par exemple, de mon côté, ces dernières années j’ai évalué entre 40 et 70 articles par an (à la fois de journaux et conférences), et l’évaluation de chaque article peut prendre plusieurs heures, voire même une demie journée pour les articles de journaux longs.

Cette activité est malgré tout peu reconnue et valorisée, et n’a que très peu de poids dans nos dossiers, par exemple lors que l’on demande des financements, une promotion ou pour nos évaluations régulières. Ainsi, alors que cette activité est essentielle pour la recherche, il y a très peu d’incitations à la faire de la part des institutions.

Les statistiques de Publons le montre d’ailleurs, la majorité des relectures est faite par une minorité de relecteurs (dont je fais partie). Il est en effet beaucoup plus valorisant pour sa carrière de passer du temps à écrire des articles ou des projets de recherche plutôt qu’à en évaluer. Mais l’un ne peut pas fonctionner sans l’autre. Publons change donc la donne en reconnaissant officiellement ce travail de relecture, et en permettant aux chercheurs de le valoriser.

De mon côté, j’ai par exemple obtenu 2 prix de relecteur par Publons (« Publons peer review award 2017 »), pour être dans les 1% de relecteurs (enregistrés chez Publons) ayant effectué le plus grand nombre de relectures en 2017, à la fois dans les disciplines d’ingénierie et de neurosciences (mon domaine de recherche étant à la croisée des deux disciplines). C’est donc un prix scientifique que je peux mettre en avant et valoriser sur mon CV. Je candidate cette année pour être directeur de recherche Inria, ce prix est donc bienvenu !

Mes pratiques n’ont pas spécialement évolué, à part que maintenant je transmets chaque e-mail de remerciement d’évaluation d’articles à Publons immédiatement !»

Selon vous, quelles sont les forces et les faiblesses de Publons ? Quel est votre avis sur son rachat par Clarivate analytics ?

[FD]

« Forces :

Intégration avec des journaux, en particulier ceux qui utilisent ScholarOne (qui appartient aussi à Clarivate Analytics), qui facilite le décompte des reviews ;

Force de frappe de Clarivate Analytics

Statistiques sur le contenu des reviews, comparaisons avec d’autres reviewers du domaine (par exemple longueur des reviews, jours de la semaine auquel les reviews sont envoyées)

L’intégration avec ORCID qui permet de centraliser et bien identifier les données

Faiblesses :

Détenu par Clarivate Analytics ; je crains la concentration des pouvoirs dans les mains d’une seule entreprise privée (Web of Science, Scholar One), qui détient beaucoup de données sur les chercheurs ; cf un de mes Tweets (1er juin 2017) lorsque j’ai appris le rachat

A l’époque, j’ai réfléchi à supprimer mon compte, mais Publons est quand même bien utile… Cependant, le fait que Clarivate Analytics ait récemment racheté beaucoup de petites startups comme Publons (par exemple Impact Story, que j’appréciais aussi), m’inquiète.

On peut potentiellement identifier un reviewer si on soupçonne quelqu’un et qu’on voit apparaître sur son profil Publons le nom du journal dans lequel on a soumis son article…

Publons n’est pas encore trop efficace pour les articles édités ; je suis Editrice Associée du journal Evolution, mes évaluations sont détaillées, quasiment comme des reviews, et j’aimerais que Publons les comptabilise aussi correctement (il n’y a aussi pas d’intégration automatique via Scholar One des articles édités)

J’ai appris via les fondateurs de Peer Community In (consulter le support de présentation Peer Community In) qu’être sur Publons est payant pour les journaux»

[FL] « Au-delà des apports que j’ai mentionnés ci-dessus, les limites actuelles que je vois à Publons pour l’instant, dans ma discipline (je suis informaticien), est que Publons ne reconnait pour l’instant que, ou quasi que les relectures d’articles de journaux. Or, dans la communauté informatique (au contraire de beaucoup d’autres communautés comme les neurosciences par exemple), on publie beaucoup d’articles de conférences, ceux-ci pouvant présenter des résultats aussi aboutis et aussi détaillés que ceux présentés dans des journaux informatiques. Par exemple, en Interaction Homme Machine ou en Machine Learning, les publications dans les grosses conférences du domaine (ACM CHI, NIPS, ICML, etc.) sont tout aussi voire plus reconnues et sélectives que celles dans les meilleurs journaux du domaine.

En tant qu’informaticiens nous effectuons donc de nombreuses relectures d’articles de conférences (qui sont souvent à peu près aussi longs que certains journaux informatiques). Celles-ci ne sont généralement pas reconnues par Publons pour une raison pratique toute bête : nous ne recevons pas d’e-mail officiel de remerciement pour chaque article de conférence évalué, le tout se passant sur des sites internet dédiés, auxquels Publons n’a pas accès.

Dans l’avenir, il me parait donc essentiel que Publons puisse aussi reconnaitre les relectures d’articles de conférences, qui sont essentiels en informatique. »

Concernant le rachat de Publons par Clarivate analytics : « Je n’ai pas spécialement d’avis, je ne connais pas bien les enjeux politiques ou commerciaux derrière. J’espère seulement que cela permettra à Publons d’aller plus loin dans son travail, tout en restant scientifiquement neutre et objectif, sans être influencé par des biais commerciaux. »

Dans quelle mesure, ce type d’outils peut-il être pertinent également pour des chercheurs en début de carrière?

[FD] « Je recommande Publons en début de carrière, comme preuve de l’activité de reviewing ; je ne recommande cependant pas forcément les reviews publiques. » [FL] « En début de carrière, être invité à faire des relectures d’articles est un signe de visibilité et de reconnaissance dans l’expertise des chercheurs invités pour la relecture. On n’invite en effet a priori que des gens qui maitrisent leur sujet et dont on sait qu’ils travaillent sur le sujet. Ainsi, Publons permet aux chercheurs en début de carrière de valoriser ces travaux de relectures et de mettre en avant la visibilité scientifique qu’ils ont acquise en officialisant les relectures qu’ils effectuent. Lorsqu’en suite ils vont candidater pour un poste permanent, ils pourront ainsi prouver ce travail sur leur CV. »

Quel avenir pour ce type de plateforme ? Connaissez-vous d’autres moyens, d’autres plateformes ou systèmes apportant pour valoriser le travail des relecteurs ?

[FD] « Elsevier reviewer credits (des sortes de médailles affichées sur le profil consolidé Elsevier) ; les listes de reviewers publiées annuellement par les journaux (par exemple PNAS ou Proceedings of the Royal Society B). Nature permet aussi d’exporter un certificat de reviews faites ; j’ai reçu des emails pour Reviewers Credits, mais je n’ai jamais utilisé la plateforme. »

[Note Urfist Bordeaux] : En savoir + sur les métriques alternatives déployées dans le cadre du projet Open Peer Review Module du Spanish National Research Council, cf. présentation d’I. Bernal (reputation scores for authors in Open peer review in DIGITAL.CSIC : analyzing potential roles of institutional repositories in the future of scholarly communication) + Osman, N., & Sierra, C. (2016). Reputation in the Academic World. http://dx.doi.org/10.13039/501100000780

On peut également citer Peer Community In (PCI), plateforme gratuite et non commerciale de recommandation de preprints. PCI n’est pas un outil visant à faciliter le suivi des activités des reviewers, mais PCI contribue à valoriser l’activité des reviewers dans la mesure où les reviews sont publiées dès lors que le preprint est validé. L’auteur du preprint reste libre de publier son article dans la revue de son choix ou de le déposer dans une archive ouverte.