Debunking data fraud : suites du meetup “To cheat or not to cheat : The dark side of data science”

Le contexte

Le 7 mars 2019, l’Urfist de Bordeaux et l’école doctorale “Mathématiques et informatique” (Université de Bordeaux) ont co-organisé le meet up : « To cheat or not to cheat : The dark side of data science ».

Peer review truqué, visualisations de données partisanes, interprétations abusives… Participant.e.s et intervenants ont échangé tout l’après-midi sur les pratiques de recherche les plus douteuses.

Intervenants

Nicolas Rougier est chercheur Inria en neurosciences computationelles. Il travaille à l’institut des maladies neurodégénératives à Bordeaux. Il a co-fondé le journal ReScience qui est spécialisé dans la publication de réplication en sciences computationelles. @NPRougier

Christophe Bontemps est ingénieur de recherche à l’INRA au sein de la Toulouse School of Economics. Economètre-statisticien de formation, il enseigne la visualisation des données depuis plusieurs années et est co-organisateur du Meetup Toulouse Dataviz. @Xtophe_Bontemps

Retours sur le meet up avec Christophe Bontemps

Propos recueillis par S. Granger, pour l’Urfist de Bordeaux

Christophe, stp, pourrais-tu te présenter en quelques mots? Quel est ton parcours? Quelles compétences principales as-tu développées et comment es-tu venu à te spécialiser dans la visualisation de données?

La version courte pour me présenter, c’est “Ingénieur économètre à la Toulouse School of Economics (TSE) pour l’INRA”, mais comme ce n’est ni très glamour ni très compréhensible, je préfère la version romancée : je suis une sorte de mathématicien qui essaie d’aider des chercheurs (en économie) à répondre à leurs questions en utilisant des données (de la vraie vie) et des modèles statistiques adaptés (modèles économétriques). Pour faire cela , je manipule évidemment des données, explore leurs caractéristiques et estime différentes statistiques ou indicateurs plus ou moins complexes,  voire des fonctions.

La représentation graphique (la dataviz) est omniprésente dans ma pratique que ce soit pour l’exploration des données ou pour la représentation de résultats. Il y a quelques années, pour résoudre mes propres problèmes de visualisation de mes estimations, j’ai voulu progresser sur les méthodes de visualisation de données.

J’ai alors acheté plein de bouquins, lu des articles et décidé d’approfondir le sujet. La meilleure méthode pour faire cela c’était d’enseigner, ce que je fais depuis 4 ans à l’ENSAI (Rennes), à TSE et bientôt à Vérone en Italie. Depuis 3 ans, je co-anime aussi le Meetup Toulouse Dataviz (1200 membres) qui organise aussi depuis 2 ans un challenge de visualisation de données, le “Hackaviz”.

Pourrais-tu me citer 3 fausses bonnes idées en matière de dataviz?

Mes cours et mes étudiants m’ont beaucoup appris sur la dataviz. Mais c’est surtout en faisant des erreurs et en partant sur de mauvaises idées, dont celles-ci, que l’on apprend :

  • Un graphique vaut 1000 mots.  Il est vrai qu’un graphique peut porter un message plus puissamment qu’un texte. Il sera aussi mieux mémorisé. Mais un graphique sans contexte, et donc sans les mots qui l’accompagnent pour en décrire les éléments visuels, leur signification, la source des données, la question posée et les éléments de réponse apportés par le graphique, n’apprend pas plus sur le monde qu’un joli coloriage.
  • Plus ça bouge, mieux c’est !, autrement dit, une bonne dataviz est interactive, est obligatoirement dynamique et tout réagit à tout. Les effets “Wahoo” que l’on rencontre souvent sur le net sont rarement porteurs de sens et de comparaisons instructives. Les data journalistes (les vrais) ne s’y trompent pas et sont revenus à des formes graphiques plus simples et porteuses d’histoires.
  • Pour des données géolocalisées, on est obligé de faire une carte”. Non, on peut comprendre les élections américaines sans cartes, on peut mesurer l’évolution du changement climatique sans faire une carte des températures (qui ne reflétera pas l’impact sur les populations par exemple). Les cartes sont des représentations extrêmement complexes qui exigent beaucoup de compétences, de l’expérience et de la rigueur dans leur composition. C’est d’ailleurs un métier et il y a des formations spécifiques pour cela.  Ajouter des éléments statistiques sur une carte relève donc du défi (comment visualiser l’incertitude autour d’une valeur sur une carte? Quels éléments visuels peut-on superposer à une carte? Que et comment comparer sur une carte ?). Or, comme de nombreux et formidables outils existent, nombreux sont ceux qui ont ce réflexe malheureux de cartographie. ( La même remarque s’applique aux données de réseau sociaux représentées sous forme de boules de poils inutiles par réflexe, parce que les données sont “de réseau”. )

Pourrais-tu me citer 3 idées reçues sur la dataviz, dans un contexte de recherche?

“Mon” monde de la recherche est composé d’économistes, d’économètres et de statisticiens qui sont parfois réceptifs à la dataviz, mais parfois pas. Je n’ai donc qu’une vision très partielle de la recherche, mais j’ai souvent entendu les choses suivantes, potentiellement entendues ailleurs :

  • Une bonne table suffit. Les tables de statistiques descriptives sont encore une norme absolue, mais comparer des distributions avec des moyennes, écarts-types, min et max, c’est extrêmement réducteur. Une bonne table est souvent supplantée par une bonne visualisation, mais il faut se donner un peu de mal, c’est vrai.
  • Il ne faut pas passer trop de temps sur les graphiques, l’important ce sont les résultats”. La visualisation de données est encore perçue comme un outil pratique lié au développement de l’informatique. Or, c’est aussi un outil de la statistique moderne qui permet de tester visuellement et rapidement un ensemble d’hypothèses. Tout comme la statistique, cela demande de créer les bons tests, c’est à dire les bonnes visualisations et ce n’est pas un amusement esthétique. De nombreux statisticiens de renom ont d’ailleurs  travaillé à créer les bons outils et les bonnes pratiques dans différents contextes.
  • Pas de boîtes à moustaches, personne ne comprendra ce que cela représente. C’est un éditeur de revue (une revue sérieuse) qui m’a écrit cela. Dommage, cette représentation a vraiment son utilité et elle fut inventée en 1977! C’est vraiment symptomatique du travail qu’il reste à faire pour éduquer toute une population assez conservatrice lorsqu’il s’agit de publication.

Supposons que je n’aie pas de compétences techniques en R ou Python, ou tout autre langage de programmation. Mon truc, ce sont les tableurs. Quels seraient tes 3 conseils pour m’aider à améliorer mes visualisations de données? Par quoi puis-je commencer?

Je commencerais par investir dans… les possibilités graphiques des tableurs ! L’outil que l’on utilise n’est pas le plus important, même si les graphiques proposés en premier choix dans ces tableurs ont de graves défauts.

Ensuite, je lirais (en anglais) l’excellent livre Storytelling with Data ou (en français)  Convaincre avec des Graphiques efficaces. Ces deux livres sont entièrement composés de graphiques sous Excel et donnent de très bonnes pratiques de visualisation, faciles à appliquer au quotidien.

Enfin, je suivrais une formation (en ligne ou pas) pour comprendre pourquoi et comment on fait des graphiques. Une formation agnostique sur les outils utilisés, axée sur les techniques de visualisation que l’on peut appliquer même sur du papier avec des crayons de couleur.

Autre cas de figure : dans mon unité de recherche, je souhaiterais disséminer des bonnes pratiques de dataviz. Que me conseilles-tu en termes de modalités de transfert de compétences? Que peut apporter un hackathon à des chercheurs par exemple?

Oui, un hackathon, (ou un hackaviz) est un excellent moyen de se plonger dans une problématique de représentation de données à partir d’un jeu de données inconnu qu’il faut découvrir. Cela permet aussi de se rendre compte que l’on peut présenter des faits, des résultats, des trouvailles de différentes façons et que l’on peut aussi “ne pas voir” quelque chose. En outre, l’exercice, si encadré, permet de découvrir de nouvelles pratiques et de nouveaux outils que l’on aura envie d’essayer tout de suite sur le jeu de données. Ce n’est pas très difficile à mettre en œuvre et est souvent enrichissant et ludique parce qu’on travaille en groupe.

Selon toi, existe-t-il des cas de triche acceptables?

Cela dépend ce qu’on appelle “triche”.  “Tricher” avec les règles pour simplifier et mettre l’accent sur un point précis en informant le lecteur est tout à fait acceptable. “Tricher” en créant une carte du métro qui ne respecte pas les distances entre stations est tout à fait acceptable (et accepté) également. Tandis que tricher avec les données, choisir une représentation volontairement (ou pas) trompeuse, non adaptée aux données, recadrée, ou simplement faussée, n’est par contre pas acceptable. On voit de nombreux cas, hélas, comme j’ai pu vous l’exposer à Bordeaux.

Et inversement, qu’est-ce qui reste inacceptable, pour TOUJOURS? aka un score de 55 sur l’échelle du scandale, qui est une échelle allant de 1 à 10.

Bon nombre de visualisations sont hélas basées sur des comparaisons (ou sur des statistiques) qui n’ont pas de sens. Que l’on utilise des échelles doubles, que l’on tronque des axes, ou que l’on torde des graphiques pour tromper l’œil et le cerveau par des comparaisons faussées reste inacceptable. Mais il y a toujours une chose qui me révolte dans ce domaine : c’est la comparaison d’éléments non comparables. Que cela soit une comparaison chiffrée ou graphique. L’exemple récurrent de la comparaison du nombre de morts sur les routes lors du week-end de Pâques me fait souvent douter de l’intelligence humaine ou me laisse penser qu’il y a tentative de manipulation. Est-ce que l’on compare le nombre de promeneurs  dans les Pyrénées sous la pluie et sous le soleil? Quelle que soit la représentation graphique de ces pseudo-statistiques, ces comparaisons sont stupides, intolérables et oui toujours scandaleuses !

Plus généralement, selon toi, quelles bonnes pratiques de dataviz adopter pour une recherche plus transparente et plus reproductible?

Tout d’abord, si les (bonnes) méthodes de visualisation de données étaient enseignées dans les cursus des disciplines où l’on traite des données et où l’on utilise des statistiques, la question des bonnes pratiques se poserait moins cruellement qu’aujourd’hui.

Ensuite, je crois que la question de la transparence et de la reproductibilité se pose en termes d’outils, mais aussi de volonté. Il faut des outils permettant de tracer les étapes de la production d’un graphique (et donc d’un résultat), mais il faut aussi que les chercheurs aient l’envie de partager cette chaîne de traitements.

Donc, formation + bons outils (pas de tableurs) + volonté + incitations. Tout un programme, qui se met en place doucement avec une nouvelle génération de chercheurs.

Pour finir, comment définirais-tu une bonne dataviz?

Excellente question que j’esquive en laissant répondre le génial Jacques Bertin “Il n’y a pas de bons ou de mauvais [graphiques] (…), il y a des constructions qui répondent  et d’autres qui ne répondent pas aux questions qu’on est en droit de se poser”. (cf. Jacques Bertin “Théorie matricielle de la graphique” Communication et langages, Armand Colin, 1981, 48, 62-74. )


Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.