Archives par étiquette : Bibliométrie

Journée d’études « Bibliométrie et indicateurs de la recherche : enjeux et perspectives »

11 juin 2013, 9h-13h
Amphi Cujas (Université Toulouse 1 Capitole – Anciennes Facultés)

Cette journée est gratuite, ouverte à tous, mais l’inscription est obligatoire pour des raisons logistiques : http://www.urfist.cict.fr/sygefor/journee

  • Présentation

L’objectif de cette journée est d’impulser une réflexion pluridisciplinaire sur les mesures de la science au niveau du site toulousain de la recherche et de ses acteurs. Alors qu’ils n’y étaient pas initialement destinés, les travaux de bibliométrie ont parfois dévié vers l’évaluation quantitative des chercheurs et des institutions. Les décideurs et les chercheurs eux-mêmes se sont progressivement emparés des différents indicateurs. Au gré des exigences institutionnelles ou de divers impératifs professionnels, ils en sont venus à réaliser leurs propres mesures, avec des dérives qui ont maintes fois été dénoncées.

Dans l’objectif de mieux comprendre le fonctionnement de l’activité de recherche, plusieurs questions se posent alors. Est-il quand même possible et souhaitable de mobiliser ici les outils bibliométriques ? À quelles conditions et quelles sont les précautions prendre ? C’est à ces questions que cette journée, qui devrait être suivie par d’autres, tentera d’apporter des éléments de réponse en s’appuyant sur des travaux en sociologie, en sciences de l’information et de la communication et en informatique.

  • Programme

9h-9h30. Introduction
Pierre Aimar (PRES Université de Toulouse)

9h30-10h15.   La science et ses miroirs : la bibliométrie en perspective
Michel Zitt (INRA)

10h15-10h45.   Bibliométrie et production des connaissances : quelle évaluation de la recherche ?
Muriel Lefebvre (URFIST/LERASS)

10h45-11h. Pause

11h-11h30.  Évaluation de la recherche en Italie : (més)usages de la bibliométrie et l’initiative ROARS
Alberto Baccini (Université de Sienne, Italie)

11h30-12h.  Perception de la recherche via les médias sociaux : le prisme des Altmetrics
Guillaume Cabanac et Gilles Hubert (IRIT)

12h12h30.  Pour une démesure de la science : faire de la bibliométrie sans compter
Béatrice Milard (LISST)

12h30-12h45.  Conclusion et perspectives à venir
Michel Grossetti (LISST/LabEx SMS)

  • Organisation

Cette journée est organisée par Béatrice Milard (LISST), Guillaume Cabanac et Gilles Hubert (IRIT) et Muriel Lefebvre (LERASS/URFIST), avec le soutien de l’IRIT, de l’URFIST, du LabEx SMS, du LISST, du programme ANR Résocit, du LERASS et de l’UT1.

  • Contact

muriel.lefebvre@ut-capitole.fr

 

Informatique et scientométrie

La spécificité de la littérature scientifique dans le domaine de l’Informatique réside dans le type de support qui la sous-tend, c’est-à-dire principalement les proceedings. Les particularités propres aux communications touchent aussi bien le champ des pratiques ou de la culture informationnelles que celui de la cartographie scientométrique.

Le premier de ces deux domaines a été décrit de façon détaillée dans un article d’Andrea Kienle et Martin Wessner (université de Dortmund et fondation Fraunhofer à Darmstadt) intitulé Principles for Cultivating Scientific Communities of Practice. Ils analysent une communauté en particulier, la CSCL (Computer-Supported Collaborative Learning) sur la décennie 1995-2005. Ils passent au crible les listes de participants et d’intervenants aux colloques de la discipline. Ils modélisent la structure réticulaire de cette communauté en observant les associations de personnes, mouvantes au fil du temps, à travers le co-autorat, la co-citation, le partage des sources. Le workshop est un hub idéal, qui permet au réseau social de se cultiver tout en commettant des « items de travail » matérialisés par des documents publiés et susceptibles d’évaluation au sens académique du terme

La rotation géographique des conferences est observée, au même titre que leur périodicité. Les noms des organisateurs, le caractère composite de leur origine géographique, l’influence d’un noyau de personnalités marquantes susceptibles de mobiliser la communauté autour d’une thématique, font également partie des paramètres de cette modélisation.

Celle-ci définit enfin les caractéristiques d’un palier qui limite l’extension de la communauté et diminue son interactivité à un moment donné (suivant un phénomène d’érosion). Les signaux envoyés à cette étape limite déterminent la création ou la génération d’un nouveau réseau qui puisera dans le précédent les bases nécessaires à son épanouissement.

 

C’est à Trèves (Trier) que s’est développée la base DBLP (Digital Bibliography & Library Project) considérée par les informaticiens comme fondamentale au plan international pour la recherche documentaire dans ce champ disciplinaire. En parallèle, CiteSeerX permet d’effectuer de façon très fine des analyses bibliométriques assorties du fameux Triangle : références en fin d’article / références partagées par d’autres articles / co-citations ; et ce dans le domaine spécifiquement informatique. Le document d’analyse de la commission d’évaluation de l’INRIA de septembre 2007, souvent cité, intitulé Que mesurent les indicateurs bibliométriques ? prend appui sur ces deux outils. Ils servent aussi à étayer l’article de trois chercheurs de l’Université d’Aix-la-Chapelle (Aachen), qui a pour titre Development of Computer Science Disciplines – A Social Network Analysis Approach (Pham, Klamma, Jarke). À partir des données de colloques puisées dans les deux bases, les auteurs constituent deux réseaux : un knowledge network et un citation network. Le premier cartographie les conferences en fonction de leur thématique, en prenant les éléments précédemment décrits par Kienle et Wessner ; le second agit sur les citations, dans la perspective du triangle mentionné plus haut. Parallèlement, les venue proceedings de type ACM ou IEEE sont analysés. Ceux-ci, minoritaires, sont inclus dans des périodiques répertoriés par le JCR.

Ce qui frappe dans la visualisation des graphes afférant respectivement aux communications non répertoriées dans des publications en série (journals à proprement parler) et d’autre part à celles que recouvre ce second type de document, c’est que l’image du réseau résultant seulement des périodiques (The knowledge network using journals only) est éclaté, atomisé, peu structuré, ne permet pas la mise en valeur de thématiques clairement inscrites dans des flux relationnels intenses. L’autre graphique, en revanche (The combined knowledge network [giant component]) présente des caractéristiques inverses, illustrant bien la dynamique de ces hubs que constituent les colloques, sans que leur contenu soit fixé dans des périodiques homologués par ailleurs, notamment dans le JCR.

Le « réseau de connaissance », à travers des représentations successives, permet de voir l’émergence ou le déclin de sous-disciplines et des conglomérats de colloques typiques. Diamètre des nœuds et volume des traits de connexion (arêtes) varient au fil des années, voire des mois. Certes, ce genre d’observation s’applique à d’autres disciplines. Mais l’informatique l’illustre à un rythme très rapide avec une dynamique interrelationnelle particulièrement significative, du fait de la multiplicité, de l’hétérogénéité et de l’interopérabilité des composantes générées par les colloques. Leur structure extrêmement souple, leur organisation rapide, leur capacité d’accueil et leur ouverture, ajoutées à la brièveté des interventions, à leur relative spontanéité et aux facilités de communication entre acteurs, font des items de la « littérature informatique » un substrat très original par rapport à d’autres champs disciplinaires, qui se prêtent volontiers à des analyses de pratique informationnelle intéressantes. Activées par les réseaux sociaux scientifiques, l’interdisciplinarité ou la transversalité ne sont pas ici de vains mots.

Le « réseau de citations » est notamment mis en évidence à l’aide du PageRank permettant d’accroître la visibilité de groupes leaders qui en entraînent d’autres. On retrouve d’ailleurs cette conception à certains égards dans la mise en œuvre de l’Eigenfactor avec la traçabilité des citations.

Les paramètres de l’analyse du réseau se déclinent en quatre modalités selon Pham et al.: Density (M1), Clustering coefficient(M2), Maximum betweenness (M3), Largest connected component (M4). Autrement dit : la densité du graphe (proportionnelle au nombre d’arêtes et donc de liaisons entre les nœuds), le coefficient de regroupement (des nœuds), la centralité d’intermédiation optimale (qui, pour reprendre les termes de Sedki Allaoui, « reflète la capacité d’un chercheur à relier deux autres chercheurs provenant d’un même sous-réseau à travers le plus petit nombre d’intermédiaires »), enfin la notion de « plus grand graphe connecté » (aptitude d’un conglomérat de nœuds à inclure le plus grand nombre de connexions, et partant à s’imposer visuellement comme prépondérant).

Ces quatre modalités sont relativement classiques en matière d’analyse bibliométrique. Mais la production scientifique dans le domaine informatique offre cette ctravtéristiq-titressarat : ls diffédenns entec ues anal ’effetiv lsp: rellement le partir des iteomm plat de ces colloqeil et leit citatnce oucherevouvrent dans s aombrommondériodiqume pus-tvol sonthe c pl(st notammeal pima>: JCR

 

S, pde dit’Andrea KieM2),oportin Wessnde Principles for Cultivating Scientific Communities of Practté >: Cc Communiti graTe-technole c95-2ach < proceediies mas Se secoCc Communiti graTe-technole cCi>confereM2)e Mnoc95-2iredautprir V pl Bennx ralieGuesricees suammaaut'sccturC. demompquip em--299uesoraomch ditSre pgir [e-l="bs],c95-2irVeadnotiO.A11h httparxivtor.oIA./1103.1972tor

de Sedki Allaa>: It ecnans auovecêmemenche: la production scientifique ces chercheunt de le ds simant de co é pli> ovePconly<, Vt volu41, Imm e 9, N prm Huc9512/a>, ip 1589-1606tor