Archives de catégorie : Bibliométrie

Frascati, Oslo et la bibliométrie

L’Observatoire des Sciences et des Techniques (OST) ainsi que la LOLF mettent en avant trois critères conjointement favorables à la mise en valeur d’une institution : l’impact de ses publications, sa capacité à innover à travers les brevets et sa participation aux Programmes Cadres de Recherche et Développement de l’Union européenne (PCRD).

La bibliométrie se rapporte au premier critère. Son étude a souvent tendance à réduire sa pratique au champ étroit d’une organisation, d’une unité de recherche, voire d’une personnalité auteur de publications. Le professionnel de l’information se focalise sur un objectif chiffré dont la valeur reste trop souvent « locale ». Sa hiérarchie le contraint à fournir des résultats significatifs dans un temps généralement (trop) court sans que le recul nécessaire puisse s’exercer.

C’est faire peu cas d’un schéma beaucoup plus vaste dans lequel la bibliométrie n’est finalement qu’un maillon d’un processus de mesure globale, un des trois éléments cités plus haut, destinés à envisager la prospective au niveau national, et donc à l’évaluation d’un pays ou d’une union de pays au plan international.

Il n’est pas inutile de rappeler que les Manuels de Frascati (1ère éd. 1963) et d’Oslo (conçu en 1992 et mis à jour) sont à la base des opérations de prospective en matière d’innovation. Leur pilotage par l’OCDE consolide l’étroite association des trois critères précités.

L’innovation se définit elle-même à travers des nomenclatures sans cesse révisées des catégories de sujets. Celles du Web of Science, assez détaillées, en constituent un exemple assez souvent utilisé. Les Manuels de Frascati et d’Oslo en proposent d’autres, bien plus compactes.

Au-delà des poncifs fréquemment réducteurs du facteur d’impact et des indices d’appréciation individuels, la bibliométrie s’attache aujourd’hui à développer des modèles statistiques permettant de mesurer l’évolution de la science et de la technologie. L’introduction de l’analyse sémantique des textes intégraux, superposée à la cartographie des co-citations, permet de mettre au point des core documents, notamment au sens où l’entendent Wolfgang Glänzel et Bart Thijs (ECOOM / MSI – Louvain)[1]. Il s’agit d’ensemble d’articles « noyaux » ou « cœurs » représentatifs de concepts associant les travaux d’équipes dont la communauté de thématique est parfois inexistante en apparence. Les avantages et les inconvénients inhérents au calcul des citations d’une part et au data mining d’autre part, sont associés et pondérés par un modèle mathématique aboutissant à une représentation graphique cohérente. Citations d’articles et mots clés issus des textes intégraux sont reliés au sein des catégories de sujets du WoS pour générer une cartographie révélatrice des tendances mondiales de l’évolution scientifique à un moment donné.

De semblables méthodes mettent en lien les brevets. L’inscription des organismes européens auteurs de publications et déposants de brevets dans les activités liées aux PCRD complète le schéma.

La bibliométrie s’oriente avantageusement vers la définition de clusters thématiques qui font de la transversalité une réalité sous-jacente  à l’avancement des sciences. Synergie entre des domaines apparemment éloignés, révélation de collèges invisibles : autant de nouvelles perspectives réellement intéressantes dans le champ bibliométrique, au-delà de calculs d’apothicaires confinant parfois à la compétitivité scolaire.


[1] Using ‘core documents’ for the representation of clusters

and topics, Scientometrics (2011) 88:297–309

Classement de Leiden : nouveaux indicateurs 2011/2012

Le site du Classement international de Leiden, concernant les établissements d’enseignement supérieur, a mis en valeur une quantité d’indicateurs alternatifs nouveaux : outre le fameux CPP/FCSm (Citations per Publication / Field Citation Score multiple), les statisticiens de Leiden ont conçu deux variantes d’un MNCS (Mean normalized Citation score) associé à un indicateur de stabilité d’intervalle. Ce procédé permet d’isoler, voire d’exclure, des articles ayant généré un nombre atypiquement élevé de citations au lendemain de leur publication et susceptibles de faire varier de manière significative le positionnement d’une institution, voire même le facteur d’impact du journal qui l’a publié. L’indicateur Top-10% ajoute opportunément un facteur de pondération.

Ensuite, des classements intégrant ou non les publications en langue française ou allemande permettent de visualiser des nuances qualitatives dans un univers quasi exclusivement anglophone.

Troisième innovation : la mise en valeur cartographique et schématique des publications générées dans des journaux dont le champ disciplinaire est étranger à celui que fréquentent habituellement les équipes publiantes ; cette manifestation de la transversalité met aussi en garde sur la notion d’appartenance systématique d’un laboratoire ou d’une institution à un champ prédéterminé par son appellation ou par la formation initiale de ses membres.

La cartographie utilise la technologie VOSviewer, application Java libre.

Le Classement de Leiden a fait l’objet d’une conférence de son concepteur, le Prof. AFJ Van Raan, de l’université de cette ville des Pays-Bas, le 23 mars 2012 au CNAM (Paris), dans le cadre de la Onzième réunion de l’Atelier Évaluation, Caractérisation, Bibliométrie de l’URFIST de Paris. La présentation est visible sur Slideshare et le commentaire français sur le site de l’URFIST de Paris.

La Conférence des Publications en Psychologie de Langue française (C.P.P.L.F.)

La Conférence des publications de psychologie en langue française « a pour objectif de promouvoir des concertations, en vue de définir les meilleures conditions de garantie d’existence et de qualité scientifique des publications, dans le respect des règles déontologiques et des principes éthiques. À cette fin, elle rassemble des acteurs et instances qui concourent à la publication, à la diffusion, à la conservation et à la valorisation des travaux de psychologie, par l’édition de revues, d’ouvrages, imprimés ou numériques. » (art. 2 des statuts).

 

La C.P.P.L.F. est un exemple remarquable de réflexion et d’action collectives se donnant pour objectif d’optimiser les conditions d’évaluation et de caractérisation des disciplines SHS en général et plus spécialement de la Psychologie. Enseignants-chercheurs, praticiens, éditeurs aux sens scientifique et diffuseurs, agrégateurs, sont réunis dans cette association dédiée aux publications de psychologie, qui œuvre dans le sens d’un dialogue constructif avec les instances d’évaluation : il s’agit de modifier de manière significative un certain nombre de principes dont l’inadéquation n’est plus à démontrer dans le domaine SHS ; la Psychologie constitue à cet égard une base de travail fort intéressante. La C.P.P.L.F. a bien voulu inviter l’URFIST de Paris à participer à ses travaux.

Voir le compte-rendu de son A.G. initiale sur le site  de cette Unité.

Leiden Ranking vs. Shanghai

La onzième session de l’Atelier Bibliométrie, évaluation et caractérisation des publications scientifiques de l’URFIST de Paris accueillera Ton F.J. van Raan, Professor of Quantitative Studies of Science, Centre for Science and Technology Studies (CWTS), Leiden University (Leyde, Pays-Bas)

Concepteur du classement de Leiden (http://www.leidenranking.com/ ), il exposera les principes de ce nouveau cadre alternatif vis-à-vis des systèmes en vigueur, de Shanghai notamment.

Révolutionnaire par le biais de son FCS (Field Citation Score), il prend en compte les spécificités de chaque discipline et utilise les algorithmes de distribution qui font défaut dans des systèmes classiques fondés sur un usage brut et peu réfléchi des principes de Garfield. Très convaincant dans sa présentation à l’ESSS de Vienne en septembre 2011 (European Summer School of Scientometrics), il exposera ses arguments dans cette prochaine séance de notre Atelier au CNAM à Paris, le vendredi 23 mars de 9h30 à 12h, 292 rue Saint Martin, accès 17, salle 17.2.15.

Inscription sous :

http://urfist.enc.sorbonne.fr/sygefor/journee/40

Le Data Usage Index (DUI): méthodologie bibliométrique et données factuelles

Deux chercheurs travaillant en Scandinavie, Peter INGWERSEN et Vishwas CHAVAN, ont commis le 15 décembre 2011 un article dans BMC Bioinformatics, intitulé « Indicators for the Data Usage Index (DUI): an incentive for publishing primary biodiversity data through global information infrastructure ». Il s’agit d’appliquer des principes de calcul bibliométrique à des données factuelles issues de réservoirs spécialisés.

Les logs d’un serveur de données taxonomiques servent de banc de mesure. Il s’agit du Global Biodiversity Information Facility, projet scientifique international associant des taxons à des zones géographiques.

Le périmètre d’analyse (> 300 millions de données issues de 344 sources institutionnelles spécialisées sur la Biodiversité) ordonne les indicateurs en 5 dimensions : géographique, taxonomique, chronologique, volumétrique et pratique. La géographie recouvre les régions ou pays de localisation des fournisseurs de données (sources institutionnelles) ; la chronologie concerne la fenêtre temporelle de l’analyse (d’une semaine à six mois…) ; la volumétrie désigne le nombre de données prises en compte et la pratique (ou usage) est subdivisée en deux actions : la recherche (interrogation ou requête) et le téléchargement.

Ces 5 dimensions sont quadrillées à travers un tamis de 14 indicateurs définis clairement dans un tableau synthétique.

Les calculs sont pondérés par trois types de variables : la dimension chronologique des fenêtres (durée sur laquelle porte l’échantillonnage) ; les différences propres aux profils ou aux caractéristiques des sources de données interrogées (ce qui peut correspondre à certains égards aux spécificités disciplinaires en bibliométrie classique) et enfin le volume des corpus ou échantillons d’analyse.

Il est difficile voire impossible de se fonder sur les très rares références aux banques de données factuelles citées dans les bibliographies terminales d’articles, pour se faire une idée de l’usage et de la pratique informationnelle des chercheurs vis-à-vis de ce type de Data. Le cadre du DUI proposé par Ingwersen et Chavan contribuera efficacement à mieux connaître à la fois les sites fournisseurs de données et l’utilité ainsi que l’usage de celles-ci dans tel ou tel domaine de la Recherche.

Caractérisation de la Recherche SHS ; évolution de la méthodologie AERES

Le 8 novembre 2011 furent animées deux conférences dans le cadre du neuvième Atelier Évaluation, Caractérisation, Bibliométrie de l’URFIST de Paris.

  1. L’une concernait le modèle RIBAC du CNRS (Recueil d’Informations pour un oBservatoire des Activités des Chercheurs en SHS) ; caractérisation des activités de recherche en SHS : objectifs et contenu, ajustement objectif/contenu, par Isabelle SIDÉRA (ancienne membre du CSI SHS et chargée de mission de l’INSHS du CNRS, UMR 7055, Archéologie)
  2. L’autre Le rapport de l’AERES : l’application progressivement renforcée d’une logique de projets, par Gilles Tarabout (CNRS) UMR 7186 Laboratoire d’Ethnologie et de Sociologie Comparative.

Le compte-rendu de cet Atelier est visible sur le site de l’URFIST de Paris.

La prochaine session de l’Atelier aura lieu le jeudi 16 février 2012 à l’INSERM. Il y sera question des méthodes bibliométriques en usage dans cet Institut. Inscription d”ores et déjà possible sous :

http://urfist.enc.sorbonne.fr/sygefor/journee/39

Le suivant accueillera le 23 mars 2012 Ton VAN RAAN, concepteur du Classement de Leiden. Considéré aujourd’hui déontologiquement comme l’un des plus  acceptables, ses calculs traduisent des nuances multiples, respectueuses des différents aspects disciplinaires et volumétriques des entités analysées. Teo VAN RAAN est une personnalité marquante du Center for Science and Technology Studies (CWTS) de l’université néerlandaise de Leiden, à l’initiative du Crown Indicator. Ce facteur innovant établit un rapport entre l’indicateur CPP (Citations-per-Publication) et l’indicateur FCS (Field Citation Score) qui nuance précisément le “score” des citations en fonction des pratiques propres à chaque discipline. De même, des entités de recherche de taille modeste, trouvent la juste proportion de leur position dans un ensemble où seule devrait compter la qualité des items analysés. T. VAN RAAN nous expliquera en détail les modalités de ce classement.


					

IST, humanités, francité

L’AUF (Association des Universités Francophones), qui succède à l’AUPELF (Association des Universités Partiellement ou Entièrement de Langue Française), a tenu le 22 septembre 2011 un colloque à Montréal sur « Le français, langue de l’innovation », à l’occasion du Jubilé de l’Association.

Le lien donnant accès aux Vidéos du colloque permet de visualiser, entre autres, trois sessions intéressantes.

http://www.auf.org/communication-information/actualites/colloque-2011-6436.html

1)    Celle qui est intitulée « Desmonstrations » [sic] développe le projet IDEFICS (Indexation, Développement et Evaluation [de la recherche] Francophone pour l’Innovation et la Communication Scientifique) – rien à voir avec l’acronyme homonyme Identification and prevention of Dietary- and lifestyle-induced health EFfects In Children and infantS communément trouvé sur Google… – projet associé à Erudit mais aussi à d’autres répertoires comme Persée par exemple. Il s’agit de mettre en œuvre, tout spécialement dans le domaine des SHS, un index de citations francophones.

2)    La vidéo intitulée « Axe Recherche » associe deux chercheurs SHS : Bernard SERGENT (CNRS) et Jean-Guy MEUNIER (UQAM). Ce dernier développe le thème des Digital Humanities.

3)    Une troisième vidéo, intitulée « Axe Évaluation » fait intervenir conjointement deux ténors de cette thématique en lien avec les Archives ouvertes : Yves GINGRAS (OST canadien + UQAM) et Stevan HARNAD (Univ. Southampton, U.K.) qu’on ne présente plus…

Bonne visu !

Bibliométrie : l’Atelier (9ème) et le Stage à Paris

La neuvième réunion du Groupe de réflexion de l’URFIST sur l’analyse et la caractérisation de la production scientifique aura lieu à l’Université de Paris-Ouest-Nanterre-La Défense le mardi 8 novembre 2011 de 14 à 16 heures en Salle de conférence (4e étage) à la Maison de l’archéologie et de l’ethnologie René Ginouvès
21, allée de l’Université, Paris 10-Nanterre

Coordonnées complètes et accès : http://www.mae.u-paris10.fr/usr3225/Adresse-et-acces,17.html

Au programme :

  • 1 conférence sur RIBAC : caractérisation des activités de recherche en SHS : objectifs et contenu, ajustement objectif/contenu. Par Isabelle Sidéra (CNRS) UMR 7055 Préhistoire et technologie, conceptrice de l’outil RIBAC (Recueil d’Informations pour un oBservatoire des Activités des Chercheurs en SHS), que le CNRS a mis en œuvre en 2009 pour les chercheurs SHS.
  • 1 conférence sur le rapport de l’AERES : objectifs et contenus, ajustement objectif/contenu. Par Gilles Tarabout (CNRS) UMR 7186 Laboratoire d’Ethnologie et de Sociologie Comparative.

Vous voudrez bien, le cas échéant, vous inscrire sur le site de l’URFIST, formalité gratuite mais indispensable, sous l’URL :
http://urfist.enc.sorbonne.fr/sygefor/journee/38

Par ailleurs, le prochain stage « Modèles, outils et méthodes de la Bibliométrie » de l’URFIST de Paris aura lieu les 24 et 25 octobre 2011 (journée du 24 + matinée du 25)
Inscription sous : http://urfist.enc.sorbonne.fr/sygefor/stage/196

Identification codifiée des chercheurs : l’évolution du projet ORCID

Parmi les problèmes rencontrés lors des opérations visant à caractériser et évaluer les unités de recherche, celui de l’identification des chercheurs est, on le sait, de première importance.
Thomson-Reuters avait déjà pris l’initiative de créer le Researcher-ID. Depuis peu, un consortium étendu, dénommé ORCID (Open Researchers and Contributor ID), prend le relais. ORCID réunit des partenaires publics et privés. Son “Board of Directors” est composé des entités suivantes : Wellcome Trust, Wiley-Blackwell, OCLC, le CERN, Nature Pub. Grp, Elsevier, Nat. Inst. Informatics (Japon), Harvard, Fac. Méd. Hanovre, Thomson, CrossRef, ACM, MIT et Cornell.
Amanda Regolini, responsable des indicateurs bibliométriques au Cemagref, nous a fait part des avancées du projet ORCID, présentées au CERN à Genève le 16 septembre. Chercheurs et publishers ont coopéré ce jour-là de manière particulièrement efficace afin d’élargir et d’ouvrir au mieux la démarche initiée par un prestataire privé dans le cadre d’une base de données propriétaire (le WoS).
Les présentations correspondantes sont visibles sur le site ORCID.
Cette expérience, qui en est encore au stade prototypique,  récupère les profils d’auteurs  de Thomson Reuters, REPEC, Scopus, Scholar Universe et CrossRef.
D’après Thomson, plus de 3400 chercheurs français ont maintenant un ID. La France serait, au niveau de ces immatriculations Researcher-ID, le 2ème pays européen le mieux renseigné après l’UK.
Qui va payer ? D’abord la technologie est concédée (provided) par Thomson. Le processus s’exécutera en différentes étapes. En premier lieu, ce sont les éditeurs qui financeront, car ils sont les premiers intéressés. En effet, ce processus d’identification facilite leur tâche dans le cadre de la soumission d’articles. Et normalement, dans deux ans, ce seront les Universités et les Organismes de recherche dans leur ensemble qui devront « contribuer ».
Voir en complément le billet de Pascal Aventurier, daté du 19 septembre 2011.

ESSS 2011 : présentations disponibles

Les présentations très denses et riches des communicants de l’École d’été européenne de Scientométrie qui s’est tenue à Vienne du 11 au 13 septembre, sont enfin disponibles. Elles sont à la fois le reflet d’une actualité très évolutive dans le domaine de la bibliométrie et une évocation raisonnée des fondements de cette discipline. Elles proposent notamment de multiples liens, tant vers des documents théoriques contemporains que vers les sources “historiques” dont le rappel est loin d’être inutile.