Navigation – Plan du site
Dossier

Rendre publique l’évaluation des SHS : les controverses sur les listes de revues de l’AERES

David Pontille et Didier Torny
p. 11-24

Résumés

Cet article étudie la trajectoire d’un outil d’évaluation dédié aux sciences humaines et sociales : la liste des revues scientifiques publiée en juillet 2008 par l’AERES. Il insiste sur les filiations de cet outil avec les pratiques d’évaluation antérieures, rappelle l’intense activité critique que sa publication a suscitée, et examine les arrangements sociotechniques ayant permis d’élaborer un compromis autour d’un périmètre de scientificité. Loin des discours convenus sur les pressions managériales restreignant l’autonomie des chercheurs, cet article analyse la liste des revues comme un puissant révélateur des conventions disciplinaires et des tensions historiques et épistémiques singulières qui traversent les domaines relevant des SHS.

Haut de page

Texte intégral

Nous remercions Séverine Louvel et les évaluateurs anonymes de Quaderni pour leurs commentaires sur une version antérieure de ce texte qui ont permis d’en expliciter plusieurs aspects

1Le 18 avril 2006, la loi d’orientation de la recherche instituait l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES), destinée à évaluer des laboratoires, des institutions de recherche, et des formations universitaires. Parmi les trois ensembles disciplinaires distingués par l’AERES (« sciences dures », « sciences du vivant », et « sciences humaines et sociales »), le dernier faisait l’objet d’un traitement particulier : l’Agence souhaitait développer des instruments spécifiques, considérant que la bibliométrie est « peu adaptée à la production académique française en SHS ». Le 28 juillet 2008, l’Agence rendait publique sur son site web une liste de 6 305 revues, présentée comme « la liste des revues scientifiques du domaine des sciences humaines et sociales ». Cet outil est devenu en 2009 l’un des points focaux des polémiques sur l’évaluation de la recherche en France. Alors que la liste de revues a été conçue comme une aide à la décision des comités de visite chargés d’évaluer les laboratoires et d’identifier le taux de « publiants », elle a été massivement reçue comme un outil orienté vers l’évaluation des individus.

2Prenant appui sur une approche pragmatique, attentive aussi bien aux ressources et arguments mobilisés par les acteurs lors de controverses qu’à leur mémoire et capacités d’anticipation (Chateauraynaud & Torny 1999 ; Dodier 2003), nous montrerons comment la promulgation de cet outil rend visible de très fortes disparités disciplinaires dans la capacité à s’accorder sur un instrument d’évaluation ajusté. Cet article s’inscrit dans une recherche plus vaste sur les classements de revues en SHS : après avoir adopté une perspective diachronique centrée sur l’économie et la gestion (Pontille & Torny, 2010b), puis développé une analyse synchronique à l’échelle internationale (Pontille & Torny, 2010a), nous analyserons ici les effets produits sur les acteurs du monde scientifique par le fait de rendre publique une liste de revues en tant qu’outil d’évaluation.

3De ce point de vue, le cas de l’AERES est exemplaire. Contre la vision d’un instrument managérial fabriqué ex nihilo et imposé « de l’extérieur », nous insisterons sur les filiations de cet outil avec les pratiques d’évaluation antérieures. Sa visibilité inédite s’est accompagnée d’une contrainte de justification (Boltanski & Thevenot 1991) sur ses conditions de production et sur les critères de jugement qu’il porte. Elle a également suscité une intense activité critique, assortie de mobilisations et de prises de positions argumentées. C’est en particulier des acteurs considérés comme simples intermédiaires, les revues, qui se sont révélés porteurs d’une puissance d’expression propre, revendiquant leur statut de véritable médiateur du monde scientifique (Latour 2005). Enfin, le fait de rendre publiques des listes de revues s’est traduit dans de nouveaux arrangements visant à fonder un accord, certes fragile, mais permettant de fédérer les revues autour d’un « périmètre de scientificité ». Cette trajectoire de l’outil de l’AERES éclaire à nouveaux frais les tensions historiques et épistémiques qui travaillent l’évaluation de la recherche en SHS, en échappant aux discours récurrents sur les pressions managériales restreignant l’autonomie des chercheurs.

4Notre analyse se fonde sur plusieurs corpus de textes : les différentes versions des listes de revues publiées entre juillet 2008 et février 2011, les documents produits par l’AERES les accompagnant ou les justifiant, ainsi que les réactions des chercheurs, des sociétés savantes et des revues (éditos, pétitions, points de vue, articles scientifiques,…). Elle se base également sur des entretiens complémentaires, réalisés avec les coordinateurs SHS successifs de l’AERES, ainsi qu’avec certains délégués scientifiques chargés d’émettre des avis au nom des domaines disciplinaires qu’ils représentent.

Des outils anciens, une visibilité inédite

5La liste des revues publiée par l’AERES a été considérée par ses critiques comme un instrument nouveau, aussi inadapté qu’inutile. C’est pourtant son caractère public et officiel qui en fait la véritable nouveauté, puisqu’elle s’appuie sur des dispositifs, des institutions, et des conventions disciplinaires préexistants.

La montée en puissance des classements de revues

6Face au débat récurent sur les limites de l’évaluation directe par les pairs d’un côté (Campanario 1998 ; Lamont 2009) et celles des indices bibliométriques et scientométriques(Hicks 1999 ; Katz 1999) de l’autre, des listes et des classements de revues ont progressivement émergé en tant qu’outil ajusté à l’évaluation des productions en SHS – même si les livres demeurent une forme reconnue de publication significative. Aujourd’hui, les classements de revues se développent à l’échelle internationale et font pleinement partie du paysage de l’évaluation en SHS (Pontille & Torny 2010a). Ils servent aussi bien à hiérarchiser les formations doctorales (Hix 2004), qu’à gérer la carrière et la promotion des chercheurs (Hogler & Gross 2009), ou encore à moduler l’allocation des financements.

7Dans le cas français, les commissions formées pour produire la liste des revues de l’AERES ont notamment mobilisé deux classements préexistants. Le premier était celui produit par l’European Science Foundation (ESF) qui s’était lancée dès octobre 2000 dans la production d’un index de citation (Kiefer et al. 2004), puis avait missionné ses organisations membres, dont le département des SHS du CNRS en France, pour fournir des listes de revues préparant l’European Research Index in Humanities (ERIH). Ce long processus aboutissait à la publication, sur le site de l’ESF entre 2007 et 2008, de listes de revues hiérarchisées en trois catégories (A, B, C) pour quatorze domaines relevant des « humanités ».

  • 1 Département SHS du CNRS, 2004, Les revues en sciences humaines et sociales, Lettre du département, (...)

8Le second était le classement publié par le département des SHS du CNRS en 2004, résultat d’une grande enquête sur les périodiques1 orientée vers un double objectif : estimer la présence française dans le paysage international des revues en sciences humaines et sociales, et développer une politique de l’édition scientifique jugée plus efficace. Ce classement, découpé en dix-huit disciplines de SHS, a notamment permis de faire un tri entre les revues françaises que le CNRS continuait de soutenir financièrement pour leur publication papier, et celles qu’il encourageait à ne paraître que sous forme électronique.

9Le CNRS a donc été une ressource essentielle pour élaborer la liste de revues, mais également pour ses formes d’évaluation des chercheurs, au même titre que d’autres institutions dont les fonctions ont été reprises par l’AERES.

La présence des institutions historiques dans l’évaluation des publiants

  • 2 La première mouture date du 20.12.2007 (http:// www.ahcesr.fr/images/_liens/08.criteres_aeres_ publ (...)
  • 3 MSTP, « Critères d’identification des chercheurs et enseignants-chercheurs publiants », 18.07.2007.

10En décembre 2007, l’AERES publiait les « critères d’identification des chercheurs et enseignants-chercheurs “publiants” »2. Sont qualifiés comme tels les personnels scientifiques ayant signé au cours des quatre dernières années un nombre minimal de « publications de rang A ». Loin d’être une nouveauté, cette notion de publiant est un héritage direct des pratiques de la Mission Scientifique Technique et Pédagogique (MSTP) du Ministère de l’Enseignement Supérieur et du CNRS qui s’appuyait déjà, pour évaluer les collectifs, sur une mesure individuelle agrégée. En effet, la MSTP qualifiait les enseignants-chercheurs et chercheurs d’« actifs » ou de « productifs » en fonction de leur volume de publications. Ainsi, pour les « sciences humaines et humanités », des critères quantitatifs étaient déjà présents, alors qu’en « sciences sociales », le critère n’était pas explicitement quantitatif. De plus, le terme de publiant avait été introduit à la MSTP parce que « non-publiant » était considéré comme moins stigmatisant qu’« inactif » ou « non-productif »3.

  • 4 Compte rendu de la réunion « Indicateurs et critères d’évaluation en sciences humaines et sociales  (...)

11Parallèlement, le département SHS du CNRS construisait, pour évaluer ses UMR, sa propre « caractérisation des chercheurs publiants et non-publiants » à partir d’indices quantitatifs : -trois articles (parus ou acceptés pour publication)dans des revues qualifiées de représentatives de la discipline ou dans des actes de colloques internationaux à comité de lecture publiés, ou -trois chapitres dans des ouvrages de recherche, ou -trois ouvrages de synthèses, ou -un ouvrage de recherche, ou -trois directions d’ouvrage ou de numéros thématiques de revue4.

12Les revues jugées « représentatives » étaient définies à partir des listes décrites plus haut et le CNRS envisageait même de constituer des listes d’éditeurs de référence pour les ouvrages.

  • 5 Extrait d’un courriel de la première coordinatrice SHS de l’AERES aux délégués scientifiques, 21.04 (...)

13Le document de l’AERES et la demande faite aux comités de visite de dénombrer les « publiants » d’un laboratoire ne faisaient donc que rendre publiques des pratiques déjà existantes, mais largement internes aux institutions. Ce travail antérieur a été d’autant plus repris que nombre des premiers délégués scientifiques de l’AERES étaient passés par la MSTP, et que la première coordinatrice SHS de l’AERES a souhaité impliquer des membres des instances préexistantes de l’évaluation de la recherche pour fabriquer la liste des revues. « Je vous propose d’organiser dès à présent le calendrier de ces réunions (…), car nous devons y inviter pour chacune une dizaine de personnes (dont nécessairement le ou les DSA du CNRS, des représentants du CNU et du Comité National, et quelques présidents de comité de visite) »5.

14La liste de revues de l’AERES émane donc, tout comme son usage dans le calcul des publiants, d’un engagement des membres et collectifs d’instances historiques de l’évaluation de la recherche. Mais ces membres ont également transporté avec eux des conceptions disciplinaires de la qualité des revues.

La prégnance des héritages disciplinaires

  • 6 AERES, liste « Psychologie-éthologie-Ergonomie », 28.07.2008. Comme l’ensemble des argumentaires ac (...)

15Si l’AERES a publié une liste unique, celle-ci renvoyait à des classifications par domaine qui ont fait émerger divers enjeux et tensions disciplinaires. Dans certains domaines, les modalités de production de la liste des revues étaient explicitées et s’appuyaient sur des critères en vigueur et collectivement partagés. C’était le cas en « Psychologie-éthologie-Ergonomie », où l’argumentaire accompagnant la liste était non seulement le seul mentionnant le nom des classificateurs, mais détaillait également la procédure et les sources mobilisées pour l’élaborer : -les revues listées par l’American Psychological Association (environ 2 300 titres), -celles indexées par l’ERIH dans la catégorie psychologie, -celles indexées par l’ISI Journal Citation Reports Social Sciences dans les sous-catégories psychologie ou ergonomie, -celles référencées dans la base de données PsychINFO6. Identifiée comme une « science humaine et sociale » par l’AERES, et relevant des « humanités » pour l’ERIH, la psychologie est aussi rattachée à la section 27 du CNRS, « comportement, cognition, cerveau », aujourd’hui intégrée à l’Institut des sciences biologiques. Cet ancrage marque l’alignement sur des critères d’évaluation internationalement reconnus en sciences biomédicales où le facteur d’impact des revues constitue l’étalon principal.

16De même, en économie-Gestion, les chercheurs et enseignants-chercheurs étaient coutumiers des classements en tout genre. À partir de 2003, ils disposaient d’une catégorisation de revues produite par la section 37 du CNRS, régulièrement mise à jour. Au moment où l’AERES publiait sa liste, les économistes et gestionnaires utilisaient donc ce type d’outil depuis plusieurs années (Pontille & Torny 2010b). Le court argumentaire qui accompagnait la liste « économie-Gestion » en 2008 éclairait sa construction et insistait sur sa filiation directe avec celle élaborée par la section 37 du CNRS :

  • 7 AERES, liste « économie-Gestion », 28.07.2008. Encore disponible ici : http://prism.univ-paris1.fr/ (...)

« La liste actuelle des revues à comité de lecture de l’AERES est, après concertation avec plusieurs instances, celle proposée par le comité national de la recherche scientifique (section 37). Cette liste sera évolutive dans le temps et révisée en coordination avec les instances d’évaluation d’économie et de gestion des personnels des établissements supérieurs et/ou de recherche (par exemple, CNRS, INRA, CNU) »7.

17De nombreux économistes et gestionnaires ont non seulement jugé cette reprise légitime, mais ils l’ont considérée comme une victoire épistémique contre un éventuel outil alternatif imposé par un acteur extérieur à leur communauté.

18Ainsi, dans certaines disciplines, les listes étaient le résultat d’un engagement direct de plusieurs acteurs institutionnels de la recherche française qui ont mobilisé des classements de revues préexistants au plan national ou international, qu’ils considéraient comme ajustés et représentatifs des hiérarchies scientifiques de leur discipline.

Les voies de la critique

19A contrario, dans d’autres disciplines, la constitution d’une liste de revues n’était pas jugée adaptée par les instances considérées comme représentatives. Ce mouvement de refus argumenté, d’abord antérieur à la publication de la liste AERES, s’est ensuite étendu à d’autres disciplines après juillet 2008, en particulier porté par le pivot de l’évaluation, les revues scientifiques.

Refus préalables et critiques ex-post

  • 8 « Compte rendu de la réunion organisée par l’AERES le 18 juin 2008 », Bulletin de la société des an (...)
  • 9 Motion de la section 35 du CNRS adoptée à l’unanimité en juillet 2008.

20Les représentants des domaines spécialisés en langues et littératures étrangères se sont fortement opposés à l’élaboration d’un quelconque classement de revues, plusieurs associations professionnelles revendiquant, dès le début du processus, la supériorité de « la lecture d’un certain nombre de publications pour en vérifier la qualité »8 sur toute autre forme d’évaluation. De même, la section 35 du CNRS (Philosophie, histoire de la pensée, sciences des textes, théorie et histoire des littératures et des arts) disqualifiait tout classement de supports passé, présent et à venir9. Prenant acte de ce refus, les délégués scientifiques pour ces disciplines ont décidé de ne produire aucune liste de revues pour le domaine « Arts, Lettres, Langues et Sociétés des Cultures étrangères », reportant la discussion à l’année suivante. En effet, si la liste AERES supposait la participation en amont des instances représentatives du monde de la recherche, elle était également conçue comme un dispositif provisoire, ouvert au débat dans le cadre de forums de discussion disciplinaire.

  • 10 « Pour le retrait complet et définitif de la “liste des revues” de l’AERES », 02.10.2008 (http://ww (...)

21Or, dès septembre, des chercheurs mettaient en ligne des prises de positions individuelles radicalement opposées à cet instrument d’évaluation. Puis une pétition apparaissait début octobre, demandant le retrait complet et définitif de la « liste des revues » de l’AERES, signée par plus de 3 000 personnes. Elle critiquait le caractère flou des critères retenus, notant leurs expressions distinctes dans les argumentaires de chaque discipline : « l’on ne sait s’il s’agit de mesurer “l’étendue du rayonnement des revues” (présentation générale), leur “haut niveau” (critère retenu en sociologie) ou leur “facteur impact élevé” (notion alléguée en psychologie) »10. Elle soulignait également l’opacité des listes, les noms des producteurs n’étant pas publics. Enfin, elle s’inquiétait des effets provoqués par l’usage de ces classements, en particulier sur les revues qui y sont marginalisées (catégorie C ou absentes).

  • 11 Voir les nombreuses contributions publiées sur : http://evaluation.hypotheses.org.

22Les forums de discussion annoncés par l’AERES n’ont jamais été mis en place et les débats autour de la liste de revues ont pris un tour extrêmement critique. En effet, si quelques délégués scientifiques ont défendu l’intérêt de l’instrument, les classificateurs anonymes l’ayant fabriqué sont demeurés muets. Seuls des professionnels opposés à la liste se sont exprimés publiquement, que ce soit pour prendre position contre la culture de l’évaluation en général, ou pour déployer des critiques outillées de l’instrument et de ses modalités de fabrication11. Entre des institutions qui ont largement bâti cet outil et des scientifiques qui le refusent, ce mouvement critique a aussi fait surgir un nouvel acteur collectif : les revues elles-mêmes. Alors qu’elles étaient jusque-là considérées comme de simples objets inertes à classer, elles sont devenues un acteur majeur de l’évaluation.

Le soulèvement des revues

  • 12 Voir les dossiers de la Revue d’Histoire Moderne et Contemporaine (« La fièvre de l’évaluation », n (...)

23L’action critique des revues a pris trois formes distinctes. Premièrement, elles ont publié des travaux portant spécifiquement sur les classements de revues ou, de manière plus générale, sur l’évaluation12. Deuxièmement, elles ont produit des éditoriaux déployant différentes critiques de l’AERES et de ses listes, et surtout explicité le rôle qu’elles se donnent et les valeurs qu’elles défendent.

  • 13 Sciences Sociales et Santé, « À propos de l’évaluation de l’AERES », vol. 27, n° 2, 2009.

« Être membre d’un comité de rédaction c’est d’abord faire des choix intellectuels, c’est promouvoir des orientations scientifiques et pour cela faire un véritable travail d’évaluation sur le fond à partir d’une lecture attentive des articles et en s’appuyant sur des avis de pairs extérieurs au Comité de rédaction. (…) Les revues doivent défendre leur conception de la recherche tout en offrant les meilleures garanties d’ouverture et de scientificité et en se donnant les moyens d’une évaluation qualitative digne de ce nom sous peine de disparaître »13.

24Cette production éditoriale mettait en scène les revues comme des espaces de travail, régis à la fois par une ligne éditoriale, des options intellectuelles singulières et des procédures garantes d’une grande qualité scientifique. Réduire les revues à une collection d’articles à décompter ferait disparaître ce travail et modifierait radicalement le sens qui lui est attribué par les membres des comités de rédaction.

25Troisièmement, à la manière des revues d’histoire des sciences britanniques mobilisées contre le classement de l’ERIH (Pontille & Torny, 2010a), les revues françaises ont cherché à s’organiser collectivement, sur une base disciplinaire ou pour l’ensemble des SHS, des revues lésées dans les domaines plutôt acquis au classement leur emboîtant le pas (notamment en gestion). Ainsi, en février 2009, 31 revues – relevant principalement de l’histoire, la sociologie, la gestion, l’anthropologie, et les sciences de l’éducation – ont signé un texte intitulé « Les revues prises dans le piège de l’évaluation » qui dénonçait l’instrumentalisation de la connaissance par un management de la recherche aveugle aux enjeux scientifiques défendus par les revues :

  • 14 http://philosophie.blogs.liberation.fr/noudelmann/2009/03/les-revues-pris.html

« Qu’elles soient spécialisées, généralistes, ou interdisciplinaires, leur objectif est d’informer la communauté scientifique, de transmettre de nouveaux programmes de recherche, de poser des problèmes, de discuter des méthodes, de stimuler les interprétations, et non de récompenser ou sanctionner les individus »14.

26Les actions critiques déployées par les revues dessinaient donc un monde clivé. Alors que la liste proposée par l’AERES les mobilisait comme signe de qualité, les revues appelaient ouvertement à la boycotter, voire à la supprimer. Dans ce climat conflictuel, ce sont des modifications de l’outil d’évaluation lui-même qui ont permis de fonder un compromis.

Un périmètre de scientificité pour les SHS ?

27Face à l’ampleur de cette polémique, le nouveau coordinateur SHS de l’AERES, fraîchement nommé, a accepté en octobre 2008 le principe de listes de revues sans hiérarchisation interne.

28Profitant de la première grande réunion de revues mobilisées contre l’outil le 4 décembre 2008, où il était invité comme rédacteur en chef d’une revue d’histoire, il a présenté cette solution comme un « périmètre de scientificité » dont les contours seraient définis par chaque domaine scientifique.

  • 15 « Compte-rendu de la réunion des revues du 4 décembre 2008 » rédigé et rendu public par E. Picard.

29Même si de nombreuses questions demeuraient aux yeux des revues (critères d’inclusion, de révision), elles ont réagi positivement15. Cette proposition est importante à un double titre. D’une part, elle souligne le fait que l’outil de l’AERES n’émane pas de « managers » extérieurs au monde de la recherche, mais de collègues qui assument provisoirement des fonctions d’administration de la recherche. D’autre part, elle permet de mesurer l’effet des critiques et d’observer comment celles-ci ont contribué à modifier sensiblement l’outil, les listes révisées étant parues entre mars 2009 et février 2011 sur le site de l’AERES.

Des listes un peu plus transparentes

  • 16 Le Conseil national des universités (CNU) se prononce sur les mesures relatives à la qualification, (...)

30Les listes révisées sont désormais disponibles indépendamment les unes des autres, mais tout en présentant une structure identique. Elles commencent par un argumentaire de l’AERES contenant quatre principaux points : le rappel de l’importance des livres qui, dans de nombreuses SHS, demeurent « la forme majeure de l’œuvre scientifique » ; la composition des commissions dont les membres sont soit issus d’instances nationales d’évaluation de la recherche (CNU, CoNRS), soit de l’IUF16, ou encore des personnalités qualifiées étrangères ; le caractère non contraignant des listes de revues ; et l’annonce d’une révision annuelle.

31La contribution des « commissions d’actualisation » suit, en commençant par la liste des membres (nom, appartenance institutionnelle). Elles présentent une grande variabilité, tant par le nombre des membres (de 5 à 18) que par les formes d’attribution institutionnelle. À titre d’exemple, voici comme apparaît le CNU, hors des présidents de section dont le titre est systématiquement accolé à leur personne :

  • Élisabeth Dumont, CNU,

  • Éric Berton, Université Aix-Marseille 2, Section 74 du CNU,

  • Jean-Jacques Boutaud, Université de Bourgogne, membre du CNU 71e section,

  • Pascal Duris, Université Bordeaux 1, vice-président section 72e section du CNU.

  • 17 Encore une fois, la psychologie fait exception puisque la 16e section de la CNU a délivré un mandat (...)
  • 18 Un délégué scientifique AERES, entretien réalisé le 28.12.2010.

32Le caractère représentatif des personnes reste ambigu : le lecteur ne sait pas vraiment si les membres sont listés en tant que représentant de leur institution d’origine, représentant du président ou intuitu personae17. Leur nomination même était parfois problématique dans un contexte de forte mobilisation contre les réformes de l’enseignement supérieur et de la recherche, certaines personnes se retrouvant en porte-à-faux : « Lorsque j’ai annoncé qu’il fallait publier le nom de ceux qui avaient participé dans la tradition de transparence de l’AERES, certains membres de la commission m’ont dit qu’ils ne souhaitaient pas que leur nom figure, étant donné qu’eux-mêmes étaient engagés dans Sauvons l’université, ou des trucs comme ça. Et donc ils ne voulaient pas que leur nom figure »18.

33Même sous contrainte de justifier le bien-fondé du processus de révision des listes, la composition des commissions n’est pas toujours complètement explicitée, le nom de certains membres demeurant absent. Il en est de même pour l’explicitation des « modalités d’élaboration de la liste », pleinement décrites dans 8 cas sur 15. En dépit de grandes variations, une tendance générale est manifeste : les conditions d’inclusion des revues dans les listes révisées se concentrent principalement sur leurs procédures :

  • Fonctionner avec un comité de rédaction composé de membres d’horizons diversifiés,

  • Avoir une procédure explicite d’évaluation scientifique des articles aboutissant à des rapports écrits,

    • 19 AERES, « Liste des revues pour le domaine Sociologie-Démographie », 24.06.2010.

    Afficher leur mode de fonctionnement, notamment sur le site internet de la revue (procédure de sélection des articles, fonctionnement et composition du comité de rédaction, etc.)19.

34Alors que le « rayonnement » était le critère discriminant affiché en 2008 pour justifier la catégorisation des revues en A, B, ou C, seules quatre listes révisées le conservent comme critère parmi d’autres (« Anthropologie-Ethnologie », « Géo-graphie-Aménagement-Urbanisme », « Histoire et Philosophie des sciences », et « STAPS »). Tout comme la « qualité » ou la « pertinence », il résiste difficilement à une pleine explicitation publique (Lamont 2009), contrairement aux critères procéduraux standardisés au plan international, mobilisables pour élaborer un périmètre des revues qui les respectent.

Petits arrangements entre un périmètre et des catégorisations

  • 20 AERES, « Liste des revues pour le domaine Psychologie-Éthologie-Ergonomie », 28.07.2008.

35Le principe d’un périmètre de scientificité ne fait cependant pas disparaître les héritages disciplinaires. La liste révisée « Psychologie-éthologie-Ergonomie » adapte le principe du périmètre à partir d’un cadre antérieur marqué par une forte hiérarchie. Tout en reconnaissant produire une liste, la commission pointe des différences : afin d’aider la communauté scientifique à situer ces revues les unes par rapport aux autres, il leur a été associé un critère descriptif, leur niveau d’impact exprimé en terme relatif et non pas absolu, lorsqu’un tel descripteur était disponible20.

36C’est ainsi qu’à côté de leur ISSN, les revues se voient attribuer un « descripteur d’impact », dérivé du facteur d’impact du Web of Science : impact non disponible (N/D), impact excellent, très bon, bon, assez bon, et modéré. Une très grande majorité de revues françaises n’étant pas dans la base Web of Science, leur descripteur est donc N/D. Reprenant des arguments développés dès septembre 2008 par la Société Française de Psychologie, elles critiquent ce choix et insistent sur la nécessité de maintenir des revues en langue française, particulièrement pour les professionnels. Après avoir signé un manifeste « Publier sans Périr » fin 2009, 52 revues forment « la Concertation des publications de psychologie en langue française » fin 2010.

37De même, la liste révisée « économie-Gestion » met en place un périmètre de scientificité par l’agrégation du contenu de trois classements (section 37 du CNRS, Econlit, Harzing), ce qui entraîne le triplement du nombre de revues considérées (de 686 à 2 052), et se traduit par l’abandon des principes relativement élitistes soutenus depuis 2003 (Pontille & Torny 2010b). Cette liste est clairement œcuménique, y compris dans ses conditions d’actualisation, puisque des « additifs » peuvent être apportés par les sections 05 et 06 du CNU, dont les représentants faisaient partie de la commission. Mais ce tournant n’est pas pour autant synonyme d’un renoncement complet à une hiérarchisation interne aux disciplines.

  • 21 AERES, « Liste des revues pour le domaine économie-Gestion », 16.06.2010.

« En ce qui concerne l’évaluation de la qualité scientifique et de la production des laboratoires (Critère 1 de l’évaluation des unités de recherche), la commission recommande de faire référence au classement des revues de la section 37 du CNRS le plus récent »21.

  • 22 Association Française d’Économie Politique, « Pour une nouvelle démarche d’évaluation des laboratoi (...)

38L’usage prescrit de la liste est strictement limité au dénombrement des « produisants en recherche et valorisation ». Suivant l’usage, il y a donc les revues qu’on compte et les revues qui comptent, une « liste périmètre » distincte d’une « catégorisation hiérarchisée ». Et ici aussi, des groupes minoritaires se manifestent contre ces formes de hiérarchisation et proposent d’autres modalités d’évaluation22.

  • 23 AERES, « Liste des revues pour le domaine Droit », 30.06.2010.
  • 24 AERES, « Liste des revues pour le domaine Arts », 30.10.2010.

39A contrario de ces ajustements jugés nécessaires pour des disciplines fondées sur une forte hiérarchie des revues, le périmètre de scientificité a permis la publication de nouvelles listes pour des ensembles disciplinaires qui n’en avaient pas. Ainsi pour le Droit, une liste de 711 « périodiques juridiques » est publiée, la transformation induite par l’introduction du périmètre étant clairement assumée par la commission : « [Cette liste] ne constitue toutefois pas un classement des revues et publications juridiques »23. De même, le domaine des Arts a produit une liste, « sans classement », pour cinq disciplines artistiques24. Le cas des Sciences de l’Information et de la Communication est encore plus frappant puisque c’est la 71e section du CNU qui a pris l’initiative de produire une liste de revues. Celle-ci, également utilisée par la section du CNU pour la procédure de qualification, a largement circulé avant sa publication officielle par l’AERES en octobre 2010.

40En insistant sur l’absence de hiérarchie interne et en rappelant le caractère révisable de l’outil, ces nouvelles listes-périmètres ne suscitent plus que quelques critiques isolées.

  • 25 Il s’agit même parfois clairement d’un copier-coller comme dans le cas « Géographie-Aménagement-Urb (...)
  • 26 Par exemple, la liste « Sociologie-Démographie » a inclus cinq nouveaux titres pour atteindre un to (...)
  • 27 À l’automne 2011, l’AERES s’est engagée dans un processus de remise à plat des critères de producti (...)

41À partir de l’été 2010, l’AERES a publié une troisième génération des listes de revues. La comparaison systématique de ces listes avec celles qui les ont précédées montre une très grande stabilité : la composition des commissions est quasiment identique, l’argumentaire n’est pas ou peu modifié25, la liste des revues évolue très marginalement26. L’instrument du périmètre de scientificité semble donc être stabilisé, tant dans sa forme que dans son contenu. Au-delà des listes disciplinaires, il ne resterait plus à l’AERES qu’à produire à nouveau une seule liste de revues, non hiérarchisée et beaucoup plus longue que celle de 2008, pour achever ce processus de transformation de l’outil27.

Conclusion : une mise à l’épreuve des conventions professionnelles

42La liste des revues de l’AERES est le seul élément du dispositif d’évaluation des unités qui s’appuie sur un calcul partageable par tous, celui des publiants. C’est pourquoi elle a fait l’objet d’une action critique intense, et que sa publication officielle a produit plusieurs effets concrets, et notamment fait surgir des ruptures singulières au domaine des SHS.

43Le premier effet est la mise au jour de traditions d’évaluation très différentes au sein des SHS, et parfois à l’intérieur même d’un même ensemble disciplinaire. En amont de la définition de publiant, une discussion avait eu lieu en 2007 entre les délégués scientifiques de l’AERES sur la prise en compte des ouvrages dans le calcul des « publiants ». Même si la très grande majorité y était favorable, certains demandant même qu’un ouvrage compte pour plusieurs articles, une minorité s’y opposait, considérant qu’il ne s’agissait généralement pas de productions scientifiques dans leur discipline. Les débats autour des revues, de la place relative des supports francophones et anglophones, de l’existence de hiérarchies partagées entre supports ont également souligné ces grandes différences. Loin d’être une évidence partagée, la définition de ce qu’est une « véritable » production et celle de sa qualité circonscrivent des domaines de validité singuliers à l’intérieur des SHS.

44Le deuxième effet est la reconnaissance des revues comme acteur de l’évaluation et la focalisation des critères de sélection sur les procédures plutôt que sur des mesures d’audience ou de rayonnement. Les commissions d’actualisation diffusent des standards professionnels, allant de la composition des comités aux formes d’évaluation par les pairs engagés. Dans cette logique, les listes constituent une forme de certification d’un processus de production scientifique, à la manière de l’audit pour les entreprises (Power 1997). Il faut néanmoins souligner que ces standards sont extrêmement variables d’une discipline à l’autre – il y a un monde entre les Cahiers du Jazz et l’American Economic Review – et surtout que les commissions n’effectuent pas de vérification ou de contrôle directs, mais s’appuient sur des éléments déclaratifs ou des listes/classements antérieurement constitués.

  • 28 « Ces listes ne constituent pas un cadre contraignant et l’appréciation de la qualité des travaux p (...)
  • 29 Deux délégués nous ont ainsi rapporté la création de « demi-publiants » dans les cas-limites, ce qu (...)

45Enfin, le troisième effet potentiel de la liste concerne très directement les changements de pratiques que son usage entraînerait. De ce point de vue, les observations partielles que nous avons faites tendent à confirmer ce que nous avons montré dans le cas de l’économie et de la gestion (Pontille & Torny 2010b). D’une part, l’usage de la liste par les comités de visite, tel que recommandé par l’AERES28, semble très variable aux dires de plusieurs délégués scientifiques. En pratique, 80 à 90 % des chercheurs et enseignants-chercheurs sont publiants, les « cas-limite » étant exceptionnels, et même dans ce cas, les membres du comité semblent préférer une évaluation ad hoc à l’usage de la liste de revues, en négociation avec le directeur des unités évaluées29. Mais, d’autre part, les individus et les laboratoires anticipent leur évaluation et présentent, sur leur site web ou leur CV, des bilans quantifiés « d’articles dans des revues AERES », éventuellement associés à leur qualité définie dans la liste de 2008 (A, B, C). De même, sur leur site web, nombre de revues n’hésitent pas à ériger leur position dans le classement en véritable label de qualité. Symétriquement, des témoignages de revues initialement classées C, recueillis au cours de notre enquête, soulignent des baisses de soumission qui sont interprétées comme une conséquence directe de leur classement. Parallèlement à l’activité critique dont nous avons montré l’importance, c’est dans ces effets d’alignement et d’anticipation, qu’ils soient vécus comme des contraintes ou comme un jeu stratégique (Sauder & Espeland 2009), que se situe la portée pragmatique de cette publicisation.

Haut de page

Bibliographie

BOLTANSKI L. et THÉVENOT L., De la justification. Les économies de la grandeur, Paris, Gallimard, 1991.

CAMPANARIO J.M., « Peer Review for Journals as it Stands Today – Part 1 », Science Communication, vol. 19, nº 3, 1998, pp. 181-211.

CHATEAURAYNAUD F. et TORNY D., Les Sombres précurseurs. Une sociologie pragmatique de l´alerte et du risque, Paris, éditions de l’EHESS, 1999.

DODIER N., Leçons politiques de l’épidémie de sida, Paris, éditions de l’EHESS, 2003.

HICKS D., « The Difficulty of Achieving Full Coverage of International Social Science Literature and theBibliometric Consequences », Scientometrics, vol. 44, 1999, pp. 193-215.

HIX S., « A Global Ranking of Political Science Departments », Political Studies, vol. 2, 2004, pp. 293-313.

HOGLER R. et GROSS M.A., « Journal Rankings and Academic Research : Two Discourses About the Quality of Faculty Work », Management Communication Quarterly, vol. 23, nº 1, 2009, pp. 107-126.

KATZ J.S., Bibliometric Indicators and the Social Sciences Brighton, E. Sussex (http://www.sus-sex.ac.uk/Users/sylvank/pubs/ESRC.pdf), 1999.

KIEFER F., MUSTAJOKI A., PEYRAUBE A. et VESTERGAARD E., « Building a European Citation Index in Humanities », Lettre du département SHS du CNRS, 2004, pp. 8-10. LAMONT M., How Professors Think : Inside the Curious World of Academic Judgment, Cambridge, Mass. ; London, Harvard University Press, 2009.

LATOUR B., Changer de société, refaire de la sociologie, Paris, La Découverte, 2006.

PONTILLE D. et TORNY D., « The Controversial Policies of Journal Ratings : Evaluating Social Sciences and Humanities », Research Evaluation, vol. 19, nº 5, 2010a, pp. 347-360.

PONTILLE D. et TORNY D., Revues qui comptent, revues qu’on compte : produire des classements en économie et gestion, Revue de la Régulation, nº 8, 2010b[En ligne] : http://regula-tion.revues.org/index8881.html.

POWER M.P., The Audit Society : Rituals of Verification, Oxford, Oxford Univeristy Press, 1997.

SAUDER M. et ESPELAND W.N., The Discipline of Rankings : Tight Coupling and Organizational Change, American Sociological Review, vol. 74, 2009, pp. 63-82.

Haut de page

Notes

1 Département SHS du CNRS, 2004, Les revues en sciences humaines et sociales, Lettre du département, n° 69.

2 La première mouture date du 20.12.2007 (http:// www.ahcesr.fr/images/_liens/08.criteres_aeres_ publiants.pdf). Depuis, plusieurs versions successives de ce document sont parues sans grandes modifications, à part le remplacement de la notion de publiant par celle de « produisant en recherche et valorisation » pour élargir les activités considérées. Cependant, plus de deux ans après l’introduction de cette nouvelle terminologie, la détermination des « produisants » est encore identique à celle des « publiants ».

3 MSTP, « Critères d’identification des chercheurs et enseignants-chercheurs publiants », 18.07.2007.

4 Compte rendu de la réunion « Indicateurs et critères d’évaluation en sciences humaines et sociales », 21.06.2007.

5 Extrait d’un courriel de la première coordinatrice SHS de l’AERES aux délégués scientifiques, 21.04.2008.

6 AERES, liste « Psychologie-éthologie-Ergonomie », 28.07.2008. Comme l’ensemble des argumentaires accompagnant la liste générale et les listes par domaines de 2008, ce document n’existe plus sur le site de l’AERES.

7 AERES, liste « économie-Gestion », 28.07.2008. Encore disponible ici : http://prism.univ-paris1.fr/New/ Docs/categorisation_revues_aeres.pdf.

8 « Compte rendu de la réunion organisée par l’AERES le 18 juin 2008 », Bulletin de la société des anglicistes de l’enseignement supérieur, n° 85, septembre 2008.

9 Motion de la section 35 du CNRS adoptée à l’unanimité en juillet 2008.

10 « Pour le retrait complet et définitif de la “liste des revues” de l’AERES », 02.10.2008 (http://www. appelrevues.org/).

11 Voir les nombreuses contributions publiées sur : http://evaluation.hypotheses.org.

12 Voir les dossiers de la Revue d’Histoire Moderne et Contemporaine (« La fièvre de l’évaluation », nº 4bis, 2008), et de Cités (« L’idéologie de l’évaluation », nº 37, 2009).

13 Sciences Sociales et Santé, « À propos de l’évaluation de l’AERES », vol. 27, n° 2, 2009.

14 http://philosophie.blogs.liberation.fr/noudelmann/2009/03/les-revues-pris.html

15 « Compte-rendu de la réunion des revues du 4 décembre 2008 » rédigé et rendu public par E. Picard.

16 Le Conseil national des universités (CNU) se prononce sur les mesures relatives à la qualification, au recrutement et à la carrière des enseignants-chercheurs de l’Université française. Le Comité national de la recherche scientifique(CoNRS) regroupe des instances composées d’experts nationaux et internationaux chargés de l’évaluation des chercheurs et l’analyse de la prospective des unités de recherche. L’Institut universitaire de France (IUF) a pour mission de favoriser le développement de la recherche universitaire de haut niveau et de renforcer l’interdisciplinarité.

17 Encore une fois, la psychologie fait exception puisque la 16e section de la CNU a délivré un mandat particulièrement clair pour son représentant à la commission en février 2009.

18 Un délégué scientifique AERES, entretien réalisé le 28.12.2010.

19 AERES, « Liste des revues pour le domaine Sociologie-Démographie », 24.06.2010.

20 AERES, « Liste des revues pour le domaine Psychologie-Éthologie-Ergonomie », 28.07.2008.

21 AERES, « Liste des revues pour le domaine économie-Gestion », 16.06.2010.

22 Association Française d’Économie Politique, « Pour une nouvelle démarche d’évaluation des laboratoires de recherche, des enseignants-chercheurs et des chercheurs en économie », 29.08.2011.

23 AERES, « Liste des revues pour le domaine Droit », 30.06.2010.

24 AERES, « Liste des revues pour le domaine Arts », 30.10.2010.

25 Il s’agit même parfois clairement d’un copier-coller comme dans le cas « Géographie-Aménagement-Urbanisme » qui annonçait en janvier 2010 que « le cas des revues professionnelles de haut niveau sera traité au cours de l’année 2010 ». Cette annonce est reprise dans le texte de décembre 2010, sans que ce travail annoncé semble avoir été réalisé.

26 Par exemple, la liste « Sociologie-Démographie » a inclus cinq nouveaux titres pour atteindre un total de 223 revues.

27 À l’automne 2011, l’AERES s’est engagée dans un processus de remise à plat des critères de production des listes de revues, processus que nous suivons en tant qu’observateurs.

28 « Ces listes ne constituent pas un cadre contraignant et l’appréciation de la qualité des travaux par les experts reste le critère primordial d’évaluation » indique le texte accompagnant les listes depuis fin 2009, http://www.aeres-evaluation.fr/Publications/Methodologie-de-l-evaluation/Listes-de-revues-SHS-sciences-humaines-et-sociales.

29 Deux délégués nous ont ainsi rapporté la création de « demi-publiants » dans les cas-limites, ce qui n’était pas gênant à leurs yeux, puisqu’ils devaient faire remonter un taux de publiants et non un nombre absolu.

Haut de page

Pour citer cet article

Référence papier

David Pontille et Didier Torny, « Rendre publique l’évaluation des SHS : les controverses sur les listes de revues de l’AERES  », Quaderni, 77 | 2012, 11-24.

Référence électronique

David Pontille et Didier Torny, « Rendre publique l’évaluation des SHS : les controverses sur les listes de revues de l’AERES  », Quaderni [En ligne], 77 | Hiver 2011-2012, mis en ligne le 05 janvier 2014, consulté le 22 août 2017. URL : http://quaderni.revues.org/542 ; DOI : 10.4000/quaderni.542

Haut de page

Auteurs

David Pontille

IIAC CNRS / EHESS

Didier Torny

INRA - RiTME (UR 1323)

Haut de page

Droits d’auteur

Tous droits réservés

Haut de page
  • Logo Fondation Maison des sciences de l’homme
  • Revues.org