Principaux messages
- La formation des examinateurs pourrait avoir peu ou pas d'effet sur la qualité de l'évaluation par les pairs.
- Des études plus vastes et bien planifiées sont nécessaires pour donner une meilleure estimation de l'effet.
Qu'est-ce qu'un examinateur ?
Un examinateur est une personne qui évalue le travail de recherche effectué par une autre personne. L’examinateur est généralement un chercheur possédant des compétences similaires à celles nécessaires pour mener la recherche qu'il évalue.
À quoi sert l'évaluation par les pairs ?
Les financeurs et les éditeurs de travaux de recherche ne sont pas toujours certains de la qualité d'un projet ou d'un rapport de recherche. Beaucoup font appel à des examinateurs pour évaluer la qualité d'un projet ou d'un rapport.
Comment améliorer la qualité de l'évaluation par les pairs par la formation des examinateurs ?
La formation des examinateurs pourrait leur permettre de mieux identifier les forces et les faiblesses de la recherche qu'ils évaluent.
Qu’avons-nous voulu découvrir ?
Nous voulions savoir si la formation des examinateurs augmentait la qualité de leur travail.
Comment avons-nous procédé ?
Nous avons recherché des études portant sur la formation des examinateurs par rapport à l'absence de formation, à différents types de formation ou aux pratiques habituelles des revues ou des financeurs. Nous avons extrait les informations et résumé les résultats de toutes les études pertinentes. Nous avons évalué notre confiance dans les données probantes en fonction de facteurs tels que les méthodes et la taille des études.
Qu’avons-nous trouvé ?
Nous avons trouvé 10 études portant sur un total de 1213 unités d'analyse (722 examinateurs et 491 manuscrits). Huit études incluaient uniquement les examinateurs de revues. Les deux études restantes comprenaient des examinateurs de subventions.
Résultats principaux
Les courriels rappelant aux examinateurs de vérifier les éléments des listes de contrôle des rapports, comparés aux pratiques habituelles des revues, ont probablement peu ou pas d'effet sur l'exhaustivité des rapports (données probantes issues de 2 études portant sur 421 manuscrits).
La formation des examinateurs, comparée à la pratique standard des revues, pourrait légèrement améliorer la capacité des examinateurs à détecter les erreurs (données probantes issues d'une étude portant sur 418 examinateurs). Les examinateurs ayant reçu une formation ont identifié 3,25 erreurs sur 9 en moyenne, tandis que les examinateurs n'ayant reçu aucune formation ont identifié 2,7 erreurs sur 9 en moyenne.
La formation des examinateurs, comparée aux pratiques habituelles des revues, pourrait avoir peu ou pas d'effet sur l'évaluation de la qualité des revues par les parties prenantes (données probantes issues de 6 études portant sur 616 examinateurs et 60 manuscrits).
Nous ne sommes pas certains de l'effet d'une vidéo de formation, comparé à l'absence de vidéo de formation, sur l'accord entre les revues (données probantes provenant d'une étude avec 75 examinateurs).
Un retour d'information individuel structuré sur la notation, comparé à des informations générales sur la notation, pourrait avoir peu ou pas d'effet sur l'évolution de l'accord entre les examinateurs (données probantes issues d'une étude portant sur 41 revues).
Quelles sont les limites des données probantes ?
Nous avons peu confiance dans la plupart des données probantes car la plupart des études manquaient d'informations importantes et n'incluaient que trop peu de examinateurs. En outre, il n'est pas certain que les études aient mesuré la qualité de l'évaluation par les pairs de manière valide et fiable.
Dans quelle mesure ces données probantes sont-elles à jour ?
Les données probantes sont à jour jusqu'en avril 2022.
Les données probantes issues de dix essais contrôlés randomisés suggèrent que la formation des examinateurs pourrait ne pas améliorer ou peu améliorer la qualité de l’évaluation par les pairs. Il est nécessaire de réaliser des études avec un plus grand nombre de participants et un éventail plus large de critères de jugement valides et fiables. Les études portant sur l'évaluation par les parties prenantes de la qualité de l’évaluation par les pairs doivent s'assurer que ces instruments présentent des niveaux de validité et de fiabilité suffisants.
Les financeurs et les revues scientifiques ont recours à l'évaluation par les pairs pour décider des projets à financer ou des articles à publier. La formation des examinateurs est une intervention visant à améliorer la qualité de l'évaluation par les pairs. Cependant, les études sur les effets de ces formations donnent des résultats contradictoires, et il n'existe pas de revues systématiques à jour traitant de cette question.
Évaluer l'effet de la formation des examinateurs sur la qualité de l'évaluation par les pairs des subventions et des publications.
Nous avons utilisé la stratégie de recherche standard et exhaustive de Cochrane. La dernière date de recherche était le 27 avril 2022.
Nous avons inclus des essais contrôlés randomisés (ECR ; y compris des ECR en grappes) qui évaluaient la révision par les pairs avec des interventions de formation par rapport aux processus habituels, à l'absence d'interventions de formation ou à d'autres interventions visant à améliorer la qualité de l’évaluation par les pairs.
Nous avons utilisé les méthodes standard de Cochrane. Nos critères de jugement principaux étaient 1. l'exhaustivité du rapport et 2. la détection des erreurs par l'évaluation par les pairs. Nos critères de jugement secondaires étaient 1. les scores bibliométriques, 2. l'évaluation par les parties prenantes de la qualité de l'évaluation par les pairs, 3. l'accord entre les examinateurs, 4. les critères de jugement centrés sur le processus, 5. la satisfaction des examinateurs, et 6. le taux de réalisation et la rapidité des projets financés. Nous avons utilisé la première version de l'outil Cochrane d'évaluation du risque de biais pour évaluer le risque de biais, et nous avons utilisé GRADE pour évaluer le niveau de confiance des données probantes.
Nous avons inclus 10 ECR avec un total de 1213 unités d'analyse. L'unité d'analyse était le examinateur individuel dans sept études (722 examinateurs au total), et le manuscrit révisé dans trois études (491 manuscrits au total).
Dans huit ECR, les participants étaient des examinateurs de journaux. Dans deux études, les participants étaient des examinateurs de subventions. Les interventions de formation peuvent être largement divisées en interventions basées sur le dialogue (atelier interactif, formation en face à face, mentorat) et en communication à sens unique (informations écrites, vidéo de formation, liste de contrôle, retour d'information écrit). La plupart des études étaient de petite taille.
Nous avons trouvé des données probantes d’un niveau de confiance modéré indiquant que les courriels rappelant aux examinateurs de vérifier les éléments des listes de contrôle des rapports, par rapport aux pratiques habituelles des revues, ont peu ou pas d'effet sur l'exhaustivité des rapports, mesurée comme la proportion d'éléments (de 0,00 à 1,00) qui ont été correctement rapportés (différence de moyennes (DM) de 0,02, intervalle de confiance (IC) à 95 % de -0,02 à 0,06 ; 2 essais contrôlés randomisés, 421 manuscrits).
Des données probantes d’un niveau de confiance faible indiquent que la formation des examinateurs, comparée à la pratique standard des revues, améliore légèrement la capacité des examinateurs à détecter les erreurs (DM 0,55, IC à 95 % 0,20 à 0,90 ; 1 ECR, 418 examinateurs).
Nous avons trouvé des données probantes d’un niveau de confiance faible indiquant que la formation des examinateurs, comparée aux pratiques habituelles des revues, a peu ou pas d'effet sur l’évaluation de la qualité des revues par les parties prenantes dans le cadre de l'évaluation par les pairs (différence de moyennes standardisée (DMS) 0,13 écart-type (ET), IC à 95 % -0,07 à 0,33 ; 1 ECR, 418 examinateurs), ou sur la différence de l'évaluation par les parties prenantes de la qualité des revues dans le cadre de l'évaluation par les pairs (DMS −0,15 ET, IC à 95 % −0,39 à 0,10; 5 ECR, 258 examinateurs).
Nous avons trouvé des données probantes d’un niveau de confiance très faible indiquant qu'une vidéo de formation, comparée à l'absence de vidéo de formation, a peu ou pas d'effet sur l'accord entre examinateurs lors de l'évaluation par les pairs des subventions (DM 0,14 points, IC à 95 % -0,07 à 0,35 ; 1 ECR, 75 revues).
Il existe des données probantes d’un niveau de confiance faible suggérant que le retour d'information individuel structuré sur la notation, comparé aux informations générales sur la notation, a peu ou pas d'effet sur l'évolution de l'accord entre examinateurs en matière de subventions (DM 0,18 points, IC à 95 % -0,14 à 0,50 ; 1 ECR, 41 examinateurs, données probantes d’un niveau de confiance faible).
Post-édition effectuée par Elisabeth de Sousa Maron et Cochrane France. Une erreur de traduction ou dans le texte d'origine ? Merci d'adresser vos commentaires à : traduction@cochrane.fr