Lorsque des chercheurs veulent répondre à une question, ceux-ci peuvent utiliser une approche connue sous le nom de revue systématique, qui a pour objectif d'examiner toutes les études ayant été réalisées dans un domaine d'intérêt particulier. Durant l'examen et la synthèse de la littérature scientifique, il est attendu que les chercheurs déterminent quelles études ont été bien menées (c'est-à-dire lesquelles sont de haute qualité) et quelles études n'ont pas bien été menées. Nous ne savons pas encore suffisamment bien comment les chercheurs devraient mener les évaluations visant à déterminer si les études étaient de haute qualité. Cet aspect est important parce que si les chercheurs sont conscients de certaines caractéristiques des études (par ex. le journal dans lequel l'étude a été publiée), ceux-ci pourraient involontairement évaluer les études d'une certaine manière. Par exemple, si les évaluateurs connaissent l'auteur d'une étude, ceux-ci pourraient être plus susceptibles de présumer qu'elle est de « haute qualité ». Notre recherche examine si cacher aux chercheurs les caractéristiques des études (la "mise en aveugle" des chercheurs) mène à des différences lorsque l'objectif est de résumer la littérature scientifique. Nous n'avons trouvé que quelques études ayant rapporté des données pertinentes pour cette question. Les résultats de ces études étaient contradictoires. Néanmoins ceux-ci suggèrent que cacher aux chercheurs les caractéristiques des études durant l'évaluation de la qualité au cours de la réalisation d'une revue systématique pourrait ne pas avoir d'impact.
Notre revue met en évidence qu'il existe des incohérences entre les études examinant les évaluations du risque de biais avec ou sans mise en aveugle au niveau des revues systématiques. La meilleure approche pour l'évaluation du risque de biais reste incertaine. Néanmoins, compte tenu du temps supplémentaire et des ressources nécessaires pour masquer efficacement les rapports, il n'est pas forcément nécessaire que les évaluations du risque de biais soient réalisées en aveugle dans les revues systématiques.
L'importance de l'évaluation du risque de biais des études incluses dans les revues systématiques est bien établie. Cependant, il subsiste des incertitudes concernant la méthode la plus appropriée pour mener les évaluations du risque de biais. En particulier, il n'existe aucun résumé des preuves concernant la mise en aveugle des chercheurs (c'est-à-dire lorsque l'évaluateur ignore le nom des auteurs de l'étude, leurs institutions, les sources de parrainage, le journal, etc.) par rapport à l'absence de mise en aveugle lors des évaluations du risque de biais dans les revues systématiques.
Déterminer si les évaluations en aveugle ou sans mise en aveugle du risque de biais dans les revues systématiques mènent à des évaluations systématiquement différentes.
Nous avons effectué des recherches dans MEDLINE (de 1966 à la 4ème semaine de septembre 2009), CINAHL (de 1982 à la 3ème semaine de mai 2008), dans toutes les bases EBM Reviews (de leurs dates de création jusqu'au 6 octobre 2009), sur EMBASE (de 1980 à la 40ème semaine de 2009) et HealthStar (de 1966 à la 4ème semaine de septembre 2009) (toujours au travers de l'interface Ovid). Nous n'avons appliqué aucune restriction concernant la langue de publication, le statut de publication ou la conception des études. Nous avons examiné les références bibliographiques des études incluses et contacté des experts pour identifier de la littérature potentiellement pertinente.
Nous avons inclus les études ayant examiné les évaluations en aveugle ou sans mise en aveugle du risque de biais des études incluses dans une revue systématique.
Nous avons extrait des informations de chacune des études incluses à l'aide d'un formulaire prédéfini contenant 16 rubriques. Nous avons résumé le degré de consensus entre les évaluations en aveugle ou sans mise en aveugle du risque de biais de manière descriptive. Nous avons calculé la différence moyenne standardisée lorsque cela était possible.
Nous avons inclus six essais contrôlés randomisés (ECR). Quatre études présentaient un risque de biais incertain et deux études présentaient un risque de biais élevé. Les résultats de ces ECR n'étaient pas cohérents ; deux essais ont mis en évidence une absence de différences entre les évaluations avec et sans mise en aveugle, deux essais ont constaté que les évaluations en aveugle ont mené à des scores de qualité significativement plus faibles, et un autre essai a observé des scores de qualité significativement plus élevés lors des évaluations en aveugle. La dernière étude n'a pas rapporté le niveau de signification. Nous avons regroupé cinq études rendant compte de suffisamment d'informations dans une méta-analyse. Nous n'avons observé aucune différence statistiquement significative au niveau des évaluations du risque de biais entre les évaluations en aveugle ou sans mise en aveugle (différence moyenne standardisée de -0,13, intervalle de confiance à 95 % -0,42 à 0,16). La différence moyenne pourrait être quelque peu inexacte, car nous n'avons pas ajusté l'analyse pour prendre en compte la conception en grappes dans notre méta-analyse. Nous avons observé des incohérences durant les analyses visuelles des résultats et nous avons noté une hétérogénéité statistique à ce niveau.
Traduction réalisée par Martin Vuillème