Une revue systématique résume les preuves issues de plusieurs études pour répondre à une question de recherche spécifiques (par ex. quels sont les avantages et les inconvénients d'une intervention particulière pour un état de santé spécifique ?). Souvent, il existe de nombreux résultats que les auteurs des revues systématiques pourraient rapporter pour répondre à la question de recherche (par ex. la douleur, l'incapacité et la qualité de vie chez les personnes ayant des affections musculo-squelettiques) et de nombreuses mesures peuvent être disponibles pour un résultat particulier (par ex. une étude pourrait mesurer les douleurs à l'aide de trois échelles de mesure différentes à quatre points temporels). Si la décision concernant les résultats destinés à être étudiés dans une revue systématique est établie en se basant sur les mesures rapportées pour ces résultats dans les études éligibles, cela peut conduire à un biais. Tandis que si la décision concernant les mesures à rapporter dans une revue systématique et les méthodes pour les rapporter est basée sur les résultats, cela pourrait induire les utilisateurs de la revue systématique en erreur.
Cette revue méthodologique résume les résultats des études examinant l'inclusion de résultats et la notification des mesures de résultats dans les revues systématiques. Nous avons recherché des études indexées dans les bases de données bibliographiques électroniques jusqu'en mai 2013. Nous avons inclus sept études et nous avons trouvé que les mesures étudiées et rapportées dans les revues systématiques ont souvent été modifiées entre le plan d'étude et la revue systématique publiée. Nous avons également constaté qu'il était difficile de savoir si la décision d'effectuer ces modifications était liée à la crédibilité statistique de l'effet du traitement pour ce résultat. Des études supplémentaires sont nécessaires pour confirmer si ce lien existe. De plus, une étude a trouvé que certaines revues systématiques n'avaient pas rendu compte de tous les résultats les plus importants dans le résumé de la revue. Une autre étude a découvert que les résultats ayant des mesures statistiquement plus convaincantes étaient plus susceptibles d'être totalement rapportés dans le résumé que d'autres résultats. Les études incluses portaient uniquement sur des revues systématiques publiées avant 2009. De nouvelles études sont nécessaires pour étudier l'inclusion des résultats et la notification des mesures dans les revues systématiques plus récentes.
Les divergences au niveau de la notification des résultats entre les protocoles et les revues systématiques publiées sont relativement courants, bien que l'association entre la signification statistique et les divergences au niveau de la notification des résultats est incertaine. La notification exhaustive des critères de jugement dans les résumés des revues systématiques est associée à des résultats statistiquement significatifs pour ces critères de jugement. Les résultats des revues systématiques et les plans d'analyse devraient être précisés avant de voir les résultats des études incluses afin de minimiser la prise de décisions post-hoc potentiellement fondées sur les résultats observés. Les modifications survenant une fois que la revue est en cours de réalisation, avec leurs justifications, devraient être clairement signalées. Les estimations d'effet et les IC devraient être rapportés pour tous les critères de jugement des revues systématiques, indépendamment des résultats. Le manque de recherches concernant l'inclusion sélective de résultats dans les revues systématiques devrait être abordé et des études évitant les faiblesses méthodologiques des recherches existantes sont également nécessaires.
Les revues systématiques peuvent être compromises par l'inclusion et la notification sélective de résultats et d'analyses. L'inclusion sélective survient lorsqu'il existe plusieurs estimations d'effet dans un rapport d'essai pouvant être incluses dans une méta-analyse particulière (par ex. à partir de plusieurs échelles de mesure et de plusieurs points temporels) et que le choix de l'estimation de l'effet à inclure dans la méta-analyse est basé sur les résultats (par ex. en fonction de la signification statistique, de l'ampleur de l'effet ou de sa direction). La notification sélective survient lorsque le compte-rendu d'un sous-ensemble de critères de jugement et d'analyses dans la revue systématique est basé sur les résultats (par ex. un critère de jugement défini dans le protocole est omis de la revue systématique publiée).
Résumer les caractéristiques et synthétiser les résultats des études empiriques ayant étudié la prévalence de l'inclusion ou de la notification sélective dans les revues systématiques d'essais contrôlés randomisés (ECR), examiné les facteurs (par ex. la signification statistique ou la direction de l'effet) associés à la prévalence et quantifié le biais.
Nous avons effectué des recherches dans le registre Methodology (jusqu'en juillet 2012), Ovid MEDLINE, Ovid EMBASE, Ovid PsycINFO et ISI Web of Science (à chaque fois jusqu'en mai 2013), et la US Agency for Healthcare Research and Quality (AHRQ) Effective Healthcare Program's Scientific Resource Center (SRC) Methods Library (jusqu'en juin 2013). Nous avons également effectué des recherches dans les résumés des conférences Cochrane de 2011 et de 2012 et dans les alertes indiquant des travaux méthodologiques en matière de synthèse de recherche publiées entre 2009 et 2011 et regroupées dans Research synthesis Methods.
Nous avons inclus les données provenant d'études empiriques publiées et non publiées examinant la prévalence et les facteurs associés à l'inclusion ou à la notification sélective, ou les deux, dans des revues systématiques d'ECR portant sur des interventions en matière de santé. Nous avons inclus les études empiriques évaluant tout type d'inclusion ou de notification sélective, tels que les évaluations de la fréquence de l'inclusion sélective de mesures provenant d'ECR inclus dans des revues systématiques sur la base des résultats, les différences entre les critères de jugement et les analyses entre le protocole et la revue publiée ou le rapport partiel des critères de jugement non-significatifs dans le texte complet ou le résumé des revues systématiques.
Deux auteurs de la revue ont indépendamment sélectionné les études empiriques à inclure, extrait les données et évalué les risques de biais. Un troisième auteur a résolu les désaccords concernant l'inclusion ou l'exclusion des études empiriques, l'extraction des données et l'évaluation du risque de biais. Nous avons contacté les auteurs des études incluses pour obtenir des données non publiées supplémentaires. Les principaux critères de jugement incluaient la prévalence générale de l'inclusion ou de la notification sélective, l'association entre l'inclusion ou la notification sélective et la signification statistique de l'estimation de l'effet, et l'association entre l'inclusion ou la notification sélective et la direction de l'estimation de l'effet. Nous avons combiné les estimations de la prévalence et les risques relatifs (RR) à l'aide d'un modèle de méta-analyse à effets aléatoires.
Sept études remplissaient les critères d'inclusion. Aucune étude n'avait étudié l'inclusion sélective de résultats dans des revues systématiques, ou les divergences au niveau des résultats et des analyses entre les protocoles des revues systématiques dans les registres et les revues systématiques publiées. En se basant sur une méta-analyse de quatre études (incluant 485 revues Cochrane), 38 % (intervalle de confiance à 95 % (IC) de 23 % à 54 %) des revues systématiques ont ajouté, omis, amélioré ou déclassé au moins un critère de jugement entre le protocole et la revue systématique publiée. L'association entre la signification statistique et les divergences de notification des résultats entre le protocole et la revue systématique publiée était incertaine. L'estimation méta-analytique a suggéré un risque accru d'ajout ou d'amélioration (c'est-à-dire transformer un critère de jugement secondaire en critère de jugement principal) lorsque le critère de jugement était statistiquement significatif, bien que les IC à 95 % incluaient également l'absence d'association et une diminution des risques comme estimations plausibles (RR 1,43, IC à 95 % 0,71 à 2,85 ; deux études, n = 552 méta-analyses). De même, l'estimation méta-analytique a suggéré un risque accru de rétrograder (c'est-à-dire de transformer un critère de jugement principal en critère de jugement secondaire) lorsque le critère de jugement était statistiquement significatif, mais les IC à 95 % incluaient également l'absence d'association et une diminution des risques comme estimations plausibles (RR 1,26, IC à 95 % 0,60 à 2,62 ; deux études, n = 484 méta-analyses). Aucune des études incluses n'avait étudié si l'association entre la signification statistique et l'ajout, l'amélioration ou le déclassement des critères de jugement avait été modifiée par le type de comparaison, la direction de l'effet ou un type de critère de jugement ; ou s'il existe une association entre la direction de l'estimation de l'effet et les divergences au niveau de la notification des résultats.
Plusieurs critères de jugement secondaires ont été rapportés dans les études incluses. Deux études ont indiqué que les raisons pour les divergences en matière de notification des critères de jugement étaient rarement rapportées dans les revues systématiques publiées (6 % dans une étude et 22 % dans l'autre). Une étude (incluant 62 revues Cochrane) a trouvé que 32 % (IC à 95 % de 21 % à 45 %) des revues systématiques n'avaient pas rendu compte de tous les principaux critères de jugement dans le résumé. Une autre étude (incluant 64 revues Cochrane et 118 revues non Cochrane) a trouvé que les critères de jugement principaux statistiquement significatifs étaient plus susceptibles d'être totalement rapportés dans le résumé de la revue systématique que les critères de jugement principaux non significatifs (RR 2,66, IC à 95 % 1,81 à 3,90). Les études n'ont pas inclus les revues systématiques publiées après 2009, soit lorsque certains standards de notification pour les revues systématiques (la déclaration Preferred Reporting Items for Systematic reviews and Meta-Analyses (PRISMA), et Methodological Expectations of Cochrane Intervention Reviews (MECIR)) ont été disséminés, de sorte que les résultats pourraient ne pas être généralisables aux revues systématiques plus récentes.
Traduction réalisée par Martin Vuillème