The randomised controlled trial is the foundation of clinical research; yet there is concern that many trials have flaws in design, conduct, and reporting that undermine trustworthiness. Common flaws in trials include high risk of bias, small size, outcomes irrelevant to clinical care and patient’s experience, and inability to detect efficacy even if present. These flaws carry forward into systematic reviews, which can confer the label of ‘high-quality evidence’ on inadequate data. Trials can be futile because their flaws mean that they cannot deliver any meaningful result in that different results in a small number of patients would be sufficient to change conclusions. Some trials have been discovered to be fabricated, the number of which is growing. The fields of anaesthesia and pain have more fabricated trials than other clinical fields, possibly because of increased vigilance. This narrative review examines these themes in depth whilst acknowledging an inescapable conclusion: that much of our clinical evidence is in trouble, and special measures are needed to bolster quality and confidence.
Commentaire du Dr Marius Laurent (PAQS)
- « Une grande partie de la littérature scientifique, peut-être la moitié, est tout simplement mensongère. Affligée par des études portant sur des échantillons de trop petite taille, des analyses préliminaires invalides aux effets insignifiants et des conflits d’intérêts flagrants, ainsi que par l’obsession de suivre des tendances à la mode d’une importance discutable, la science a pris un tournant vers son côté sombre » [1] (ma traduction). L’auteur de cette revue confirme le commentaire de Horton dans le Lancet, et bien d’autres articles sur le sujet. Il se penche particulièrement sur les articles publiés dans des journaux qui se consacrent à l’anesthésie et au traitement de la douleur, mais la constatation est universelle, et me désole quotidiennement dans mon travail de bénédictin de veille bibliographique. Fussent-elles des essais randomisés en double aveugle, la plupart des publications pèchent par la taille insuffisante des échantillons, amenant à des conclusions auxquelles on ne peut se fier : même une différence « significative » sur le plan statistique ne veut pas dire qu’elle a une signification clinique. Si on mesure la « fragilité » d’une étude par le nombre minimum de patients dont le changement de statut (réponse vs non-réponse) annule la signification statistique, elle est inférieure au nombre de patients perdus lors du suivi dans la moitié d’entre elles. La sensibilité des mesures est insuffisante, les exposant aux biais. Les sujets des études sont souvent futiles, ne pouvant aboutir à d’autres conclusions que ce qui est déjà connu, ou acceptent une telle hétérogénéité des patients que les comparaisons deviennent impossibles. Et ne parlons pas des rétractions, des résultats dupliqués, maquillés ou inventés. Le problème est que toutes ces études sans valeur sont bien régulièrement référencées dans des revues systématiques dont elles minent la valeur et l’intérêt. Dans le foisonnement de ces revues, bien peu n’analysent que des articles dignes d’intérêt et exempts de reproches méthodologiques et de biais. De mauvaises études ne peuvent générer de bonnes revues, et les méthodologies utilisées dans la rédaction de la revue sont elles-mêmes souvent critiquables. Ne lisez cet article que si vous avez le cœur bien accroché : vous risquez de cesser de payer vos abonnements.
Moore A, Fisher E, Eccleston C.Flawed, futile, and fabricated-features that limit confidence in clinical research in pain and anaesthesia: A narrative review. Br J Anaesth 2023;130(3):287-295. Doi : 10.1016/j.bja.2022.09.030.
Note :
1- Horton R. Offline: What is medicine’s 5 sigma? Lancet 2015;385(9976):1380.