Crowdsourcing a diagnosis? Exploring the accuracy of the size and type of group diagnosis: An experimental study
Sherbino J1, Sibbald M1, Norman G2, LoGiudice A3, Keuhl A3, Lee M3, Monteiro S1
1- Department of medicine – McMaster University Faculty of Health Sciences – Hamilton – Ontario – Canada
2- Department of clinical epidemiology and biostatistics – McMaster University Faculty of Health Sciences – Hamilton – Ontario – Canada
3- Education services – McMaster University Faculty of Health Sciences – Hamilton – Ontario – Canada
BMJ Qual Saf. 2024. Doi : 10.1136/bmjqs-2023-016695.
Contexte. Le processus de consultation, au cours duquel un clinicien demande l’avis d’un autre clinicien, est fondamental en médecine. Cependant, l’efficacité du diagnostic de groupe n’a pas été étudiée. Objectif. Comparer le diagnostic individuel au diagnostic de groupe sur deux dimensions : la taille du groupe (n=3 ou 6) et le processus de fonctionnement du groupe (groupe interactif ou formel). Méthodologie. Trente-six internes en médecine interne ou en médecine d’urgence ont participé à l’étude. Dans un premier temps, chaque interne a travaillé seul sur quatre cas écrits, en fournissant un diagnostic primaire et un diagnostic différentiel. Ensuite, les participants se sont constitués en groupes de trois. À l’aide d’une plateforme de vidéoconférence, ils ont travaillé sur quatre cas supplémentaires, fournissant collectivement un diagnostic primaire et un diagnostic différentiel. Le processus a été répété avec un groupe de six personnes et quatre nouveaux cas. Par la suite, des groupes formels ont été formés artificiellement en regroupant les données individuelles des participants en sous-groupes de trois et six personnes et en calculant analytiquement les scores. La présence du diagnostic correct en tant que diagnostic principal ou inclus dans le diagnostic différentiel est mesurée, ainsi que le nombre de diagnostics mentionnés, pour toutes les conditions. Les moyennes ont été comparées à l’aide de l’analyse de la variance. Résultats. Pour les groupes authentiques et nominaux, la précision du diagnostic de groupe était supérieure à celle du diagnostic individuel tant pour le diagnostic primaire que pour le diagnostic différentiel. Cependant, il n’y a pas eu d’amélioration de la précision diagnostique lorsqu’on a comparé un groupe de trois personnes à un groupe de six personnes. Les groupes interactifs et nominaux étaient équivalents, mais il peut s’agir d’un artefact de la méthode utilisée pour combiner les données. Conclusions. Le diagnostic de groupe améliore la précision du diagnostic. Cependant, un grand groupe n’est pas nécessairement supérieur à un petit groupe. Dans cette étude, la discussion interactive en groupe n’améliore pas la précision du diagnostic.
Background. The consultation process, where a clinician seeks an opinion from another clinician, is foundational in medicine. However, the effectiveness of group diagnosis has not been studied. Objective. To compare individual diagnosis to group diagnosis on two dimensions: group size (n=3 or 6) and group process (interactive or artificial groups). Methodology. Thirty-six internal or emergency medicine residents participated in the study. Initially, each resident worked through four written cases on their own, providing a primary diagnosis and a differential diagnosis. Next, participants formed into groups of three. Using a videoconferencing platform, they worked through four additional cases, collectively providing a single primary diagnosis and differential diagnosis. The process was repeated using a group of six with four new cases. Cases were all counterbalanced. Retrospectively, nominal (ie, artificial) groups were formed by aggregating individual participant data into subgroups of three and six and analytically computing scores. Presence of the correct diagnosis as primary diagnosis or included in the differential diagnosis, as well as the number of diagnoses mentioned, was calculated for all conditions. Means were compared using analysis of variance. Results. For both authentic and nominal groups, the diagnostic accuracy of group diagnosis was superior to individual for both the primary diagnosis and differential diagnosis. However, there was no improvement in diagnostic accuracy when comparing a group of three to a group of six. Interactive and nominal groups were equivalent; however, this may be an artefact of the method used to combine data. Conclusions. Group diagnosis improves diagnostic accuracy. However, a larger group is not necessarily superior to a smaller group. In this study, interactive group discussion does not result in improved diagnostic accuracy.
Laurent M. L’intelligence collective au service du diagnostic ? – Exploration de l’efficacité de la taille du groupe et de la présence ou non d’interaction en son sein Risques & Qualité 2024;(21)2;121-122.