Background. Large-scale evaluation of surgical safety checklist performance has been limited by the need for direct observation. The operating room (OR) Black Box is a multichannel surgical data capture platform that may allow for the holistic evaluation of checklist performance at scale. Study design. In this retrospective cohort study, data from 7 North American academic medical centers using the OR Black Box were collected between August 2020 and January 2022. All cases captured during this period were analyzed. Measures of checklist compliance, team engagement, and quality of checklist content review were investigated. Results. Data from 7,243 surgical procedures were evaluated. A time-out was performed during most surgical procedures (98.4%, n=7,127), whereas a debrief was performed during 62.3% (n=4,510) of procedures. The mean percentage of OR staff who paused and participated during the time-out and debrief was 75.5% (SD 25.1%) and 54.6% (SD 36.4%), respectively. A team introduction (performed 42.6% of the time) was associated with more prompts completed (31.3% vs 18.7%, p<0.001), a higher engagement score (0.90 vs 0.86, p<0.001), and a higher percentage of team members who ceased other activities (80.3% vs 72%, p<0.001) during the time-out. Conclusions. Remote assessment using OR Black Box data provides useful insight into surgical safety checklist performance. Many items included in the time-out and debrief were not routinely discussed. Completion of a team introduction was associated with improved time-out performance. There is potential to use OR Black Box metrics to improve intraoperative process measures.
Commentaire du Dr Marius Laurent (PAQS)
- Les auteurs présentent une solution potentielle à la mesure de l’observance des étapes de la check-list chirurgicale au bloc opératoire. Nous savons que l’autodéclaration de cette compliance pèche par un excès d’optimisme, et nous devons reconnaître que l’observation directe par une tierce personne nécessite des ressources, et n’est pas à l’abri du phénomène d’Hawthorne (modification du comportement de qui se sait observé et jugé). Ils décrivent l’utilisation d’une « boîte noire » comparable à celle du cockpit d’un avion de ligne, qui enregistre les conversations et des images vidéo pendant l’intervention, de même que les paramètres physiologiques du patient. La compliance à l’exécution de la check-list peut être directement observée « en routine », et on peut espérer que l’effet Hawthorne disparaisse avec le temps et ne perturbe plus les mesures (il n’est malheureusement pas précisé depuis combien de temps le système est en place au moment de l’étude). Des trois « instants » de la check-list, briefing avant la narcose, « time-out » avant l’incision et débriefing avant de quitter la salle, seuls les deux derniers sont analysés. Les briefings dans les hôpitaux étudiés se déroulent en partie hors du bloc et ne sont donc pas enregistrés dans leur totalité. Au-delà des mesures de compliance, une observation mérite d’être signalée : le fait pour les membres de l’équipe de se présenter (au moment du briefing ou du time-out) améliore considérablement la qualité de la compliance aux items du time-out, mais cet effet disparaît au moment du débriefing. Les auteurs avancent deux explications possibles à ce décrément : l’effet du temps qui passe, et le fait que l’organisation du travail impose des changements dans les équipes en cours d’intervention. Il me semble que souligner au moins un avantage au fait de se présenter entre membres de l’équipe chirurgicale est important, alors qu’il s’agit d’une étape décriée dans la plupart de nos hôpitaux.
Riley MS, Etheridge J, Palter V, et al. Remote assessment of real-world surgical safety checklist performance using the or black box: A multi-institutional evaluation. J Am Coll Surg. 2024;238(2):206-215. Doi : 10.1097/XCS.0000000000000893.