Synthèse des réponses
- Le retour par la Haute Autorité de santé (HAS) de l’analyse des questionnaires e-Satis classe des commentaires « neutres » en commentaires négatifs : « R.A.S. », « rien », « rien à signaler », « tout va bien ».
- Il n’existe pas au niveau local de méthode qui permette d’automatiser le travail.
- L’établissement n’a jamais saisi la HAS à ce sujet.
- Cela ne valorise pas les équipes et conduit à ne pas leur présenter les résultats de l’analyse des commentaires libres.
Commentaires
Afin de profiter de l’expérience des patients pour améliorer la qualité et la sécurité des soins, la HAS a mis en œuvre depuis 2016 le dispositif e-Satis [1]. Il repose sur l’analyse des réponses à un questionnaire auto-administré, rempli sur la base du volontariat par les patients. La satisfaction des patients est estimée selon quatre dimensions : l’accueil, la prise en charge, l’hôtellerie, l’organisation de la sortie. L’opinion générale sur l’état de santé et le sentiment au retour à domicile servent, quant à eux, de variable d’ajustement. Le questionnaire comporte également deux questions ouvertes sur les points positifs et négatifs ressentis au cours du séjour. Cela permet le calcul d’un score de satisfaction global ajusté ensuite sur la satisfaction sur la vie en général et la perception de l’amélioration de l’état de santé, sans prendre en compte les réponses « sans avis ». Ces indicateurs sont valorisés dans le dispositif national de financement à la qualité (Ifaq).
L’analyse qualitative des commentaires libres (verbatims) a récemment pu être réalisée à l’aide d’un dispositif d’intelligence artificielle (IA) [2]. Les commentaires sont regroupés en trois rubriques : circuit de prise en charge, professionnalisme et prise en charge médicale et paramédicale, qualité hôtelière. Lors du filtrage des textes bruts avant l’analyse automatique, les verbatims de moins de deux mots et les termes jugés comme de peu d’intérêt sémantique ont été supprimés. Dans la méthodologie, rien n’indique le devenir des termes comme « rien à signaler », « tout va bien »… Il est cependant vraisemblable que les termes comme « R.A.S. » et « rien » n’ont pas été pris en compte. Cela souligne certaines limites du dispositif d’analyse automatisée, malgré une forte implication humaine dans sa conception et sa mise en œuvre. Parmi les écueils possibles à l’utilisation de l’IA, la Commission nationale de l’informatique et des libertés (Cnil) distingue les erreurs de conception du système (manque de représentativité des données, hypothèse de départ trop approximative, mauvais critères d’entraînement de l’algorithme), celles liées au matériel ou aux conditions d’utilisation (mauvaise qualité des données, défauts liés au matériel) et les risques non spécifiques de tout système informatique [3]. Il est donc possible que les questions soulevées par les établissements quant à l’interprétation de certains verbatims tiennent aux choix faits dans l’échantillonnage des termes filtrés ou à l’interprétation de certains termes tant par les concepteurs/testeurs du système que par l’algorithme. Pour améliorer l’apprentissage de ce système, le retour d’expérience par les établissements permettrait d’en augmenter l’efficacité et l’efficience [4]. Cela éviterait aux utilisateurs la tâche fastidieuse d’identifier eux-mêmes les écarts entre l’information fournie par l’IA et celle dont ils disposent.
La HAS a réalisé le 5 novembre dernier un webinaire présentant le système avec des questions-réponses des utilisateurs [5]. La rediffusion ultérieure de cette manifestation répondra peut-être à la question. Le retour d’expérience des utilisateurs pourrait également se poursuivre au fil de l’eau, l’évolution du système devenant rapidement nécessaire si les éléments qualitatifs sont pris en compte par le dispositif Ifaq. Cette approche est cohérente avec la perspective de la HAS d’aider et d’accompagner les établissements dans l’analyse des verbatims e-Satis.
Références
1- Haute Autorité de santé (HAS). Dispositif national de mesure de la satisfaction et de l’expérience des patients : e-Satis – Guide méthodologique. Saint-Denis: HAS; 2019. 52 p. Accessible à : https://www.has-sante.fr/upload/docs/application/pdf/2019-09/guide_methodologique_esatis_2019.pdf (Consulté le 06-11-2024).
2- Haute Autorité de santé (HAS). Expérience des patients hospitalisés en France : Analyse nationale des commentaires libres du dispositif e-Satis. Saint-Denis: HAS; 2022. 82 p. Accessible à : https://www.has-sante.fr/upload/docs/application/pdf/2022-09/iqss_rapport_analyse_commentaires_e_satis_2022.pdf(Consulté le 06-11-2024).
3- Commission nationale de l’informatique et des libertés (Cnil). Intelligence artificielle, de quoi parle-t-on ? Paris: Cnil; 2022. Accessible à : https://www.cnil.fr/fr/intelligence-artificielle/intelligence-artificielle-de-quoi-parle-t-on(Consulté le 06-11-2024).
4- Brown S, Davidovic J, Hasan A. The algorithm audit: Scoring the algorithms that score us. Big Data & Society. 2021;8(1). Doi : 10.1177/2053951720983865.
5- Haute Autorité de santé (HAS). Webinaire Nouvel outil de restitution des résultats e-Satis : comment explorer facilement les verbatim patients grâce à l’IA ? [Vidéo]. Saint-Denis: HAS; 5 novembre 2024. Accessible à : https://www.has-sante.fr/jcms/p_3542831/fr/webinaire-nouvel-outil-de-restitution-des-resultats-e-Satis-comment-explorer-facilement-les-verbatim-patients-grace-a-l-ia(Consulté le 06-11-2024).