Dans le domaine de la santé, l’utilisation d’outils de transcription alimentés par l’intelligence artificielle suscite de plus en plus d’intérêt. Cependant, des chercheurs ont récemment mis en lumière une problématique préoccupante : certains de ces systèmes, comme l’outil de transcription Whisper, sont susceptibles de générer des hallucinations, c’est-à-dire d’inventer des propos qui n’ont jamais été tenus. Ces erreurs peuvent avoir des répercussions graves dans le contexte médical, où la précision des données est essentielle pour garantir la sécurité des patients et la qualité des soins.
Une récente étude a mis en lumière des problèmes majeurs liés à l’utilisation d’un outil de transcription basé sur l’intelligence artificielle dans le secteur médical. Cet outil, dénommé Whisper, est accusé de produire des hallucinations, c’est-à-dire d’inventer des discours qui n’ont jamais été prononcés, posant ainsi de sérieux risques lors des consultations médicales. Les experts soulignent l’urgence de réguler de tels systèmes dans des environnements sensibles comme les hôpitaux.
Les limites du système Whisper
Développé par OpenAI, Whisper est souvent présenté comme un outil révolutionnaire, vanté pour sa capacité à fournir une transcription « quasi humaine » et précise. Cependant, des recherches récentes ont révélé une vulnérabilité significative : cet outil serait enclin à créer des parties de texte, voire des phrases entières, qui n’ont aucune fondation dans la réalité. Ce phénomène, connu sous le nom d’hallucination, peut véhiculer des commentaires inappropriés, violents ou erronés sur des traitements médicaux.
Des spécialistes, notamment des ingénieurs logiciel et des chercheurs académiques, ont rapporté que ces fabrications soulèvent de sérieuses inquiétudes, surtout compte tenu du contexte d’application dans de nombreuses industries. La paradoxale situation dans laquelle il est utilisé pour transcrire les conversations patient-médecin sans une vérification adéquate pose des risques potentiels pour la santé des patients.
Impact des hallucinations dans le secteur médical
Les répercussions des erreurs de transcription peuvent être catastrophiques. Alondra Nelson, ancienne responsable du Bureau de politique scientifique et technologique de la Maison Blanche, a averti que « personne ne veut une erreur de diagnostic« . Dans le domaine médical, les conséquences d’une telle imprécision peuvent entraîner des décisions lourdes de sens. Les hallucinations peuvent se manifester même lorsque l’audio est bien enregistré, illustrant ainsi des préoccupations plus larges concernant la fiabilité des outils de transcription automatisés.
Des chercheurs de différentes institutions, y compris l’Université du Michigan, ont mis en évidence que près de 80 % des transcriptions qu’ils ont analysées contenaient des hallucinations. Cette fréquence alarmante incite à redoubler de vigilance face aux erreurs de transcription qui pourraient s’accumuler sur des millions de fichiers audio.
Encadrement et régulation des outils d’IA
Face à ces révélations, de nombreux experts appellent à une régulation stricte des technologies d’intelligence artificielle dans des contextes sensibles. Ils suggèrent que la fédération gouvernementale prenne des mesures pour s’assurer que des outils comme Whisper ne soient pas intégrés dans des systèmes échappant à tout contrôle, mettant ainsi en danger les soins aux patients.
William Saunders, un ancien ingénieur de recherche d’OpenAI, a exprimé son indignation face à la propension de Whisper à produire des hallucinations. Il souligne que les entreprises utilisant de tels systèmes devraient être conscientes des dangers liés à leur utilisation sans une vérification par des professionnels de santé formés. Ce point de vue est partagé par de nombreux autres spécialistes qui croient que l’IA ne devrait pas avoir sa place dans des décisions cruciales sans un encadrement adéquat.
Utilisation de Whisper dans les hôpitaux
Malgré les mises en garde, l’adoption de Whisper dans le système de santé a pris de l’ampleur. Plus de 30 000 cliniciens et 40 systèmes de santé, dont des hôpitaux renommés, utilisent cet outil pour transcrire les consultations médicales. Les responsables de ces établissements affirment être en mesure de contrôler les erreurs de transcription et de les minimiser, mais les témoignages d’anciens employés d’OpenAI soulèvent des interrogations sur l’efficacité des méthodes mises en place.
La problématique est d’autant plus pressante que certains dispositifs de transcription, développés par des entreprises telles que Nabla, effacent les enregistrements audio originaux pour des raisons de sécurité des données, empêchant toute possibilité de vérification des erreurs. Les critiques affirment qu’une telle pratique peut s’avérer dangereuse, l’absence de l’enregistrement d’origine rendant impossible l’évaluation de la qualité des transcriptions.
Préoccupations relatives à la vie privée
Un autre aspect préoccupant est le respect de la vie privée des patients. Les enregistrements de consultations médicales sont confidentiels, et leur implication dans des processus de transcription automatisée soulève des questions éthiques sur la manière dont ces données peuvent être utilisées. Des législateurs régionaux, comme Rebecca Bauer-Kahan en Californie, ont témoigné de leurs réticences à partager les enregistrements de santé avec des entreprises technologiques, craignant que des informations médicales intimement personnelles ne soient mal gérées.
Avec les nombreuses mises en garde et critiques diffusées par la communauté médicale et technologique, il est impératif que les entités réglementaires et les entreprises qui développent des outils d’intelligence artificielle travaillent ensemble pour assurer la sécurité et la confidentialité des données, ainsi que la fiabilité des systèmes d’IA dans le secteur médical.
EN BREF
|
