ChatGPT, très mauvais pour poser un diagnostic médical : "les IA ne sont pas prêtes à remplacer un médecin"

Publiée dans la revue Nature Medicine, cette étude, réalisée auprès de 1 300 personnes au Royaume-Uni, montre que plusieurs modèles d'IA - ChatGPT, Llama (Meta) ou Command R+ - ne font pas mieux qu'une simple recherche en ligne quand un patient s'interroge sur ses symptômes. "Il y a un emballement autour des IA, mais elles ne sont tout simplement pas prêtes à remplacer un médecin", estime, dans un communiqué, Rebecca Payne, chercheuse à l'Université d'Oxford et co-auteure de l'étude.

Pour réaliser cette enquête, les participants n'étaient pas réellement malades mais ont pris part à une sorte de jeu de rôle. Les chercheurs leur ont distribué dix ensembles différents de symptômes, faisant l'unanimité dans le corps médical quant au diagnostic à y associer. Seul un tiers des participants à l'étude se sont vu poser un diagnostic correct. Ce n'est pas mieux qu'au sein d'un groupe qui devait se contenter d'une recherche classique sur internet.

Pourtant, certaines études avaient montré que ChatGPT et d'autres modèles peuvent passer avec succès des épreuves médicales, notamment sur les questions à choix multiples.

Cette nouvelle étude montre toutefois que la situation change quand il s'agit d'interagir avec de vraies personnes. Celles-ci peuvent notamment manquer de précisions dans la description de leurs symptômes et ne pas fournir tous les éléments essentiels, avancent les chercheurs.

L'étude comporte certaines limites, comme sa méthodologie basée sur des scénarios fictifs. Les modèles utilisés ont, par ailleurs, été largement remplacés depuis par des versions plus performantes. Mais "c'est une étude très importante qui souligne que les chatbots posent de vrais risques médicaux pour le grand public", juge auprès de l'AFP David Shaw, spécialiste en bioéthique à l'université de Maastricht (Pays-Bas).

En France, la Haute Autorité de santé (HAS) doit prochainement se prononcer sur l'intérêt d'un usage direct de l'IA pour les patients. Elle a déjà estimé fin 2025 que ces outils pouvaient servir aux soignants, s'ils sont utilisés de manière raisonnée.

[avec AFP]