Diagnostic médical : face à de vrais patients, les agents conversationnels ne seraient fiables qu’à 35%

Expliquer un compte-rendu médical, un bilan sanguin… Les patients se tournent désormais vers les agents conversationnels pour mieux comprendre leurs résultats. 60 Millions de consommateurs a enquêté pour estimer leur fiabilité, en testant ChatGPT, Gemini ou encore Le Chat.

Les résultats publiés en avril ont montré que ces chatbots sont performants sur des cas de patients fictifs rédigés par des médecins. Le taux de réussite avoisine les 95%. Mais face à des patients réels, les chiffres s’effondrent sous les 35%.

Formuler les bonnes questions

Si cette différence est si importante, c’est parce que ces outils fonctionnent à condition de leur formuler les bonnes questions. "C’est la vraie limite interne de cette technologie, estime Paul Valois, chef de projet à la Haute Autorité de santé (HAS). Si on oublie un élément déterminant, le robot n’aura pas le réflexe de le demander. C’est la différence entre le soignant et l’IA."$

Même lorsque le chatbot trouve le bon diagnostic, il peut se tromper sur la conduite à tenir. Conscients de ces enjeux, les trois outils mentionnent tous : "Le Chat peut faire des erreurs. Vérifiez les réponses", "Gemini est une IA et peut se tromper" ou encore "ChatGPT peut commettre des erreurs." 

Bientôt un ChatGPT dédié aux questions santé

Les chatbots se sont en revanche montrés performants pour vulgariser les documents. "Cela peut servir aux médecins pour expliciter la posologie, la manière de suivre le traitement", reconnaît Alexandre Biosse Duplan, chef de projet à la HAS.

Ces outils ne se concentrent cependant que sur les données chiffrées, sans prendre en compte le patient dans sa globalité (historique médical, antécédents…). Les algorithmes risquent alors de passer à côté d’une pathologie plus grave. Ils peuvent aussi produire des hallucinations, en inventant des corrélations inexistantes, des médicaments ou en échangeant des unités de conversion…