IA et diagnostic médical : attention aux effets d'annonce

Pas une semaine sans que ne paraisse une nouvelle étude triomphante sur le potentiel de l'intelligence artificielle (IA) dans le diagnostic médical. Détection de nodules cancéreux, de rétinopathie diabétique ou de fractures de la hanche : dès que la reconnaissance d'image entre en jeu, la machine semble en mesure de se confronter aux meilleurs experts humains. Mais la première méta-analyse sur le sujet, publiée dans The Lancet Digital Health, invite à tempérer son enthousiasme. Les chercheurs, conduits par le Pr Alaistar Denniston, ophtalmologue et expert en IA à l'hôpital universitaire de Birmingham, ont passé au crible quelque 20 000 publications pour n'en retenir que 82 : les études postérieures à 2012 (date de mise au point des premiers algorithmes de deep learning, ou apprentissage profond), de bonne qualité méthodologique, ayant pour objet de comparer les performances de l'IA à celles des professionnels de santé en exercice.

"Nous avons passé en revue plus de 20 500 articles, mais moins de 1 % d'entre eux étaient conçus de manière suffisamment robuste et affichaient des résultats jugés fiables par nos experts indépendants", explique Alaistar Denniston dans un communiqué. "Qui plus est, seules 25 études ont réalisé une validation externe de leur modèle d'IA [en vérifiant les performances sur des données n'ayant pas servi à l'apprentissage, NDLR], et seules 14 d'entres-elles ont réellement comparé les performances de l'IA à celles des professionnels de santé en utilisant le même jeu de données", indique-t-il. Attention au miroir aux alouettes "Parmi les quelques études de bonne qualité, nous avons établi que le 'deep learning' pouvait effectivement détecter des maladies allant de cancers à des pathologies ophtalmiques avec autant d'exactitude que des professionnels de santé", conclut le chercheur. Sur 14 études cumulées, les modèles de "deep learning" obtenaient une sensibilité de 87 % et une spécificité de 92,5 % – des performances sensiblement équivalentes à celles des experts humains (86 % et 90,5 %). Mais le principal enseignement...

de ce travail est tout autre : un grand nombre d'études facilitent artificiellement la tâche à la machine, en l'évaluant dans un contexte éloigné de la pratique clinique ou, à l'inverse, en refusant aux experts humains des informations dont ils disposeraient en situation normale. Les données non rapportées sont légion et le champ compte très peu d'études prospectives en situation réelle. Autrement dit, la littérature scientifique est parcellaire et les conclusions qu'on peut en tirer, limitées. Intelligence artificielle : quelle incidence sur la pratique médicale ? "Les données sur l'effet des algorithmes d'IA sur l'état de santé des patients doivent provenir de comparaisons avec des tests diagnostiques alternatifs dans des essais contrôlés randomisés", estime le Dr Livia Faes (Moorfields Eye Hospital de Londres), un des auteurs leaders de l'étude. "Jusqu'à présent, il n'y a pratiquement aucun essai où les décisions diagnostiques de l'IA sont répercutées", de façon à évaluer l'effet concret sur le patient, en matière "décision de traitement, temps d'hospitalisation, ou même taux de survie". Source : A comparison of deep learning performance against health-care professionals in detecting diseases from medical imaging: a systematic review and meta-analysis, The Lancet Digital Health, septembre 2019.