Emergence d’une « intelligence » informatique : quelle évolution de la responsabilité médicale ?

(suite…) Entretien avec Ferdinand Dhombres ¹

Professeur des Universités – Praticien Hospitalier à Sorbonne Université à Paris, Ferdinand Dhombres exerce comme gynécologue obstétricien dans le service de médecine fœtale et d’échographie à l’hôpital Trousseau (APHP) comme chercheur en informatique à l’INSERM (LIMICS). Il enseigne dans ces deux disciplines.

Horizon – Mais alors la question se pose de savoir si l’IA est quelqu’un…

F. Dhombres – On sait que ce quelqu’un, c’est l’éditeur du logiciel au moment où les données ont été validées et rentrées. Cette question de l’autonomie dans la prise de décision nous amène donc tout droit à celle de la responsabilité : quel est le niveau de l’autonomie de l’IA dans le processus de décision de prise en charge ? Si nous considérons que l’IA intervient pour faire remonter l’information pertinente, cela ne pose pas de problème. Mais si l’IA commence à analyser des données en autonomie, à en cacher certaines pour en présenter d’autres, le médecin qui en analyse les résultats ne sait pas quelles informations ne lui sont pas présentées.

Prenons un exemple : l’IA fait une première proposition comme celle d’identifier une image pour dire qu’elle est normale. Il n’y a pas de problème si cette image produite par l’IA a été montrée au radiologue qui a donné son aval et qui assume la responsabilité de son interprétation. Mais dans le cas de figure où c’est l’IA qui décide toute seule que la radio est normale, alors l’autonomie de l’IA est plus grande que la responsabilité humaine. Cette responsabilité humaine est, du coup, plus difficile à mobiliser car l’humain n’est plus dans la boucle. On se trouve dans une situation où personne ne peut dire qui est responsable, puisqu’il peut ne plus être dans la boucle d’un point de vue médical. Aussi lorsqu’on parle du sens clinique ou de l’expérience médicale, cela ne nous renvoie à rien de moins qu’à cette double question : quelle médecine voulons-nous aujourd’hui ? Pour demain ?

Horizon – Nous sommes amenés à traiter des personnes qui se sont trouvées malmenées par de tels dispositifs…

F. Dhombres – Je ne sais pas qui sont celles et ceux qui vous consultent et pourquoi ils le font. Ce que je constate c’est que nos patients sont nombreux à attendre de la médecine qu’elle soit normative, scientifique, opérationnelle et dispose de techniques de pointe. Ce sont eux qui affichent une préférence pour des procédés extrêmement automatisés dans un système où il n’y a pas de place pour le flou, pour le subjectif. Ils vont même jusqu’à considérer que ces machines donnent des « résultats objectifs », en pensant qu’« objectif » veut dire que l’on ne peut pas se tromper.

Or, si, du point de vue statistique, à l’échelle dite des populations, c’est sûr que pour la question donnée, la tâche effectuée le sera de manière plus ou moins performante selon la métrique utilisée, ça ne nous dit pas si les patients se verront dispenser de meilleurs soins pour autant. Je pense qu’il y a un risque de glisser du cadre du soin dans celui de la prestation technique. Mais on peut aussi se demander ce que les gens désirent, s’ils veulent ou non être soignés au sens où nous l’entendons…

Horizon – Il n’y a pas de doute que l’air du temps focalise sur la performance technique. Il y a une véritable fascination, encouragée par les promoteurs de l’IA, les médias… On veut être « dans le vent », « de son temps »… Est-ce que les préférences ou les préjugés de vos patients évoluent, avec l’expérience de la maladie ? Comment les accompagnez-vous dans leur cheminement ?

F. Dhombres – De mon côté il y a le contexte, qui rend au quotidien mon approche du terrain assez pragmatique. Quand vous êtes dans une situation où vous avez un système de santé en berne ; quand vous avez les soignants qui n’en peuvent plus, qu’il y a des déserts médicaux, que des gens attendent des mois avant d’obtenir un rendez-vous, on doit se poser la question de savoir si quelqu’un doit attendre six mois et plus pour avoir un rendez-vous avec un médecin, ou s’il peut bénéficier d’un système avec un programme informatique. C’est le moment de faire entrer dans nos échanges l’IA générative dont nous n’avons pas encore parlé. D’ailleurs, dans le domaine médical, je ne vois pas bien où cela se place, mais c’est peut-être là, avec l’agent conversationnel, toujours disponible, « gentil », sympathique. Ainsi, on peut avoir une espèce de package avec beaucoup d’automatisation. Ces outils pour accueillir une première demande de consultation semblent grosso modo rendre de vrais services.

Horizon – La réponse robotique qui pallie la non-disponibilité de la médecine publique et propose de vous recevoir tout de suite au lieu d’attendre comporte donc le risque d’une incomplétude du soin.

F. Dhombres – Il faut pondérer tous les aspects, mais entre les problématiques d’accès au soin, les problématiques du coût du soin et les problématiques annexes, collatérales, ce n’est pas simple, et il faut savoir que nous ne sommes pas les plus mal lotis en France, loin de là. Avec un « système de prestations techniques de soin » – appelons cela ainsi – on a la possibilité de proposer des prises en charge qui permettent globalement d’améliorer la santé d’une population qui n’a pas accès au soin. Qu’est-ce qui est mieux, les laisser mourir ou leur proposer le système qui peut être violent, froid, inhumain, mais qui va permettre de sauver des gens, et de détecter à temps des processus morbides ? Si ces derniers n’avaient pas été mis en lumière, les malades qui s’ignoraient seraient probablement morts quelques années plus tard, de problèmes cardio-vasculaires, cancer, diabète… C’est à de tels enjeux que nous sommes confrontés dans certaines zones géographiques.

Le problème, c’est que lorsque l’on réduit l’offre de soin, on se met à se dire : « Est-ce que cela n’est pas plus rentable ? » Or, la rentabilité de l’humain, la métrique de l’humain, cela n’existe pas vraiment, alors que si on a un système qui nous garantit la détection de 80% des cancers du côlon, on sait que si on le met en place, la prédiction deviendra réalité.

Horizon – Peut-on risquer un parallèle, avec l’arrivée des machines à pain venues pallier le manque de boulangeries ?

F. Dhombres – C’est un peu ça. Il se trouve que l’IA permet des choses très performantes, et aussi qu’il y a des systèmes informatiques où il n’y a pas forcément de l’IA. Aux États-Unis, dans les années 1960 il y a eu un engouement et une première vague d’investissements conséquents sur l’IA, mais les résultats n’ont pas suivi. Il a fallu attendre les algorithmes mathématiques et les ordinateurs capables de fournir une capacité de calcul suffisante, ce qui est assez récent. Enfin, manquait la masse de données qui est là maintenant, d’où la puissance de cette nouvelle vague aujourd’hui que des processeurs très puissants se conjoignent avec cette masse de données que l’on n’avait pas il y a encore dix ans.

Horizon – Dix ans, c’est l’âge de votre article écrit en 2014 : « Informatique médicale et médecine informatisée ⁶», paru dans l’ouvrage collectif intitulé : Histoire de la pensée médicale contemporaine aux éditions du Seuil.

F. Dhombres – C’est vrai qu’à l’époque de cet article, l’IA générative n’existait pas encore.

Horizon – Y a-t-il eu des avancées depuis dix ans, au niveau des applications, de l’implication de l’IA dans la médecine, concrètement ?

F. Dhombres – Ce sont les découvertes dans le domaine de l’imagerie qui m’impressionnent le plus. Je trouve enthousiasmant le concours entre les techniciens et les cliniciens. Par exemple, les informaticiens de Google ont réussi à dépister plus de mélanomes sur des photos que des dermatologues. Si on prend le cas de la dermatologie, avoir un système pour envoyer la photo de son grain de beauté sur une plate-forme, et se faire dire par retour : « Il faut consulter un dermatologue demain » ou « vous pouvez attendre mais il faut le faire voir dans l’année », c’est plutôt intéressant, et pas très malfaisant, si on n’oublie pas que nous sommes là dans le cadre d’une prestation de diagnostic et de pronostic, par le biais d’une technique qui peut être performante, mais qui n’est pas un soin. C’est évidemment un gain de temps, ce qui est précieux, mais, de mon point de vue, ce n’est pas une alternative au contact avec un soignant, ce n’est donc pas une solution pour pallier les déserts médicaux.

Histoire de la pensée médicale contemporaine, Paris, Seuil, 2014.

Horizon – Jusque-là vous avez abordé la responsabilité du médecin au regard du guide des bonnes pratiques. Nous arrivons à la question de savoir dans quelle mesure ces outils affectent, voire transforment la relation entre le malade et le médecin : pouvons-nous dire qu’un malade risque de n’être plus pour le médecin qu’un ensemble de données ?

F. Dhombres – Oui, du point de vue de ces outils, le patient n’est rien d’autre qu’un ensemble de données, on ne peut mieux dire. Mais le soignant est-il appelé à n’être plus qu’un utilisateur d’outils ? Je ne le crois pas, et surtout ce n’est pas du tout comme cela que je conçois mon métier.

Du nouveau dans la formation

Horizon – Aujourd’hui, on constate combien le quotidien des médecins est grignoté par la tâche de rentrer des données. Un retour sur la pratique a-t-il bien lieu ou y a-t-il un clivage ? Cela ne prend-il pas trop de place dans la formation ?

F. Dhombres – Pour la partie formation, il y a quelque chose de très récent avec les programmes d’investissements France 2030, qui ont pour objet de développer les compétences et les métiers d’avenir, avec un engagement de plus de 50 millions d’euros pour la « santé numérique ». Notre université fait partie des lauréats de ce programme et nous avons obtenu 4 millions d’euros pour mettre en place l’enseignement de la « santé numérique », pour des futurs professionnels de santé et pour des futurs professionnels du numérique.

Comme vous le savez, la faculté de médecine est devenue la faculté de santé. Elle dispense une formation universalisée aux professionnels de santé avec un référentiel. Parmi les professionnels de la santé concernés nous trouvons des sage-femmes, des psychomotriciens, des kinésithérapeutes, des ergothérapeutes, des infirmiers. Il n’y a pas de psychologues. Pour tous les métiers médicaux et paramédicaux qui composent la hiérarchie médicale, nous avons donc un référentiel socle pour le premier cycle dont les éléments ont été définis par un arrêté.

Horizon – C’est une bonne nouvelle car une bonne part des psychologues rappellent à cor et à cri que leur profession n’est pas une profession médicale, et que c’est justement de par sa formation spécifique que le psychologue peut s’articuler dans bien des cas avec les médecins ou les équipes hospitalières et être un véritable partenaire. Mais pouvez-vous préciser ce que vous entendez par « santé numérique » ?

F. Dhombres – Elle comporte notamment le Dossier Patient Informatisé (DPI), le Dossier Médical Partagé (DMP), Mon espace santé, les problématiques de cybersécurité, la messagerie de données en santé, comment un médecin envoie à un autre médecin des informations concernant un malade par exemple ; il y a aussi les aspects réglementaires sur lesquels veille la CNIL avec le Règlement Général sur la Protection des Données [RGPD] et ses extensions spécifiques pour des données de santé, la télésanté, etc.

Pour le premier cycle de toutes les formations en santé, tout le monde doit avoir une trentaine d’heures minimum sur ces volets-là. C’est une première base. Il y a aussi la notion de « logiciel-métier », qui comporte toute une série d’outils comme les outils d’aide à la décision, les logiciels de gestion de patient, les systèmes de messagerie etc.

Horizon – Dans quelle mesure le médecin ou le spécialiste participe-t-il à l’élaboration de ces outils ? Ceux-ci lui arrivent ready-made ?

F. Dhombres – L’idée directrice est de rendre ces outils de santé numérique attractifs, alors qu’on les dénigre ou les critique souvent. Or, ce sont ces outils qui vous donnent un compte- rendu d’hospitalisation quand vous sortez de l’hôpital, permettant à votre médecin traitant (avec votre accord) d’y accéder directement. Ce dernier peut alors vous prescrire un bilan biologique consultable en ligne sans avoir à se déplacer, recevoir une alerte etc. Tout cela améliore globalement le parcours de soin et les échanges d’informations qui restent extrêmement sécurisés, puisqu’il faut deux cartes, la carte du médecin ou la carte professionnelle de santé (CPS), et la carte vitale du patient pour y accéder.

Le chatbot, le malade et le médecin : quelle interlocution ?

Quant à la question de la relation médecin-malade, il ne s’agit pas de réduire tout à l’IA, même si je continue à penser que l’accès à l’information est un élément important.

Google – je dis Google parce que c’est le moteur de recherche le plus diffusé actuellement – donne accès via internet à une quantité d’informations colossale. Selon qu’on est positif ou négatif on dira qu’on s’en trouve enrichi ou parasité. Le problème, d’un point de vue très pratique, est surtout d’apprécier le temps que cela demande ou épargne… Étant donné que, sauf erreur de ma part, les médecins généralistes en France ont en moyenne entre 6 et 8 minutes par patient, s’il faut débricoler pendant ce temps-là la recherche faite par un patient, qui a consulté Internet en mettant deux mots-clés captés en bas d’un compte rendu, c’est compliqué.

Je vais parler à partir de mon expérience professionnelle. J’exerce comme gynécologue- obstétricien à l’hôpital Trousseau, dans le service de médecine fœtale où je fais de l’échographie. Je fais aussi de la recherche informatique dans une unité INSERM.

La partie clinique de mon activité consiste à recevoir des couples qui sont dans des situations extrêmement stressantes, notamment après des diagnostics prénataux d’anomalies fœtales. Autour de la table entre professionnels, on pose des questions sur ce que l’on voit, sur ce que l’on pense, sur ce que sait la médecine, sur les connaissances concernant cette situation, sur les options possibles. Du côté du couple, quelle est sa vie, sa situation familiale, son histoire ? Quels sont les meilleurs choix, ou les moins mauvais ?

Ce sont des consultations difficiles tant médicalement que du point de vue de la relation humaine, comparables à ce qu’on appelle les « consultations d’annonce » en cancérologie.

Par rapport auxdites consultations d’annonce, les consultations que je réalise comportent, en plus du diagnostic, la proposition d’une modalité de prise en charge où l’on peut être amené à décider de gestes, etc.

Ainsi, il y a de plus en plus de couples qui viennent parce qu’un signe a été noté à l’échographie : « le fémur est court, les os propres du nez sont hypoplasiques » ou que sais- je… De là, les gens filent sur internet et trouvent sur les forums la liste à la Prévert des malformations congénitales, y compris les plus sévères. Ils vont faire des parallèles avec des cas de catastrophe et arriver en demandant une interruption médicale de la grossesse. C’est un scénario classique, du fait de cette somme énorme d’informations ininterprétables pour le public qui n’a pas les moyens de se repérer dans cette masse.

ChatGPT n’a pas d’oreilles

Il y a une espèce d’illusion quand on utilise un moteur de recherche ; or, ChatGPT et ces IA génératives qui produisent du texte ou des images l’augmentent encore. Celles qui parlent en texte donnent l’illusion d’avoir quelqu’un en face, et aussi l’illusion que ce quelqu’un a analysé les choses. On lui dit : « tel fœtus a telle anomalie, est-ce que c’est grave ? » et ChatGPT va répondre, certes, mais il va répondre en fonction des données trouvées sur internet. Si généralement, il ne se trompe pas trop, il arrive qu’il dise des absurdités parce que, par exemple, les données prises en ligne n’étaient pas à jour, ou que la source sur internet était fausse ; on entre dans le cadre d’un web service ou d’une prestation technique qui n’est pas de l’ordre du soin.

Or, réussir à donner une information loyale et éclairée au couple, cela commence déjà par faire connaissance, par expliquer ce qu’on a vu : il y a un échange, qui prélude à une relation de soin. Les agents conversationnels du type ChatGPT donnent l’illusion d’une telle relation, puisqu’ils s’adaptent au langage. ChatGPT, ce sont des modèles de langue ; ils n’ont pas été évalués sur l’exactitude de l’information qu’ils donnent, ce n’est pas leur objectif. Le but de ChatGPT au départ, c’est de donner l’illusion d’avoir avec soi quelqu’un qui est capable de discuter sur tout et rien. Sur ce dernier point, c’est performant, mais non pas sur la fiabilité du résultat. Tout ça a été testé : on a utilisé ChatGPT pour lui faire répondre à des questions d’examen aux États-Unis. Les versions actuelles répondent aux questions très bien dans 70% à 80% des cas dans toutes les disciplines.

Mais pour le soin on n’est pas dans ce type d’exercice. Soigner quelqu’un, c’est l’aider à prendre la meilleure décision pour lui, en fonction d’un apport de connaissances, de ce qu’il est possible de faire et de son histoire personnelle. Dans ces situations-là, la décision n’est pas bonne ou mauvaise, il s’agit plutôt de prendre la décision la plus adaptée aux gens, la plus juste. C’est un exercice difficile qui n’est pas sans poser de problèmes. Il est très facile d’adopter des outils qui font de l’aide à la décision, avec des paramètres qui disent que pour « telle situation, la bonne réponse c’est probablement ça, puis ça et puis ça, etc… » On peut appliquer ces outils-là, en effet, mais ce n’est pas la médecine que je désire.

Les mises à jour ne dissipent pas les illusions

Quelle est la disponibilité des médecins ? En ce moment, ils sont fatigués. Ça se lit et ça se perçoit. Ce que je vais dire maintenant n’est pas politiquement correct : beaucoup de gens vont voir le médecin et vont à l’hôpital alors qu’ils n’ont pas besoin d’y aller ; peut-être feraient-ils mieux d’aller vous voir, vous ! L’hôpital est devenu le guichet de demandes de prises en charge psychosociales qui ne devraient pas arriver là, comme celui qui se fait mal au genou et qui veut son IRM du genou tout de suite. Du coup, la disponibilité d’écoute est impactée à cause de ce surmenage.

Après, c’est le métier !

Prenons l’exemple des 6-8 minutes de la consultation chez le généraliste ; n’y aurait-il pas des choses qui pourraient être automatisées une fois sur deux pour des suivis ? S’il faut seulement vérifier la fonction rénale, il suffit d’une prise de sang et d’un système qui dit : « c’est bon, ou ce n’est pas bon ». Ensuite, il peut y avoir une consultation qui dure douze minutes… Malheureusement, la stratégie actuelle n’est pas celle-là : on garde la consultation de six minutes et on enchaîne.

Il était question de la disponibilité d’écoute. ChatGPT, par exemple, est disponible H24. Il donne l’illusion d’être une personne. Il est gentil, ChatGPT. Il est politiquement correct. Aujourd’hui on veut des réponses tout de suite et sur tout. Avant, on allait sur Google, maintenant on a ChatGPT. Or la consultation qu’on fait derrière, je ne sais pas comment elle va évoluer… Une fois : « Bah, ChatGPT m’a dit que je n’avais pas besoin de faire d’amniocentèse ». Soudain, on a l’illusion d’une entité pensante, on a l’illusion de faire la conversation avec quelqu’un. C’est assez étonnant ! Avez-vous déjà essayé ? Je vous y encourage ! C’est important, pour voir concrètement ce dont on parle.

Autre point. Vous avez parlé des systèmes qui s’auto-alimentent. Or, normalement, ils ne doivent pas s’auto-alimenter, mais s’actualiser. S’auto-alimenter, c’est un risque. Je ne sais pas jusqu’où cela va aller. Ainsi, l’IA produit du texte. On lui dit par exemple : « fais-moi un article sur l’intervention de notre cher président de la République et la déclaration du premier ministre ». « Fais-moi un texte qui résume en dix pages le profil des principaux nouveaux membres du gouvernement ». Alors qu’est-ce qu’il va faire ? Il va piocher et rassembler des matériaux pour produire du texte, souvent plutôt pas mal. On peut lui dire « Fais-le plus style Figaro, ou façon Libé », etc., il exécute la commande et le texte arrive sur Internet. Six mois plus tard, on repose une question à ce système-là. Sur quoi va-t-il s’entraîner ? Sur les données qui sont sur Internet. Or, s’entraîner sur des données qu’il a générées lui-même, est- ce une spirale vertueuse ? La réponse est non. Il y a des gens qui pensent que c’est un risque réel, car cela se délite, au détriment de la qualité de ces systèmes.

Pour ma part je n’en sais rien ; je ne fais pas de prédictions, mais ça fait écho à ce que vous disiez sur l’auto-alimentation.

Toutefois, entre ChatGPT et Google, une différence existe. On est dans l’interlocution avec ChatGPT, tandis qu’on présente des requêtes à Google. Bien que je ne sois pas un expert de ce moteur de recherche, le résultat que vous obtenez chez Google quand vous faites une requête, dépend de beaucoup de choses, comme la publicité et ce qui a été mis comme argent pour arriver en haut de la page ; cela va dépendre aussi du pays. Par exemple, une requête sur l’IVG n’aura pas la même réponse en Espagne, en Italie, à Paris, en Chine…

Horizon – Pourquoi ?

F. Dhombres – D’abord, certaines choses sont filtrées ; ensuite, toutes les pages ne sont pas traduites dans toutes les langues. Enfin, il y a un système de tri. Dans les systèmes de tri qui sont faits par Google, la notion de popularité de la page intervient en interférant à propos du mot proposé, si bien que Google met à votre disposition l’information qui est a priori celle… que vous voulez. Cela varie en fonction des périodes. En période d’élections, tapez « EL » sur Google… et s’affichera tout de suite : « ÉLection présidentielle ».

Mais, a contrario, si le moment est celui d’une panne électrique mondiale, et que vous tapez « EL », viendra « ELectricity breakdown ». Tout dépend du contexte, qui lui va dans le sens de la popularité et qui régit la circulation des pages.

Horizon – Merci beaucoup Ferdinand Dhombres pour votre accueil, les perspectives et les informations dont vous nous avez fait part. Voilà qui nous donne du grain à moudre !

1. Par Sylvie Cassin, Nathalie Georges-Lambrichs, Nicolás Landriscini et Agnès Vigué-Camus.
6 Dhombres F., « Informatique médicale et médecine informatisée », in Lambrichs L. et Fantini B. (s/dir.),
Histoire de la pensée médicale contemporaine, Paris, Seuil, 2014.