Les erreurs de ChatGPT sur les médicaments

Une étude menée par le service de pharmacie du centre hospitalier de Saint-Junien en Haute-Vienne met en lumière les limites du recours à l’intelligence artificielle (IA) pour obtenir des informations sur les médicaments.

L’utilité de ChatGPT pour les pharmacies d’hôpitaux

Dévoilé au grand public en novembre 2022, l’outil ChatGPT, basé sur l’intelligence artificielle, fait parler de lui pour sa capacité à « bien » répondre à tous les types de questions.
 
Dans le domaine médical, sa rapidité et sa simplicité d’utilisation peuvent faire apparaître cette IA comme un outil utile à la pratique du pharmacien hospitalier. 

Face à ce constat, une étude* réalisée par le CHU de Saint-Junien (Haute-Vienne) a voulu mesurer la fiabilité de ChatGPT dans ce domaine.

Les deux séries de questions posées à ChatGPT sur des médicaments

Deux séries de questions ont été posées à l’outil sur l’utilisation de médicaments :

• La première série concernait des questions simples et factuelles contenues dans les caractéristiques des médicaments (indication, posologie, interaction et conservation).
• La deuxième série était plus complexe et portait sur la pratique professionnelle (utilisation hors autorisation de mise sur le marché, première ligne de traitement d’une pathologie, proposition alternative en cas de rupture de stock).
   

Chat GPT : 55% de réponses correctes

 Les pourcentages de bonnes réponses se sont révélés différents pour chacune des deux séries de questions. Au total, le taux de réponses correctes se situait sous les 55%, avec 25% de réponses partielles et 20% de réponses incorrectes.
 

• Pour la première série : l’IA a donné 7 réponses correctes et 3 réponses partielles sur 10 questions.
• Pour la deuxième série : l’IA a donné 4 réponses correctes, 2 réponses partielles et 4 réponses incorrectes sur 10 questions.

L’outil ne peut se passer de l’expertise du professionnel de santé

 Si l’étude a confirmé la capacité de l’outil à formuler des réponses bien ciblées aux questions, elle a permis de mettre en avant le manque de précision des réponses. De plus, elles étaient incorrectes dans près de la moitié des cas.
 
Les autres difficultés rencontrées sont liées à l’opacité de ChatGPT qui ne livre jamais ses sources, de même qu’au défaut de fiabilité posé par un outil qui restitue de fausses données qui lui ont été précédemment transmises, ou des données qui ne sont plus d’actualité.
 
Aussi, malgré sa simplicité d’utilisation, il convient de recourir avec précaution à l’IA en ce qui concerne les médicaments où les connaissances et l’expérience des professionnels de santé restent essentielles.
 
*Étude présentée à l’occasion du Congrès francophone de pharmacie hospitalière du Syndicat national des pharmaciens des établissements publics de santé, tenu du 24 au 26 mai 2023.