Les hôpitaux et les systèmes de santé se tournent de plus en plus vers l’intelligence artificielle. Par exemple, les chatbots IA peuvent aider à résumer les notes des médecins et à analyser les dossiers médicaux. Mais l’IA a aussi un côté dangereux. Des chercheurs de la Stanford School of Medicine ont découvert que les chatbots populaires perpétuent des idées racistes et médicalement démystifiées.
Lorsque les chercheurs leur ont posé des questions, des chatbots tels que ChatGPT et Bard de Google ont répondu par une série d’idées fausses et de contrevérités sur les patients noirs. Les experts craignent que ces systèmes ne causent de graves dommages et ne renforcent les formes de racisme médical.
Le rapport révèle que les quatre modèles testés (ChatGPT et le plus avancé GPT-4, tous deux d’OpenAI ; Bard de Google et Claude d’Anthropic) ont échoué lorsqu’on leur a demandé de répondre à des questions médicales sur la fonction rénale, la capacité pulmonaire et l’épaisseur de la peau. Dans certains cas, ils semblent renforcer des idées fausses de longue date sur les différences biologiques entre les Noirs et les Blancs. On sait que ces croyances erronées ont conduit les prestataires de soins médicaux à évaluer la douleur des patients noirs à un niveau inférieur, à diagnostiquer à tort les problèmes de santé et à recommander moins de soulagement.
OpenAI et Google ont déclaré en réponse à la recherche qu’ils s’efforçaient de réduire les biais dans leurs modèles, tout en informant les utilisateurs que les chatbots ne remplacent pas les professionnels de la santé. Google indique que les gens « ne devraient pas compter sur Bard pour obtenir des conseils médicaux ».
REGARDER AUSSI. Disney est critiqué pour ses extras générés par l’IA