Können Ärzte nicht ersetzen: ChatGPT und ähnliche Tools stellen schlechte Diagnosen

(Patria) - Künstliche Intelligenz-Tools wie der beliebte ChatGPT sind nicht gut darin, Diagnosen zu stellen, so das Ergebnis einer heute veröffentlichten Studie, während der medizinische Nutzen von KI weltweit genau geprüft wird.

Die Studie, deren Ergebnisse im Fachjournal Nature Medicine veröffentlicht wurden und an 1.300 Menschen im Vereinigten Königreich durchgeführt wurde, zeigt, dass mehrere KI-Modelle – ChatGPT, Llama (Meta) oder Command R+ – keine besseren Ergebnisse liefern als eine einfache Internetrecherche, wenn ein Patient nach seinen Symptomen gefragt wird.

„Es herrscht große Aufregung über KI-Modelle, aber sie sind einfach nicht bereit, Ärzte zu ersetzen“, erklärte die Forscherin der Universität Oxford und Koautorin der Studie, Rebecca Payne.

Die Studienteilnehmer waren nicht wirklich krank. Sie nahmen an einer Art Rollenspiel teil: Die Forscher teilten ihnen zehn verschiedene Symptomsets zu, zu denen in der medizinischen Fachgemeinschaft ein Konsens über die entsprechende Diagnose besteht.

Nur bei einem Drittel der Teilnehmer wurde die richtige Diagnose gestellt. Das ist nicht besser als in der Gruppe, die sich mit einer klassischen Internetrecherche begnügen musste.

Dennoch haben einige Studien gezeigt, dass ChatGPT und andere Modelle medizinische Prüfungen erfolgreich bestehen können: In der Rolle eines Medizinstudenten vor beispielsweise Multiple-Choice-Fragen schlagen sich die KI-Systeme gut.

Diese neue Studie zeigt jedoch, dass sich die Situation ändert, wenn es um die Interaktion mit echten Menschen geht. Diese können nämlich bei der Beschreibung ihrer Symptome ungenau sein und nicht alle Schlüsselelemente liefern, so die Forscher.

Diese Studie ist Teil der großen Debatten über den potenziellen Beitrag künstlicher Intelligenz zu medizinischen Informationen, da in vielen Ländern, auch in entwickelten, oft lange auf einen Arzttermin gewartet werden muss.

In Frankreich soll sich die Hohe Gesundheitsbehörde (HAS) bald zum Nutzen der direkten Nutzung von KI für Patienten äußern. Bereits Ende 2025 hatte sie eingeschätzt, dass diese Tools medizinischem Fachpersonal helfen könnten, wenn sie vernünftig eingesetzt werden.

Die heute veröffentlichte Studie hat gewisse Einschränkungen, wie die Methodik, die auf fiktiven Szenarien basiert. Die verwendeten Modelle wurden zudem inzwischen weitgehend durch leistungsfähigere Versionen ersetzt.

– Aber dies ist eine sehr wichtige Studie, die betont, dass Chatbots echte medizinische Risiken für die breite Öffentlichkeit darstellen – erklärte der Bioethik-Experte der Universität im niederländischen Maastricht, David Shaw, gegenüber AFP.