Studie zeigt, wie fehlerhafte KI-Reaktionen die Arbeitsbelastung von Ärzten erhöhen

Künstliche Intelligenz breitet sich im Gesundheitswesen rasant aus, mit dem Ziel, kritische, aber lästige Büroaufgaben wie Notizen und Diagramme zu rationalisieren, damit Ärzte und Pflegekräfte mehr Zeit für Patienten verwenden können.

Aber selbst wenn KI Ärzten die Möglichkeit geben kann, mit Patienten zu korrespondieren, kann sie ihnen dabei möglicherweise nicht helfen, indem sie Fehler und irrelevante Details in ihre Nachrichten einfügt, so eine neue Dartmouth-Studie, die auf der Jahrestagung 2026 der Association for Computational Linguistics vorgestellt und im Tagungsband veröffentlicht wurde.

Das Ergebnis ist, dass Ärzte möglicherweise mehr Zeit damit verbringen, Antworten zu bearbeiten, als sie zum Verfassen benötigt hätten, berichten die Forscher.

„Wir finden diese KI kann wie ein Arzt klingen, aber nicht wie einer denken“, sagt Sarah Preum, Assistenzprofessorin für Informatik und Korrespondenzautorin der Studie zusammen mit Parker Seegmiller, einem Doktoranden am PersistLab von Preum in Dartmouth.

Die Forscher führten die erste groß angelegte Studie eines Online-Patientenportals durch, das mithilfe von KI Antworten von Ärzten an Patienten verfasst. Das Team entwickelte ein Tool, das KI-generierte Antworten mit einem Datensatz realer Antworten vergleicht, den sie gemeinsam mit Gesundheitsexperten von Dartmouth Health entwickelt haben.

Anschließend analysierten sie 146.000 Gespräche zwischen 10.105 Patienten und ihren Hausärzten im großen ländlichen Gesundheitssystem. Die Studie wurde vom Dartmouth Health Institutional Review Board genehmigt und das Team nutzte die erforderlichen Methoden zum Schutz der Privatsphäre der Patienten, einschließlich der erforderlichen Anonymisierung der Daten.

Die Forscher nutzten ihr Tool auch, um die von Claude, Gemini und ChatGPT sowie den drei kleineren kommerziellen Plattformen Llama, Aloe und Qwen verfassten Antworten von Ärzten auszuwerten.

Wir finden, dass KI wie ein Arzt klingen kann, aber nicht wie einer denken kann.“

Sarah Preum, korrespondierende Autorin und Assistenzprofessorin für Informatik

Das Team berichtet, dass KI-generierte Antworten häufig nicht mit dem übereinstimmen, was Ärzte tatsächlich schreiben würden. Dazu gehören automatisierte Antworten, die zu lang sind, keine Folgefragen stellen und irrelevante oder ungenaue medizinische Angaben enthalten.

„Es gibt kleinere Studien, die sagen: ‚Oh, KI ist erstaunlich‘, aber wir haben festgestellt, dass es in der vorhandenen Literatur eine Lücke für eine groß angelegte Bewertung dieser Technologie gibt“, sagt Preum. „Wir wollten nicht nur die Genauigkeit einer Plattform messen, sondern auch, ob sie tatsächlich bei der Arbeitsbelastung hilft, die in diesem Fall daran gemessen wird, wie viel Bearbeitung der Arzt vornimmt.“

Die KI des Portals schlug beispielsweise vor, einer 32-jährigen Frau, die ein Medikament gegen sauren Reflux einnimmt und sich Sorgen wegen ständiger Übelkeit macht, zu sagen, dass das Medikament möglicherweise eine Umstellung der Ernährung erfordern würde. Ein Arzt ersetzte dies durch die Frage, ob die Möglichkeit bestehe, dass sie schwanger sei.

Selbst kleine Änderungen können sich über Hunderte oder Tausende von Nachrichten summieren, sagt Preum. „Man möchte keine großen Sprachmodelle in den Arbeitsablauf integrieren und den Engpass einfach so verschieben, dass Ärzte ihre kognitive Energie darauf verwenden, KI-Hausmeister zu spielen und Fehler zu beheben“, sagt Preum. „Aber wenn wir nicht aufpassen, ist das ein wahrscheinliches Ergebnis.“

Die Forscher zeigen jedoch, dass die Anpassung der KI an die Art und Weise, wie einzelne Ärzte kommunizieren, die Genauigkeit um 33 % verbessern und die Bearbeitung um 26 % reduzieren kann.

„Wenn die Nachrichtengenerierung wirklich effizient und von hoher Qualität ist, wenn sie die richtigen Dinge fragt, dann hat sie tatsächlich Potenzial zur Effizienzsteigerung“, sagt Co-Autor Tim Burdick, außerordentlicher Professor für Gemeinschafts- und Familienmedizin an der Geisel School of Medicine in Dartmouth und Hausarzt bei Dartmouth Health.

„Ich erwarte keine Zeit, in der das Portal auf einen Patienten reagieren kann, ohne dass ein Arzt es zuerst bearbeitet. Aber wenn wir die Modelle verbessern, werden wir in der Lage sein, Portalnachrichten viel schneller und mit weniger mentaler Energie zu bearbeiten“, sagt Burdick.

Die Studie zeigt, dass es so etwas wie „gute“ KI-Antworten gibt, und bietet einen Rahmen für deren Implementierung in Patienten-Arzt-Portalen, sagt Preum. Diese Plattformen seien in großen Gesundheitssystemen immer häufiger anzutreffen und oft individuell angepasst, sagt sie.

„Es hat lange gedauert, bis wir das herausgefunden haben, aber wenn man messen will, wie effektiv diese Technologie ist, muss man definieren, was eine gute Reaktion ist“, sagt sie. „Wir können nur verbessern, was wir messen und objektiv bewerten können.“

Die Forscher entwickelten eine Technik namens TADPOLE – oder Thematic Agentic Direct Preference Optimization for Learning Enhancement –, die KI-Plattformen mithilfe des Hybridmodells trainiert, das sie aus von Ärzten und KI generierten Antworten erstellt haben.

Sie schlossen TADPOLE in die sechs kommerziellen LLMs ein und stellten fest, dass die entworfenen Antworten besser den Standards der Ärzte für Präzision und Informationsqualität entsprachen. „Das könnte einem vielbeschäftigten Kliniker ein oder zwei Stunden Arbeit pro Tag ersparen“, sagt Burdick.

Ärzte und Pflegepersonal werden heute mit Nachrichten von Patienten und Pflegekräften überschwemmt, die sie jederzeit online schreiben können, sagt er. Ein laufendes Projekt zwischen Burdick und dem Preum Lab namens PortalPal zielt darauf ab, Patientenportale mithilfe von KI zu optimieren, unter anderem durch die Automatisierung einiger Schritte bei der Nachbetreuung von Patienten, um mehr Informationen zu erhalten.

Wir sind noch lange nicht an dem Punkt angelangt, an dem Ärzte aus dem Arbeitsablauf ausgeschlossen werden.“

Tim Burdick, Co-Autor und außerordentlicher Professor für Gemeinschafts- und Familienmedizin

Ärzte, mit denen Burdick zusammenarbeitet, sagen, dass KI-generierte Entwürfe bei kürzeren Nachrichten etwa 25 % ihrer Zeit einsparen. „Es ist einfacher, kleine Änderungen an einer LLM-generierten Nachricht vorzunehmen, als sie von Grund auf neu zu schreiben“, sagt er. Längere Entwürfe können jedoch Informationen enthalten, die nicht korrekt oder genau sind.

„Wenn Sie 75 % der Nachricht bearbeiten müssen, verbringen Sie möglicherweise mehr Zeit und Energie mit der Durchführung von Änderungen, als wenn Sie sie einfach von Grund auf neu schreiben würden“, sagt Burdick. „Ich würde vermuten, dass wir dahin gelangen müssen, dass der Arzt weniger als 30 % des Inhalts bearbeitet, bevor er einen wesentlichen Nutzen bringt.“

Ein Vorteil der Ausführlichkeit der KI besteht darin, dass sie tendenziell einfühlsamer und gründlicher ist als Ärzte, die unter Zeitdruck leiden, finden die Forscher. Beispielsweise kann KI einem Patienten mit Magenbeschwerden eher sagen, dass es leid tut, wenn ihm übel ist.

Dies bedeutet, dass KI eingesetzt werden könnte, um Ärzten dabei zu helfen, mehr Verständnis für die Situation des Patienten zu zeigen und sich um sie zu kümmern, oder die Fragen des Patienten effektiver zu beantworten, sodass sich die Patienten besser gehört fühlen, sagt Preum. Das Team erstellte Beispielantworten, wie z. B. das Zeigen von Empathie, indem es die Patienten dafür lobte, dass sie einen Behandlungsplan befolgten („Sie haben bei der Reduzierung Ihrer Medikamente hervorragende Arbeit geleistet.“) oder Änderungen der Symptome einplanen („Wenn Ihnen schwindelig ist, rufen Sie bitte die Triage an.“).

Die Forscher fanden außerdem heraus, dass 65 % aller von ihnen untersuchten Portalnachrichten von Personen über 55 stammten, wobei Patienten über 65 24 % aller Nachrichten generierten. Diese Zahlen deuten darauf hin, dass Patientenportale im Allgemeinen auf die Bedürfnisse älterer Menschen ausgelegt sein sollten, sagt Preum.

Zukünftige Arbeiten werden untersuchen, wie viel Zeit Ärzte tatsächlich mit der Bearbeitung automatisierter Entwürfe verbringen. Das Team plant außerdem, sein Trainingsmodell TADPOLE aus der Benutzerperspektive zu evaluieren und zu untersuchen, ob und wie es die Arbeitsbelastung eines Arztes erleichtert und wie Ärzte und Patienten seine Leistung bewerten.

„Dies ist eine der ersten Studien, die echte Patientenportalnachrichten nutzt, um ein generatives KI-Modell zu etablieren. In dieser Hinsicht ist es innovativ und zeigt uns, dass dies keine einfache Aufgabe ist“, sagt Burdick. „Wir sind noch lange nicht an dem Punkt angelangt, an dem Ärzte aus dem Arbeitsablauf ausgeschlossen werden.“

Burdick, Preum und Seegmiller arbeiteten mit den Co-Autoren Joseph Gatto zusammen, der dieses Jahr seinen Doktortitel in Dartmouth erhielt; Sarah Greer, eine ehemalige Ärztin bei Dartmouth Health; und 2026 Dartmouth-Absolventen Ganza Belise Isingizwe und Rohan Ray.

Quellen: