KI schlägt Hausärzte in simulierter Diagnosestudie mit Bildern und EKGs

Ein zustandsbewusstes medizinisches KI-System interpretierte Bilder, EKGs und klinische Dokumente während Live-Diagnose-Chats und übertraf damit Hausärzte bei simulierten Konsultationen. Gleichzeitig warf es dringende Fragen dazu auf, wie solche Tools vor der realen Pflege getestet werden sollten.

In einer kürzlich in der Zeitschrift veröffentlichten Studie Naturmedizinbeschreiben Forscher die Entwicklung einer multimodalen Erweiterung des Articulate Medical Intelligence Explorer, kurz AMIE. Das Modell ist darauf ausgelegt, ein zustandsbewusstes Argumentationsgerüst zu nutzen, um klinische Gespräche zu verwalten und visuelle Artefakte zu interpretieren. Anschließend führte die Studie eine randomisierte, verblindete explorative Studie mit 105 multimodalen klinischen Szenarien durch, die 210 simulierte telemedizinische Konsultationen ergab, in denen die Leistung von AMIE mit der von 19 staatlich geprüften Hausärzten (PCPs) verglichen wurde.

Die Studienergebnisse zeigten, dass das neuartige multimodale Modell PCPs in 29 von 32 Bewertungsachsen übertraf, einschließlich diagnostischer Genauigkeit und Beratungsqualitätsmetriken wie Empathie. Diese Ergebnisse deuten darauf hin, dass multimodale KI letztendlich die Gesundheitsversorgung aus der Ferne unterstützen könnte, bis die Validierung in der Praxis erfolgt.

Multimodaler klinischer KI-Hintergrund

Die globale Gesundheitsversorgung dokumentiert zunehmend Morbiditätsrisiken, die mit einem verzögerten Zugang zur Gesundheitsversorgung verbunden sind. Experten führen dieses Muster auf den zunehmenden Druck durch Burnout bei Ärzten, Fragmentierung der Versorgung und eine alternde Weltbevölkerung zurück. Während generative KI gezeigt hat, dass sie das Potenzial hat, diese Herausforderungen zu mildern, beschränkten sich frühe Implementierungen medizinischer Large Language Models (LLM) weitgehend auf Nur-Text-Chatbots.

Untersuchungen in diesem Bereich zeigen, dass diese „Nur-Text“-Beschränkung von der klinischen Standardpraxis abweicht, bei der viele diagnostische Informationen aus der Anamnese und körperlichen Untersuchung abgeleitet werden können, oft ergänzt durch visuelle Daten.

Diese Einschränkungen zeigen sich insbesondere in Fernversorgungsumgebungen, in denen Patienten Berichten zufolge häufig multimodale Informationen wie mit dem Smartphone aufgenommene Hautfotos, Elektrokardiogramm-(EKG)-Aufzeichnungen oder gescannte Laborberichte mit ihren Ärzten austauschen.

AMIE multimodales Reasoning-Studiendesign

Die vorliegende Studie zielte darauf ab, diese anhaltende Einschränkung der medizinischen KI zu beheben, indem ein multimodales System entwickelt wurde, das die strukturierte Argumentation erfahrener Kliniker nachbilden kann, indem diese visuellen Artefakte während einer Live-Diagnosekonsultation strategisch abgefragt und interpretiert werden.

Das System erhielt den Namen „AMIE“ und basierte auf dem Gemini 2.0 Flash-Grundmodell, das durch ein neuartiges „zustandsbewusstes“ Inferenz-Zeit-Argumentations-Framework erweitert wurde. Die benutzerdefinierte Architektur von AMIE wurde entwickelt, um dem Modell die Aufrechterhaltung eines internen „Patientenstatus“ zu ermöglichen, der die Hauptbeschwerden jedes Patienten, die Vorgeschichte aktueller Krankheiten und priorisierte Wissenslücken verfolgt.

Während des klinischen Einsatzes wurde das Framework entwickelt, um die diagnostische Beratung gezielt durch drei aufeinanderfolgende Phasen zu leiten:

Anamnese, bei der das System das Profil eines Patienten iterativ aktualisiert und Informationslücken identifiziert. Darüber hinaus bestimmt das Modell, ob und wann multimodale Artefakte angefordert werden müssen, um das Verständnis der klinischen Vorgeschichte des Patienten zu verbessern.

Diagnose und Management, bei dem das System einen Differentialdiagnosebericht (DDx) erstellt, der patientenbezogene Erklärungen und Managementanleitungen für die relevantesten identifizierten Erkrankungen bietet.

Nachsorge, bei der die KI alle Bedenken des Patienten verarbeitet und klärt und den endgültigen Behandlungsplan kommuniziert, um Klarheit für den Patienten oder das Pflegepersonal zu gewährleisten.

Die Modellleistung wurde mithilfe eines für synchronen Chat angepassten Objective Structured Clinical Examination (OSCE)-Formats validiert, in dem AMIE im Vergleich zu 19 Hausärzten (Primary Care Doctors, PCPs) bewertet wurde. Die Patientenkohorte umfasste 25 validierte Patientenakteure, die an 210 Konsultationen teilnahmen, zwei pro Szenario.

Die Untersuchungsszenarien basierten auf realen Datensätzen: dem Skin Condition Image Network (SCIN) für Dermatologie, PTB-XL für EKG-Aufzeichnungen und kuratierten klinischen Dokumenten.

Die Leistung wurde von 18 Fachärzten anhand der multimodalen Rubrik Understanding and Handling (MUH), der Practical Assessment of Clinical Examination Skills (PACES) und des General Medical Council Patient Questionnaire (GMCPQ) bewertet.

Diagnosegenauigkeit und Beratungsergebnisse

Die OSCE-Bewertungsdaten zeigten, dass das multimodale AMIE erhebliche Leistungsvorteile gegenüber PCPs sowohl bei der objektiven Genauigkeit als auch bei den subjektiven Qualitätsmaßen aufwies, 29 der 32 bewerteten Metriken.

Bei der Bewertung der diagnostischen Genauigkeit bestätigte die statistische Modellierung, dass die DDx-Listen der KI genauer und umfassender waren als die von menschlichen Ärzten (P < 0,001). Obwohl die Genauigkeit über Listen mit 1 bis 10 Diagnosen analysiert wurde, reichten weder AMIE noch PCPs immer 10 Differenzialdiagnosen ein. Über alle Modalitäten hinweg übertraf die Top-K-Genauigkeit der KI bei Listen mit 1 bis 10 Diagnosen durchweg die PCP-Leistung.

In einer separaten automatisierten Ablationsanalyse über klinische Dokumentszenarien hinweg erreichte die Top-1-Genauigkeit der KI 0,98, verglichen mit 0,89 für das „Vanilla“-Basismodell Gemini 2.0 Flash, was darauf hindeutet, dass zustandsbewusstes Denken die Leistung über das Basismodell allein hinaus verbesserte.

Bei der Bewertung des multimodalen Denkens und der allgemeinen Robustheit begünstigten Expertenbewertungen unter Verwendung der MUH-Rubrik die KI in 7 von 9 Metriken. AMIE erwies sich als besonders robust gegenüber Schwankungen in der Bildqualität, wobei Bilder von geringer Qualität bei PCPs zu einem größeren Rückgang der Diagnoseleistung führten als bei AMIE. In dieser simulierten Auswertung zeigte AMIE auch weniger und weniger folgenreiche artefaktbezogene Falschmeldungsereignisse als PCPs (P < 0,001).

Darüber hinaus bewerteten Patientenakteure die KI bei 10 von 11 GMCPQ-Kriterien, einschließlich Empathie und Zuhören, deutlich besser. Bei multimodalen Aufgaben wurde die KI hinsichtlich ihrer Fähigkeit, Erkenntnisse zu erklären, besser bewertet (P < 0,01).

Konversationsdiagnostische KI-Implikationen

Die vorliegende Studie verwendet Daten, die für reale klinische Szenarien repräsentativ sind, um zu verdeutlichen, wie die Integration von Wahrnehmungserdung und zustandsbewusstem Denken es modernsten KI-Modellen ermöglicht, in diesen simulierten Diagnoseumgebungen eine Leistung zu erzielen, die der von PCPs entspricht oder diese übertrifft.

Trotz dieser Ergebnisse weisen die Forscher darauf hin, dass es sich bei der Studie um eine explorative Untersuchung und nicht um eine randomisierte klinische Studie handelt. Zukünftige Arbeiten müssen die Leistung, Sicherheit, Zuverlässigkeit, Auswirkungen auf klinische Arbeitsabläufe und gesundheitliche Chancengleichheit des Systems in realen Umgebungen bewerten, bevor ein klinischer Einsatz in Betracht gezogen werden kann.

Laden Sie Ihr PDF-Exemplar herunter, indem Sie hier klicken.

Quellen: