Neues Tool erkennt versteckte Verzerrungen in medizinischen Trainingsdaten

Forscher haben ein Tool entwickelt, um versteckte Probleme in den riesigen Datensätzen aufzudecken, die zum Training medizinischer KI verwendet werden.

Das Tool durchsucht Trainingsdaten nach subtilen Mustern, die KI-Modelle zu falschen Schlussfolgerungen führen und möglicherweise die Patientenversorgung gefährden könnten. Ziel der Arbeit ist es, Forschern und Regulierungsbehörden dabei zu helfen, künstliche Intelligenz für den klinischen Einsatz in der Praxis zuverlässiger und vertrauenswürdiger zu machen.

Die Modelle, die die Präzisionsmedizin vorantreiben, lernen, aus den Daten, auf denen sie trainiert werden, klinische Ergebnisse abzuleiten. In vielen Fällen funktioniert das hervorragend, kann aber auch zu interessanten Fehlern führen, die nicht sofort erkennbar sind. Das von uns entwickelte Tool gibt Ihnen ein klares Verständnis darüber, welche Elemente von Metadaten das größte Risiko für eine Verzerrung Ihres Modells darstellen.“

Mathias Unberath, leitender Autor, Experte für KI-gestützte Medizin, Johns Hopkins University

Die Arbeit, eine Zusammenarbeit zwischen Johns Hopkins und der US-amerikanischen Food and Drug Administration, wurde kürzlich in veröffentlicht npj Digitale Medizin.

Das „Phänomen des klugen Hans“ bezieht sich auf ein Pferd namens Hans, das Anfang des 20. Jahrhunderts dafür bekannt wurde, rechnen zu können, indem es mit dem Huf die richtigen Antworten eintippte. Es stellte sich heraus, dass Hans nicht rechnen konnte, aber ziemlich gut darin war, die Körpersprache seines Menschen zu lesen, die ihm ungewollt verriet, wie er reagieren sollte.

Medizinische KI-Modelle können Hans sehr ähnlich sein, sagte Unberath, indem sie Schlussfolgerungen ziehen, indem sie die falschen Signale interpretieren.

„Models nutzen die gleichen Abkürzungen“, sagte er und verwies auf eine KI, die darauf trainiert ist, das Geschlecht einer Person anhand ihrer Augen genau vorherzusagen. Es stellte sich heraus, dass das Modell auf dem Vorhandensein von Mascara und nicht auf biologischen Merkmalen beruhte.

„Wir trainieren Modelle so, dass sie möglichst prädiktiv sind, haben aber keinerlei Kontrolle darüber, was das Modell für die Vorhersage verwendet.“

Das Tool des Teams erkennt das Potenzial für solche fehlerhaften Assoziationen.

Während andere Sicherheitsmaßnahmen basierend auf der Leistung eines KI-Modells entwickelt haben, untersucht dieses neue Tool namens Generalized Attribute Utility and Detectability-Induced Bias Testing (G-AUDIT) die Trainingsdaten selbst auf Anzeichen dafür, dass ein Modell aus unbeabsichtigten Hinweisen und nicht aus klinisch bedeutsamen Signalen lernen könnte.

„Das Aufregendste ist, wie sich dadurch die Art und Weise verändert, wie wir arbeiten“, sagte Co-Autor Mitchell Pavlak, Doktorand in Unberaths Labor an der Johns Hopkins University. „Wir überprüfen unsere Arbeit nicht im Nachhinein. Wir analysieren die Daten, um herauszufinden, was wahrscheinlich ein Problem darstellt.“

G-AUDIT identifiziert und ordnet Attribute in den Daten, die dazu führen könnten, dass die KI möglicherweise falsche Schlussfolgerungen zieht.

Die Forscher testeten es anhand einer Reihe medizinischer Daten, darunter Bilder, Text und Tabellenkalkulationen. Dabei wurden versteckte Mängel in der Datenerfassung, den Bildgebungsbedingungen und anderen Elementen aufgedeckt, die wahrscheinlich zu fehlerhaften Schlussfolgerungen über die Gesundheit eines Patienten führen könnten.

Ein Hautkrebs-Datensatz enthielt beispielsweise Bilder aus einer Krebsklinik, die eine Hochrisikogruppe betreute, und Bilder aus einer Klinik für Allgemeindermatologie, in der weniger Krebsfälle auftraten. Da die Qualität der Bildgebungssysteme in den Kliniken unterschiedlich war, konnte eine anhand des Datensatzes trainierte KI fälschlicherweise schlussfolgern, dass die Kameraqualität ein wichtiger Prädiktor für Krebs ist. Oder sogar, dass das Vorhandensein von Linealen in Bildern Krebs vorhersagt, weil die Krebsklinik dazu neigte, Lineale in Bilder einzubauen, um die Größe von Wucherungen im Laufe der Zeit zu verfolgen.

„Stellen Sie sich vor, diesen Algorithmus mit einer Smartphone-Kamera in die reale Welt zu übertragen“, sagte Unberath. „Es gibt kein Lineal. Die Kameraqualität ist völlig irrelevant. Aber das Modell hat gelernt, ‚Lineal‘ und ‚Kamera‘ zu assoziieren.“ Sie haben gerade gesundheitliche Ungleichheit geschaffen.“

Das Team plant, das Tool weiter auszubauen und zu erweitern, das seiner Meinung nach für den Einsatz außerhalb des Gesundheitswesens angepasst werden könnte.

„Die Kernaussage ist, dass die Leute derzeit Modelle prüfen, aber nicht wirklich wissen, worauf sie prüfen sollen. Wir ändern das“, sagte Unberath. „Wenn Sie nur Dinge prüfen, die Ihnen am Herzen liegen, übersehen Sie wahrscheinlich viele Dinge, die zu falschen Korrelationen führen könnten.“

Quellen: