KI-Modelle können die Verzerrung bei Vorhersagen psychiatrischer Aggression verstärken

Eine einzigartige Studie unter der Leitung von Forschern des Center for Addiction and Mental Health (CAMH) hat herausgefunden, dass Modelle der künstlichen Intelligenz (KI), die zur Vorhersage aggressiver Vorfälle in der akuten psychiatrischen Versorgung eingesetzt werden, bestehende soziale und strukturelle Ungleichheiten verstärken und verstärken können, indem sie die Wahrscheinlichkeit von Aggression unter bereits marginalisierten Gruppen überschätzen. Die Ergebnisse wurden kürzlich in veröffentlicht npj-Forschung zur psychischen Gesundheitunterstreichen die Bedeutung einer sorgfältigen Bewertung, um sicherzustellen, dass KI-Tools im klinischen Umfeld keinen dauerhaften Schaden anrichten, sondern eine gerechtere Versorgung fördern.

Während die Fairness klinischer KI-Tools in anderen Bereichen evaluiert wurde, zeigt diese Studie eine kritische Lücke in der psychischen Gesundheitsversorgung auf, da Beurteilungen, die zum Trainieren von KI-Modellen verwendet werden, häufig auf subjektiven Beobachtungen basieren, die von zugrunde liegenden sozialen und strukturellen Vorurteilen geprägt sind. Wenn keine Fairness eingebaut ist, kann der klinische Einsatz von KI-Modellen zu erheblichem Stress und Vertrauensverlust führen und sogar aggressive Vorfälle auslösen, die sonst nicht vorgekommen wären. Es besteht ein klarer Bedarf an der Entwicklung von KI-Anwendungen, die Gerechtigkeit in den Mittelpunkt stellen und fördern.“

Dr. Marta Maslej, wissenschaftliche Mitarbeiterin am Krembil Center for Neuroinformatics (KCNI) und leitende Co-Autorin der Studie

Die Ergebnisse unterstreichen die Bedeutung der Fairness-Analyse

Mehrere Gesundheitssysteme in den Niederlanden, der Schweiz, China, den USA und Kanada haben den Einsatz von KI-Modellen zur Vorhersage aggressiven oder gewalttätigen Verhaltens geprüft oder erwägen dies, um ein früheres Eingreifen und eine gezielte Deeskalation zu ermöglichen. Es wurde jedoch nur wenig Forschung untersucht, ob diese Instrumente bei allen Patientenpopulationen gleichermaßen funktionieren – insbesondere in der Psychiatrie, wo soziale und strukturelle Faktoren die Pflegeerfahrungen stark beeinflussen.

Um diese Lücke zu schließen, trainierte das Forschungsteam ein maschinelles Lernmodell (eine Form der KI) auf elektronischen Gesundheitsakten von mehr als 17.000 stationären CAMH-Patienten und untersuchte, wie sich Vorhersagefehler bei sich überschneidenden sozialen und demografischen Faktoren, einschließlich Rasse, Geschlecht und sozialem Kontext, unterschieden. Das Modell zeigte eine deutliche Verzerrung, wobei höhere Falsch-Positiv-Raten für Schwarze und Personen aus dem Nahen Osten, Männer, Patienten, die von der Polizei in die Notfallversorgung eingeliefert wurden, und solche mit instabilen oder unterstützenden Wohnformen gemeldet wurden. Diese Ergebnisse deuten darauf hin, dass das Modell möglicherweise bereits übermäßig überwachte oder strukturell benachteiligte Gruppen überproportional als Hochrisikogruppen kennzeichnet und möglicherweise klinische Entscheidungen auf eine Weise beeinflusst, die die Ungleichheiten verschärft.

Förderung einer gerechten KI in der psychischen Gesundheitsfürsorge

Die Ergebnisse verdeutlichen, dass Fairness kein zweitrangiger Aspekt, sondern eine zentrale Voraussetzung für die sichere Implementierung von KI in psychiatrischen Einrichtungen ist. Die Studie ist Teil des umfassenderen Engagements von CAMH, die verantwortungsvolle und patientenzentrierte Implementierung von KI in der psychischen Gesundheitsversorgung voranzutreiben, die auf Ethik, Transparenz und Vertrauen basiert.

Im Rahmen dieser Arbeit wurde das KCNI Predictive Care Lab unter der gemeinsamen Leitung von Dr. Laura Sikstrom und Marta Maslej treiben die Forschung voran, um die realen Auswirkungen von KI auf die psychische Gesundheitsversorgung besser zu verstehen und anzugehen. Mithilfe eines preisgekrönten rechnerisch-ethnografischen Ansatzes zielt das Labor darauf ab, potenzielle Schäden zu identifizieren und anzugehen und gleichzeitig KI-Systeme zu entwickeln, die Gerechtigkeit fördern und die Ergebnisse für Einzelpersonen und Gemeinschaften verbessern. Direkt auf den Erkenntnissen dieser Studie aufbauend, sicherte sich das Team kürzlich Mittel des Canadian Institutes of Health Research (CIHR) für die Mitentwicklung eines KI-Tools der nächsten Generation namens FARE+, das darauf abzielt, die Treiber voreingenommener Vorhersagen zu identifizieren und Strategien zu deren Abschwächung zu entwickeln – was zu einer gerechteren und klinisch aussagekräftigeren Risikobewertung führt.

„Es besteht das Potenzial, KI zu nutzen, um historische und anhaltende Ungleichheiten in unserem Gesundheitssystem zu beseitigen, indem wir von der binären Risikovorhersage zu stärker patientenzentrierten Instrumenten übergehen“, sagt Dr. Laura Sikstrom. „Durch den Übergang von der individuellen Risikovorhersage zur systemischen Voreingenommenheitserkennung treibt diese Forschung ein neues Paradigma für KI in der psychischen Gesundheitsversorgung voran – eines, das Gerechtigkeit, gesundheitliche Chancengleichheit und das Wohlergehen von Patienten und Personal in den Vordergrund stellt.“

Die Studie wurde von Yifan Wang, ehemaliger Forschungspraktikant am KCNI und aktueller Medizinstudent an der University of Ottawa, in Zusammenarbeit mit leitenden Forschern am KCNI geleitet und durch einen SSHRC Insight Development Grant und einen Google Award for Inclusion Research unterstützt.

Quellen: