KI-gestützte Chatbots sind nicht besser als schriftliche Materialien zur öffentlichen Gesundheit zur Impfförderung

Eine neue, von Penn geleitete, randomisierte, kontrollierte Studie hat herausgefunden, dass KI-gestützte Chatbots die Wahrscheinlichkeit erhöhen können, dass impfzögernde Eltern sagen, dass sie ihre Kinder gegen das humane Papillomavirus (HPV) impfen werden, allerdings nicht mehr als standardmäßige schriftliche öffentliche Gesundheitsmaterialien.

Die Ergebnisse werfen Fragen darüber auf, wann, wie und in welchem ​​Ausmaß KI die Kommunikation im Bereich der öffentlichen Gesundheit verbessert. „Einen Chatbot mit nichts zu vergleichen, ist kein wirklich fairer Test. Die interessante Frage ist, ob er besser abschneidet als das, was öffentliche Gesundheitsbehörden bereits auf dem Markt haben. In unserer Studie war das nicht der Fall“, sagt Sharath Chandra Guntuku, Research Associate Professor für Computer- und Informationswissenschaft (CIS) und leitende Autorin der Studie.

Beschrieben in einem neuen Artikel in JAMA-Netzwerk geöffnetDie Studie, an der fast 1.300 Teilnehmer in den Vereinigten Staaten, dem Vereinigten Königreich und Kanada teilnahmen, ergab, dass skeptische Eltern, die mit den Chatbots interagierten, eher als diejenigen, die keine Intervention erhielten, angaben, dass sie beabsichtigten, ihre Kinder zu impfen.

Aber wenn man ein paar Minuten damit verbrachte, online bereitgestellte Standardmaterialien über die Vorteile des HPV-Impfstoffs von staatlichen Gesundheitsbehörden wie den Centers for Disease Control and Prevention (CDC) zu lesen, hatte man im Wesentlichen den gleichen Effekt.

Es wäre einfach gewesen, einen KI-Chatbot ohne Intervention oder mit einer sehr schwachen Kontrollbedingung zu vergleichen und ein positives Ergebnis zu finden. Aber wir wollten wissen, ob der Chatbot einen Mehrwert bietet, der über das hinausgeht, was öffentliche Gesundheitsbehörden bereits bieten.“

Neil Sehgal, Doktorand in CIS und Erstautor der Studie

Das Versprechen und die Herausforderung von KI für die öffentliche Gesundheit

Da Chatbots immer leistungsfähiger und weit verbreiteter werden, haben Forscher auf der ganzen Welt damit begonnen, zu untersuchen, inwieweit KI die Meinung der Menschen ändern kann – eine Frage, die durch die zunehmende Impfskepsis umso dringlicher wird.

Vor zwei Jahren ergab eine Studie, dass ein KI-gestützter Chatbot den Glauben an Verschwörungstheorien reduzieren könnte. Letztes Jahr ergab eine randomisierte kontrollierte Studie in China, dass der Zugang von Eltern zu einem Chatbot die Wahrscheinlichkeit erhöht, dass sie ihre Töchter entweder gegen HPV impfen oder einen Termin dafür vereinbaren.

Doch das Design dieser und ähnlicher Studien macht es oft schwierig, die Wirksamkeit der Chatbots zu beurteilen. In der chinesischen Studie wurde beispielsweise ein zweiwöchiger Zugriff auf den Chatbot mit keiner Intervention verglichen, sodass unklar ist, ob andere überzeugende Inhalte, wie Standardmaterialien zur öffentlichen Gesundheit, eine ähnliche Wirkung gehabt hätten.

„Neu ist hier der Vergleich mit einer starken, realistischen Kontrolle“, sagt Alison M. Buttenheim, Professorin für Pflege- und Gesundheitspolitik in der Familien- und Gemeindegesundheit und Mitautorin der Studie.

Testen von KI anhand eines strengeren Standards

Im Gegensatz dazu legte das Penn-Team strenge Richtlinien fest, um den Chatbot so vergleichbar wie möglich mit vorhandenen Materialien zur öffentlichen Gesundheit zu machen und seine Auswirkungen im Laufe der Zeit zu bewerten: Teilnehmer, die dem Chatbot oder den schriftlichen Materialgruppen zugeordnet waren, wurden jeweils für die gleiche Mindestzeit von 3 Minuten ausgesetzt, und alle Teilnehmer wurden 15 und 45 Tage nach den Interventionen auf ihre Absicht untersucht, ihre Kinder zu impfen.

Unter diesen strengeren Bedingungen brachten die innovativen Funktionen der Chatbots – einschließlich ihrer Fähigkeit, in Echtzeit mit den Eltern zu kommunizieren – im Wesentlichen keinen zusätzlichen Nutzen, obwohl die Eltern mehr Zeit mit der Beschäftigung mit den Chatbots als mit den schriftlichen Materialien verbrachten.

„Während Chatbot-Gespräche Absichten sofort umsetzen können“, sagt Lyle Ungar, Professor am CIS und Mitautor der Studie, „schwand ihr Vorteil im Vergleich zu gut gestalteten Materialien zur öffentlichen Gesundheit und blieb nicht über die Zeit bestehen.“

Tatsächlich äußerten Teilnehmer, denen die Lektüre der Materialien zur öffentlichen Gesundheit zugewiesen worden war, nach 45 Tagen eine größere Absicht, ihre Kinder zu impfen, als diejenigen, die mit den Chatbots interagierten oder keine Intervention erhielten.

„KI-Chatbots sind vielversprechend, aber man sollte nicht davon ausgehen, dass sie bestehende Tools übertreffen, nur weil sie neuer oder interaktiver sind“, fügt Guntuku hinzu. „Eine kurze Lektüre einer CDC-Webseite hielt mindestens so gut durch wie ein Chatbot-Gespräch, und die Wirkung hielt tatsächlich länger an.“

Die Herausforderung, die Absicht in die Tat umzusetzen

Die Forscher warnen davor, dass die Mindesteinwirkungszeit für jede Intervention die tatsächliche Stärke solcher schriftlichen Materialien zur öffentlichen Gesundheit überbewerten könnte. „Würden sich alle HPV-Impfstoff-zögerlichen Eltern dafür entscheiden, volle drei Minuten auf der CDC-Webseite zu verbringen?“ fragt Sehgal. „Vielleicht, vielleicht auch nicht; Chatbots sind sicherlich interaktiver.“

Letztendlich erhöhte keine der Interventionen – weder die schriftlichen Materialien noch die Chatbots – den Anteil der Eltern, die angaben, dass ihre Kinder innerhalb des 45-Tage-Fensters der Studie tatsächlich den HPV-Impfstoff erhalten hatten, was die Herausforderung unterstreicht, die Impfskepsis anzugehen.

Es sei möglich, sagen die Forscher, dass die Studie einfach zu kurz war und sich die Interventionen zu sehr auf die Kommunikation konzentrierten und nicht auf strukturelle Hindernisse für die medizinische Versorgung wie Zeit, Geld und Zugang zu einem Kinderarzt, als dass die Teilnehmer ihre Kinder in größerer Zahl impfen konnten.

„Impfen ist mehr als ein Kommunikationsproblem“, sagt Buttenheim. „Auch wenn die Interventionen die Meinung mancher Eltern verändert haben, braucht es viel, um die Absicht in die Tat umzusetzen.“

Auf dem Weg zu evidenzbasierter KI für die öffentliche Gesundheit

Als nächstes hoffen die Forscher, den Einsatz von KI in komplexeren Szenarien zu testen, in denen Chatbots weniger als einmalige Gesprächspartner als vielmehr als medizinische Concierges fungieren und dabei helfen, Termine zu planen, Erinnerungen zu versenden und mit Ärzten in Kontakt zu treten. „Ein Chatbot könnte nützlicher sein, wenn er mit anderen Funktionen kombiniert wird“, bemerkt Ungar.

Das Penn-Team weitet diese Arbeit auch auf globale Gesundheitsumgebungen aus, einschließlich Studien zur KI-gestützten Impfstoffkommunikation in Nigeria. Ziel ist es zu verstehen, wie Chatbot-Interventionen an lokale Kontexte angepasst werden können, anstatt sie einfach aus Studien zu exportieren, die in den Vereinigten Staaten, dem Vereinigten Königreich und Kanada durchgeführt wurden. „Damit KI-Tools für die öffentliche Gesundheit nützlich sind, müssen sie in den Gemeinden evaluiert werden, in denen sie tatsächlich eingesetzt werden könnten“, sagt Sehgal. „Das bedeutet, mit Partnern zusammenzuarbeiten, um Anliegen, Sprache, Vertrauen und Zugang zu verstehen, und nicht nur eine Chatbot-Eingabeaufforderung zu übersetzen.“

Letztendlich hoffen die Forscher, dass ihre Arbeit einen stärker evidenzbasierten Ansatz für den Einsatz von KI für die öffentliche Gesundheit fördert. „Wir müssen KI-Tools anhand realistischer Alternativen bewerten“, sagt Guntuku. „Es ist an der Zeit, das Gespräch von der Frage ‚Kann KI Menschen überzeugen?‘ zu verlagern. hin zu detaillierteren Fragen wie „Wann bietet KI einen sinnvollen Mehrwert, für wen und unter welchen Bedingungen?“

Quellen: