Tübingen/New York – Ärzte bewerten zwar die konkreten Antworten des Large Language Models ChatGPT zum Thema Prostatakarzinom positiv. Sie stehen den von einer Künstlichen Intelligenz (KI) generierten Inhalten aber im Allgemeinen kritisch gegenüber.
Das zeigt die Umfrage eines internationalen Studienteams – sie ist in der Fachzeitschrift Urology Practice erschienen (2024; DOI: 10.1097/UPJ.0000000000000740). An der Umfrage nahmen mehr als 700 Onkologen oder Urologen teil, die Patienten mit Prostatakrebs behandeln. Die Teilnehmer wussten nicht, dass es sich um eine Umfrage zur Bewertung von KI handelte.
Im ersten Studienteil erhielten die Teilnehmer (n = 602) die Antworten auf neun Fragen zum Prostatakarzinom. Diese Antworten stammten von medizinischen Autoren sowie von ChatGPT-4.0. Die Studienteilnehmer wurden gebeten, die Qualität der Antworten unter anderem hinsichtlich Klarheit, Genauigkeit, Relevanz und Vollständigkeit zu bewerten.
In einem zweiten Studienteil bewerteten die Studienteilnehmer die Antworten von ChatGPT-4.0 auf fünf komplexe medizinische Fragen im Vergleich zu Antworten aus der medizinischen Literatur. Die Antworten wurden auf einer fünfstufigen Skala bewertet. Außerdem gaben die Studienteilnehmer an, wie sie grundsätzlich zu KI-generierten Inhalten stehen.
Es zeigte sich: Im ersten Studienteil bevorzugten die Befragten bei sieben von neuen Fragen die Klarheit der KI-generierten Antworten gegenüber den Antworten der menschlichen Autoren. Trotz der Bevorzugung von KI-generierten Antworten in einem verblindeten Setting hielten die Befragten medizinische Webseiten grundsätzlich für eine glaubwürdigere Quelle.
Die Befragten des zweiten Studienteils (n = 98) hielten medizinische Webseiten ebenfalls für glaubwürdiger als ChatGPT, bewerteten aber die KI-generierten Antworten bei allen Bewertungskriterien ebenfalls höher als die Antworten in der medizinischen Literatur.
Laut dem Studienteam kann die KI bereits mit professionell erstellten Inhalten konkurrieren, aber das mangelnde Vertrauen von Ärztinnen und Ärzten hemme die breite Nutzung in der klinischen Praxis.
hil
Deutsches Ärzteblatt