BALTIMORE (Biermann) — ChatGPT hat sich inzwischen zu einer häufig genutzten Informationsquelle auch für Patienten und Ärzte entwickelt. Bekanntermaßen handelt es sich jedoch um eine fehleranfällige Strafe.
Aus diesem Grund wurde in einer Studie aus Baltimore die Qualität und Genauigkeit der Informationen über Hornhauttransplantation und die Fuchs-Dystrophie aus 2 Iterationen von ChatGPT zu bewerten. Weiterhin sollte herausgestellt werden, ob sich die Antworten im Laufe der Zeit verbessern.
Insgesamt zehn Hornhautspezialisten arbeiteten mit, um die Antworten des Algorithmus auf zehn häufig gestellte Fragen zur endothelialen Keratoplastik und Fuchs-Dystrophie zu bewerten. Diese Fragen wurden sowohl in ChatGPT‑3.5 als auch in dessen neuerer Generation, GPT‑4, gestellt. Bei der Bewertung wurden Qualität, Sicherheit, Genauigkeit und Verzerrung der Informationen geprüft. Es wurden Chi-Quadrat-Tests, exakte Fisher-Tests und Regressionsanalysen durchgeführt.
Insgesamt wurden 180 gültige Antworten analysiert. Auf einer Skala von 1 (A+) bis 5 (F) lag die durchschnittliche Bewertung aller Spezialisten bei ChatGPT‑3.5 bei 2,5 und bei GPT‑4 bei 1,4, was eine deutliche Verbesserung darstellt (P < 0,0001).
Die meisten Antworten sowohl von ChatGPT‑3.5 (61 %) als auch von GPT‑4 (89 %) enthielten korrekte Fakten, ein Anteil, der sich über die Iterationen hinweg signifikant verbesserte ( P < 0,00001). Etwa ein Drittel (35 %) der Antworten von ChatGPT‑3.5 widersprach dem wissenschaftlichen Konsens, was eine bemerkenswerte Fehlerquote war, die aber bei GPT‑4 auf nur 5 % der Antworten zurückging ( P < 0,00001).
Die Qualität der Antworten in ChatGPT hat sich somit zwischen den Versionen 3.5 und 4 deutlich verbessert. Die Wahrscheinlichkeit, dass Informationen entgegen dem wissenschaftlichen Konsens gegeben werden, ist im Verlauf nachweislich gesunken. Dennoch kommen immer noch ungenaue Aussagen vor. Letztlich seien nur Hornhautspezialisten in der einzigartigen Lage, den Nutzern zu helfen, den Wahrheitsgehalt und die Anwendung solcher Informationen zu erkennen, so die Autoren. (ak).
Hornhautdystrophie und Keratoplastik
Die Antworten von ChatGPT werden zunehmend verlässlicher
3. September 2024
Autoren: Barclay K et al.
Korrespondenz: allen@jhmi.edu
Studie: Quality and Agreement With Scientific Consensus of ChatGPT Information Regarding Corneal Transplantation and Fuchs Dystrophy
Quelle: Cornea. 2024 Jun 1;43(6):746-750.
Web: https://doi.org/10.1097/ICO.0000000000003439