Horn­haut­dys­tro­phie und Keratoplastik

Die Antworten von ChatGPT werden zunehmend verlässlicher

3. September 2024

BALTIMORE (Bier­mann) — ChatGPT hat sich inzwi­schen zu einer häufig genutz­ten Infor­ma­ti­ons­quel­le auch für Pati­en­ten und Ärzte entwi­ckelt. Bekann­ter­ma­ßen handelt es sich jedoch um eine fehler­an­fäl­li­ge Strafe.
Aus diesem Grund wurde in einer Studie aus Balti­more die Quali­tät und Genau­ig­keit der Infor­ma­tio­nen über Horn­haut­trans­plan­ta­ti­on und die Fuchs-Dystro­phie aus 2 Itera­tio­nen von ChatGPT zu bewer­ten. Weiter­hin sollte heraus­ge­stellt werden, ob sich die Antwor­ten im Laufe der Zeit verbessern.
Insge­samt zehn Horn­haut­spe­zia­lis­ten arbei­te­ten mit, um die Antwor­ten des Algo­rith­mus auf zehn häufig gestell­te Fragen zur endo­the­lia­len Kera­to­plas­tik und Fuchs-Dystro­phie zu bewer­ten. Diese Fragen wurden sowohl in ChatGPT‑3.5 als auch in dessen neue­rer Gene­ra­ti­on, GPT‑4, gestellt. Bei der Bewer­tung wurden Quali­tät, Sicher­heit, Genau­ig­keit und Verzer­rung der Infor­ma­tio­nen geprüft. Es wurden Chi-Quadrat-Tests, exakte Fisher-Tests und Regres­si­ons­ana­ly­sen durchgeführt.
Insge­samt wurden 180 gülti­ge Antwor­ten analy­siert. Auf einer Skala von 1 (A+) bis 5 (F) lag die durch­schnitt­li­che Bewer­tung aller Spezia­lis­ten bei ChatGPT‑3.5 bei 2,5 und bei GPT‑4 bei 1,4, was eine deut­li­che Verbes­se­rung darstellt (P < 0,0001).
Die meis­ten Antwor­ten sowohl von ChatGPT‑3.5 (61 %) als auch von GPT‑4 (89 %) enthiel­ten korrek­te Fakten, ein Anteil, der sich über die Itera­tio­nen hinweg signi­fi­kant verbes­ser­te ( P < 0,00001). Etwa ein Drit­tel (35 %) der Antwor­ten von ChatGPT‑3.5 wider­sprach dem wissen­schaft­li­chen Konsens, was eine bemer­kens­wer­te Fehler­quo­te war, die aber bei GPT‑4 auf nur 5 % der Antwor­ten zurück­ging ( P < 0,00001).
Die Quali­tät der Antwor­ten in ChatGPT hat sich somit zwischen den Versio­nen 3.5 und 4 deut­lich verbes­sert. Die Wahr­schein­lich­keit, dass Infor­ma­tio­nen entge­gen dem wissen­schaft­li­chen Konsens gege­ben werden, ist im Verlauf nach­weis­lich gesun­ken. Dennoch  kommen immer noch unge­naue Aussa­gen vor. Letzt­lich seien nur Horn­haut­spe­zia­lis­ten in der einzig­ar­ti­gen Lage, den Nutzern zu helfen, den Wahr­heits­ge­halt und die Anwen­dung solcher Infor­ma­tio­nen zu erken­nen, so die Autoren. (ak).

Autoren: Barclay K et al.
Korrespondenz: allen@jhmi.edu
Studie: Quality and Agreement With Scientific Consensus of ChatGPT Information Regarding Corneal Transplantation and Fuchs Dystrophy
Quelle: Cornea. 2024 Jun 1;43(6):746-750.
Web: https://doi.org/10.1097/ICO.0000000000003439

html

Aus rechtlichen Gründen (Heilmittelwerbegesetz) dürfen wir die Informationen nur an Fachkreise weitergeben.