V nedavni študiji, objavljeni v The Annals of Family Medicine, so raziskovalci ocenili učinkovitost Chat Generative Pretrained Transformer (ChatGPT) pri povzemanju medicinskih povzetkov za pomoč zdravnikom. Cilj študije je bil ugotoviti kakovost, natančnost in pristranskost v povzetkih, ki jih ustvari ChatGPT, ter zagotoviti vpogled v njihov potencial kot orodje za prebavo ogromnih količin medicinske literature sredi časovnih omejitev, s katerimi se srečujejo zdravstveni delavci.
Visoke ocene za kakovost in natančnost
Študija je uporabila ChatGPT za zgoščevanje 140 medicinskih izvlečkov iz 14 različnih revij, kar je zmanjšalo vsebino za povprečno 70 %. Kljub nekaterim netočnostim in halucinacijam, odkritim v majhnem delu povzetkov, so zdravniki povzetke visoko ocenili glede kakovosti in točnosti. Ugotovitve kažejo, da lahko ChatGPT zdravnikom pomaga pri učinkovitem pregledovanju medicinske literature, saj ponuja jedrnate in natančne povzetke med ogromno količino informacij.
Raziskovalci so izbrali 10 člankov iz vsake od 14 revij, ki pokrivajo različne medicinske teme in strukture. ChatGPT so zadolžili za povzetek teh člankov in ovrednotili ustvarjene povzetke glede kakovosti, točnosti, pristranskosti in ustreznosti na desetih medicinskih področjih. Študija je pokazala, da je ChatGPT uspešno strnil medicinske povzetke v povprečju za 70 %, pri čemer je pridobil visoke ocene zdravnikov ocenjevalcev za kakovost in natančnost.
Posledice za zdravstveno varstvo
Kljub visokim ocenam je študija v majhnem številu povzetkov odkrila resne netočnosti in halucinacije. Te napake so segale od izpuščenih kritičnih podatkov do napačnih interpretacij načrtov študije, ki bi lahko potencialno spremenile interpretacijo ugotovitev raziskave. Vendar je bila uspešnost ChatGPT pri povzemanju medicinskih izvlečkov ocenjena kot zanesljiva z minimalno opaženo pristranskostjo.
Medtem ko je ChatGPT pokazal močno usklajenost s človeškimi ocenami na ravni revije, je bila njegova uspešnost pri natančnem določanju pomembnosti posameznih člankov za specifične medicinske specialnosti manj impresivna. To neskladje je poudarilo omejitev sposobnosti ChatGPT, da natančno prepozna ustreznost posameznih člankov v širšem kontekstu medicinskih specialnosti.
Študija zagotavlja dragocen vpogled v potencial umetne inteligence, zlasti ChatGPT, pri pomoči zdravnikom pri učinkovitem pregledovanju medicinske literature. Medtem ko ChatGPT obeta pri povzemanju medicinskih izvlečkov z visoko kakovostjo in natančnostjo, so potrebne nadaljnje raziskave za obravnavo omejitev in izboljšanje njegove učinkovitosti v posebnih zdravstvenih kontekstih.
Prihodnje raziskave bi se lahko osredotočile na izboljšanje sposobnosti ChatGPT, da prepozna pomembnost posameznih člankov za določene zdravstvene specialnosti. Poleg tega bi lahko prizadevanja za ublažitev netočnosti in halucinacij v ustvarjenih povzetkih dodatno povečala uporabnost orodij AI v zdravstvenih ustanovah.
Vir: https://www.cryptopolitan.com/chatgpt-in-summarizing-medical-abstracts/