Hvordan kan kunstig intelligens hjælpe læger med at stille bedre og hurtigere diagnoser? Det var det egentlige mål, da forskere hos DTU kiggede nærmere på GPT-3.5. Det er teknologien, der ligger bag chatbotten ChatGPT.
Med forskernes hjælp har den kunstige intelligens bestået tre medicinske eksaminer, deriblandt den amerikanske embedslægeeksamen, skriver Videnskab.dk. Præstationen er blevet delt i et preprint; en videnskabelig artikel, der endnu ikke har været gennem en fagfællebedømmelse.
– Jeg er overrasket. Jeg havde ikke regnet med, at den ville klare sig så godt, siger DTU-forskeren Valentin Liévin, der har forsvaret sin ph.d. i maskinlæring, til Videnskab.dk.
Han fortæller videre, at ChatGPT-teknologien faktisk klarede sig lige så godt, som de dårligst præsterende læger.
I den såkaldte United States Medical Licensing Examination, USMLE, som amerikanske læger skal bestå for at få en licens til at arbejde som læger, scorede den kunstige intelligens rigtigt i 60,2 procent af spørgsmålene. Det er nok til at bestå prøven (60 procent rigtige).
De bedste læger svarer typisk rigtigt på omkring 87 procent af spørgsmålene, oplyses det.
I øvrigt er GPT-3.5 ikke den kunstige intelligens, der har klaret den amerikanske embedslægeeksamen bedst. Blot fem dage efter at de danske DTU-forskere fremlagde deres studie, blev deres rekord slået af Googles PaLM sprogmodel. Den formåede at svare rigtigt på 67 procent af spørgsmålene i USMLE-testen.