Nedavne studije, uključujući i one koje je proveo National Board of Medical Examiners (NBME), istaknule su velike mogućnosti velikih jezičnih modela (LLM) poput ChatGPT-a u polaganju USMLE (United States Medical Licensing Examination) ispita. Međutim, nedostaje detaljna analiza izvedbe LLM-ova u specifičnim medicinskim područjima tako da je do sada procjena njihove korisnosti u edukaciji u medicini bila ograničena.
U ovom istraživanju procijenjena je i uspoređena točnost različitih verzija ChatGPT-a (GPT-3.5, GPT-4 i GPT-4 Omni) u različitim disciplinama USMLE-a u kliničkim vještinama postavljanja dijagnoze i praćenju i mogućnostima liječenja pojedinog kliničkog slčaja.
U studiji su koristili 750 kliničkih pitanja s višestrukim izborom odgovora kako bi utvrdili točnost izvedbe različitih verzija ChatGPT-a. Točnost je procijenjena korištenjem standardiziranog protokola, a provedene su i statističke analize kako bi se usporedili različiti modeli.
GPT-4 Omni postigao je najvišu točnost od 90,4%, nadmašivši GPT-4 (81,1%) i GPT-3.5 (60,0%). Najbolje rezultate postigao je u društvenim znanostima (95,5%), bihevioralnim i neuroznanostima (94,2%) te farmakologiji (93,2%). U kliničkim vještinama, točnost dijagnostike bila je 92,7%, a kod upravljanja 88,8%, što je značajno više od prethodnih verzija. Oba modela, GPT-4 Omni i GPT-4, značajno su nadmašila prosječnu točnost studenata medicine od 59,3%.
Rezultati i izvedba ChatGPT-4 Omni u USMLE disciplinama, kliničkim istažiranjima i kliničkim vještinama ukazuju na značajna poboljšanja u odnosu na prethodne verzije. Istraživači sugeriraju kako bi ovo mogao biti veliki potencijal u korištenju tehnologije velikih jezičnih modela u edukaciji studenata medicine. Potrebni su strukturirani kurikulumi kako bi se osigurala učinkovitost i pouzdanost velikih jezičnih modela.
ChatGPT-4 Omni (ili GPT-4o) donosi nekoliko značajnih poboljšanja u odnosu na prethodne verzije:
1. Multimodalne sposobnosti: GPT-4o može obrađivati i generirati odgovore na temelju teksta, zvuka, slike i videa, dok su prethodne verzije bile ograničene na tekstualne ulaze i izlaze.
2. Brzina i učinkovitost: GPT-4o je brži u obradi podataka, s prosječnim vremenom odgovora od 320 milisekundi za audio ulaze, što je usporedivo s ljudskim vremenom odgovora.
3. Poboljšana točnost: GPT-4o postiže bolje rezultate u različitim zadacima, uključujući razumijevanje jezika, kodiranje i prepoznavanje govora, te je posebno učinkovit u višejezičnim kontekstima.
4. Integracija modaliteta: Za razliku od prethodnih verzija koje su koristile odvojene modele za različite modalitete (tekst, glas, slika), GPT-4o integrira sve ove sposobnosti u jedan model, što omogućuje prirodniju i svestraniju interakciju.
5. Smanjeni troškovi: GPT-4o je 50% jeftiniji u korištenju API-ja u usporedbi s prethodnim verzijama, što ga čini pristupačnijim za širu upotrebu.
Ova poboljšanja čine GPT-4o značajno naprednijim i korisnijim za razne primjene, uključujući medicinsko obrazovanje i kliničke vještine.
USMLE je trodijelni ispit koji služi za licenciranje liječnika u Sjedinjenim Američkim Državama.
