Ispit SJT je podijeljen u 3 dijela, pri čemu svako pitanje prvo predstavlja scenarij, nakon čega slijedi pitanje o tome kako bi kandidat pristupio situaciji. Ovi odjeljci uključuju (1) ocjenjivanje prikladnosti ili važnosti odgovora, akcije ili razmatranja; na primjer, vrlo prikladno, prikladno, donekle neprikladno ili neprikladno; (2) pitanja s višestrukim izborom koja traže 3 najprikladnija rješenja od 8 mogućih izbora; i (3) rangiranje prikladnosti ili važnosti 5 različitih radnji ili razmatranja kao odgovor na scenarij. SJT se boduje na ljestvici od 0 do 50 bodova i nije ispit za prolaz ili pad.

ChatGPT je imao dosljedne rezultate u 4 domene dobre medicinske prakse, s rezultatom između 75% i 78% u njima. ChatGPT je imao nešto bolje rezultate u domenama znanja, vještina i performansi te sigurnosti i kvalitete nego u domeni komunikacije, partnerstva i timskog rada. Vjerojatno su pitanja koja se odnose na znanje i sigurnost bolesnika objektivnije prirode, a ujedno su sigurnost bolesnika i pružanje visokokvalitetne skrbi uvijek prioritet. Pitanja koja se odnose na komunikaciju i timski rad su subjektivnija, ali razlike koje je pokazao ChatGPT su bile premale da bi se mogao donijeti konačni zaključak.

ChatGPT je dobro prošao na ispitu, međutim postigao je 100% rezultat u samo nekoliko pitanja. To može značiti da postoje nedosljednosti u ispitu ili pogreške u obrazloženju ChatGPT-a. Već je dokazano da ChatGPT dobro funkcioniraju na širokom rasponu klinički utemeljenih ispitivanja i da nudi, većinom, racionalne odgovore na profesionalne i etičke dileme s kojima se suočavaju liječnici. Buduća bi se istraživanja trebala usredotočiti na prepoznavanje obrazaca i nedosljednosti u etičkim pristupima jezičnih modela umjetne inteligencije i ublažavanju potencijalnih pristranosti u njima. Izravna usporedba izvedbe ovih vrsta modela s izvedbom studenata i liječnika mogla bi riješiti dileme i pojedine prosudbe određene situacije.

Može li se Chat GPT izravno integrirati u medicinsko obrazovanje s, na primjer, interaktivnim platformama, simuliranim scenarijima povezanima s procjenom situacije i personaliziranim povratnim informacijama, kao i standardizacijom ispitivanja? Ključno je uspostaviti multidisciplinarni pristup između stručnjaka za umjetnu inteligenciju, medicinu i medicinsku edukaciju kako bi se ostvario puni potencijal novih tehnologija. Rješavanje ovih točaka pomoći će u razvoju ovog područja i promovirati integraciju velikih jezičnih modela, kao što je ChatGPT, u medicinsko obrazovanje.