Poznato je da rezultati ChatGPT-a mogu biti zastarjeli i da u svojim odgovorima često nije navedena vremenska oznaka valjanosti. Google ponekad vraća komercijalne rezultate. Rezultati čitljivosti u oba sustava pokazuju da odgovori često nisu prikladni za osobe koje imaju slabo razvijenu zdravstvenu pismenost. Autori rada zaključuju da bi se dodavanjem izvora i datuma zdravstvenih informacija te uz dostupnost odgovora i na drugim jezicima, mogla povećati vrijednost ovih platformi i za medicinsku zajednicu i za opću populaciju.

Osobe koje boluju od demencije ili imaju neko kognitivno oštećenje ili popuštanje kao i njihovi skrbnici često se oslanjaju na web kako bi pronašli odgovore na pitanja o bolesti, o dostupnim resursima i uslugama. Nedavni napredak u razvoju velikih jezičnih modela, kao što je ChatGPT, pruža novu alternativu tradicionalnijim web tražilicama, kao što je Google.

Studija objavljena u časopisu Journal of Medical Internet Research usporedila je kvalitetu rezultata pretraživanja i postavljanja upita ChatGPT-u i Googleu.

Odabran je skup od 30 informativnih i 30 praktičnih upita vezanih uz invaliditet. Tri stručnjaka za područje procijenila su rezultate s obzirom na aktualnost informacija, pouzdanost izvora, objektivnost, relevantnost za upit i sličnost odgovora. Također je analizirana čitljivost rezultata. Za sve ishode izračunati su koeficijenti pouzdanosti.

Google je imao veću pouzdanost, a rezultati ChatGPT-a ocijenjeni su kao objektivniji. ChatGPT je imao znatno veću relevantnost odgovora, dok se Google često oslanjao na izvore koji su se odnosili na usluge skrbi o osobama s demencijom ili same pružatelje usluga. Čitljivost je bila niska za obje platforme, posebno za ChatGPT (srednja razina ocjene 12,17, SD 1,94) u usporedbi s Googleom (srednja razina ocjene 9,86, SD 3,47). Sličnost sadržaja odogovra između ChatGPT-a i Googlea ocijenjena je kao visoka za 13 (21,7%) odgovora, srednja za 16 (26,7%) odgovora i niska za 31 (51,6%) odgovor.