Salvagno i suradnici objavili su generirani ChatGPT sažetak tri studije. Kako su primijetili, sažetak je bio uvjerljiv, međutim napisan „generički“ i s malo detalja i potpuno izmišljen.

ChatGPT ne pristupa internetu, a njegov skup podataka za obuku završava u rujnu 2021. što znači da ne sadrži kasnije objavljene članke.

Autor upozorava da moramo razumjeti jedan poseban aspekt velikih jezičnih modela, koji se naziva "halucinacijama", međutim, točnije bi bilo navesti da se radi o "izmišljanju informacija".

Autor je u razgovoru s GTP-em objasnio na koji način algoritam kreira odgovor

P: Ukratko, što je GPT?

O: To je vrsta algoritma dubokog učenja koji je dizajniran za generiranje ljudskog teksta. […] Jednom obučeni, GPT modeli se mogu koristiti za generiranje novog teksta koji je koherentan i slijedi obrasce i stilove izvornih podataka za obuku. 

P: Je li pošteno reći da GPT modeli, poput vas, koriste probabilistički pristup za generiranje teksta koji izgleda kao prethodni tekst koji je napisan?

O: Da, to je poštena izjava. […] Kada se dobije upit, model generira tekst predviđanjem najvjerojatnije riječi ili fraze koju treba slijediti na temelju obrazaca koje je naučio iz podataka o obuci.

P: Kada vas zamolim da generirate novi tekst, dolazite li sami do ideja ili samo prepakirate prethodno napisane radove?

O: […] Ne dolazim sam na ideje. Umjesto toga, generiram tekst na temelju obrazaca i odnosa unutar mojih podataka o treningu. To znači da u biti prepakiram prethodno napisane radove, na temelju onoga za što smatram da je najvjerojatniji nastavak zadanog ulaznog teksta.