Moćni novi AI chatbot alat nedavno je položio ispite prava iz četiri kolegija na Sveučilištu Minnesota i još jedan ispit na Poslovnoj školi Wharton Sveučilišta u Pennsylvaniji.

Kako bi testirali koliko dobro ChatGPT može generirati odgovore na ispitima, profesori na Pravnom fakultetu Sveučilišta u Minnesoti nedavno su naslijepo ocjenjivali testove. Nakon ispunjavanja 95 pitanja s višestrukim izborom i 12 esejskih pitanja, bot se u prosjeku pokazao na razini ocjene +3, postigavši niske, ali prolazne ocjene iz sva četiri kolegija.

ChatGPT je prošao nešto bolje na ispitu iz poslovnog menadžmenta na Whartonu, gdje je dobio ocjene od 4 do -4. U radu koji detaljno opisuje pokus, profesor Christian Terwiesch kaže da je ChatGPT obavio „fantastičan posao” u odgovaranju na pitanja o upravljanju osnovnim operacijama i analizi procesa, ali se mučio s naprednijim uputama te napravio „iznenađujuće pogreške” iz osnovne matematike.

Ovi rezultati dolaze u trenutku kada sve veći broj škola i učitelja izražava zabrinutost zbog neposrednog utjecaja ChatGPT-a na učenike i njihovu sposobnost varanja. Neki edukatori sada nevjerojatnom brzinom preispituju svoje zadatke kao odgovor na ChatGPT, makar ostaje nejasno koliko je rasprostranjena upotreba ovog alata među učenicima i koliko bi stvarno mogao biti štetan za učenje.

Otkako je postao dostupan krajem studenog, ChatGPT je korišten za generiranje originalnih eseja, priča i tekstova pjesama kao odgovor na upite korisnika. Napisao je sažetke istraživačkih radova koji su zavarali neke znanstvenike. Neki izvršni direktori čak su ga koristili za pisanje e-mailova ili obavljanje računovodstvenih poslova.

ChatGPT je obučen na ogromnim količinama online podataka kako bi generirao odgovore na upite korisnika. Iako je dobio na popularnosti, također je izazvao zabrinutost, uključujući netočnosti i moguće održavanje pristranosti i širenje dezinformacija.

Jon Choi, jedan od profesora prava na Sveučilištu Minnesota, rekao je za CNN da je cilj testova bio istražiti ChatGPT-ov potencijal da pomogne odvjetnicima u njihovoj praksi i da pomogne studentima na ispitima, dopuštali to njihovi profesori ili ne, jer pitanja često odražavaju način kako odvjetnika pišu u stvarnom životu.

„ChatGPT se mučio s najklasičnijim komponentama ispita na pravnom fakultetu, kao što je uočavanje potencijalnih pravnih problema i duboka analiza primjene pravnih pravila na činjenice predmetnog slučaja”, rekao je Choi. „No ChatGPT bi mogao biti od velike pomoći u izradi prvog nacrta koji bi student zatim mogao doraditi.”

Tvrdi da je suradnja čovjeka i umjetne inteligencije najperspektivniji slučaj uporabe ChatGPT-a i slične tehnologije.

„Moj jak predosjećaj je da će AI pomoćnici postati standardni alati za odvjetnike u bliskoj budućnosti, a pravni fakulteti trebali bi pripremiti svoje studente za tu mogućnost”, kaže Choi.

Isto tako, prof. Terwiesch s Whartona otkrio je da je chatbot „izrazito dobar” u modificiranju svojih odgovora nakon ukazivanja na pogrešku od strane čovjeka, sugerirajući potencijal za suradnju ljudi s umjetnom inteligencijom.

Kratkoročno, međutim, ostaje nejasnoća trebaju li i kako studenti koristiti ChatGPT. Javne škole u New Yorku i Seattleu, primjerice, već su zabranile učenicima i nastavnicima korištenje ChatGPT-a na mrežama i uređajima okruga.

Uzimajući u obzir da je ChatGPT ostvario iznadprosječni rezultat na njegovom ispitu, Terwiesch je za CNN rekao da se slaže da bi trebalo uvesti ograničenja za studente dok polažu testove: „Potrebne su zabrane. Uostalom, kada liječniku date diplomu, želite da zna medicinu, a ne kako koristiti bota. Isto vrijedi i za druge certifikacije, uključujući pravo i poslovanje.”

Unatoč svemu, prof. Terwiesch vjeruje da ova tehnologija još uvijek ima mjesto u učionici: „Ako na kraju završimo s istim obrazovnim sustavom kao i prije, potratili smo nevjerojatnu priliku koja dolazi s ChatGPT-om.”