Az ember és a gép közötti verseny újabb fejezete kezdődött, amikor az OpenAI bemutatta a legújabb chatbotját, a GPT-4-et, amelyről szinte naponta jelentek meg hírek, hogy milyen lenyűgöző eredményeket ért el: 90 százalékos pontszámmal átment az ügyvédi vizsgán, 15 emelt szintű gyakorlati vizsgából 13-at sikeresen teljesített, és majdnem tökéletes pontszámot ért el a GRE (szabványos teszt, amely felvételi követelmény számos posztgraduális iskolában az Egyesült Államokban és Kanadában) verbális teszten.
Az egyesült államokbeli Brigham Young Egyetem (BYU) és 186 másik egyetem kutatói kíváncsiak voltak, vajon hogyan teljesít ez az új technológia a számviteli vizsgákon, így hát próbára tették a ChatGPT-t ezen a területen. A kutatók szerint, bár még van mit fejleszteni a számvitel terén, ez a technológia új korszakot nyit a tanításban és tanulásban, ami mindenki számára előnyös lesz.
„Amikor ez a technológia először megjelent, mindenki attól tartott, hogy a diákok csalásra fogják használni” – mondta David Wood, a tanulmány vezető szerzője, a BYU számviteli professzora.
„De a csalásra adott lehetőségek mindig is léteztek. Mi inkább arra összpontosítunk, hogy mit kezdhetünk ezzel az új, korábban ismeretlen technológiával annak érdekében, hogy fejlesszük a tanítási folyamatot a tanárok, illetve a tanulási folyamatot a diákok számára. A technológia alkalmazásakor szerzett tapasztalat lenyűgöző volt.”
A ChatGPT 2022 novemberi debütálása óta a leggyorsabban növekvő technológiai platform lett, kevesebb mint két hónap alatt elérve a 100 millió felhasználót. A heves vitára reagálva, hogy a ChatGPT-hez hasonló modellek hogyan illeszkedjenek be az oktatásba, Wood úgy döntött, hogy minél több professzort toboroz, hogy lássák, hogyan teljesít az MI a valódi egyetemi számviteli hallgatókkal szemben.
A társszerzők toborzása a közösségi médiában robbanásszerűen terjedt: 327 társszerző vett részt a kutatásban 186 oktatási intézményből 14 országból, hozzájárulva 25 181 osztálytermi számviteli vizsgakérdéssel. Emellett toboroztak alapszintű BYU hallgatókat (beleértve Wood lányát, Jessicát) is, hogy további 2 268 tankönyvi kérdést adjanak a ChatGPT-nek. A kérdések a számviteli információs (SZIR) rendszereket, az auditálást, a pénzügyi számvitelt, a menedzseri számvitelt és az adózást fedték le, és változó nehézségűek és típusúak voltak (igaz/hamis, több választásos, rövid válasz, stb.).
Bár a ChatGPT teljesítménye lenyűgöző volt, a diákok jobban teljesítettek. A diákok átlagosan 76,7%-ot értek el, szemben a ChatGPT 47,4%-os pontszámával. A kérdések 11,3%-ánál a ChatGPT a hallgatói átlagnál magasabb pontszámot ért el, különösen jól teljesített az SZIR és az auditálás terén. Az MI azonban rosszabbul teljesített az adózási, pénzügyi és vezetői értékelések terén, valószínűleg azért, mert a ChatGPT küszködött az utóbbi típushoz szükséges matematikai folyamatokkal.
Ami a kérdéstípusokat illeti, a ChatGPT jobban teljesített az igaz/hamis kérdésekben (68,7% helyes) és a feleletválasztós kérdésekben (59,5%), de a rövid válaszú kérdésekkel (28,7% és 39,1% között) küzdött. Általában a magasabb rendű kérdésekre nehezebb volt válaszolni a ChatGPT számára. Valójában néha a ChatGPT hiteles írásos leírásokat ad a helytelen válaszokhoz, vagy ugyanazt a kérdést különböző módon válaszolja meg.
„Nem tökéletes; nem fogod mindenre használni” – mondta Jessica Wood, aki jelenleg a BYU elsőéves. „Csupán a ChatGPT használatával próbálni tanulni bolondság.”
A kutatók a tanulmány során további lenyűgöző trendeket is feltártak, többek között:
- A ChatGPT nem mindig ismeri fel, amikor matematikai műveleteket végez, és értelmetlen hibákat követ el, például két számot ad hozzá egy kivonási feladathoz, vagy hibásan osztja el a számokat.
- A ChatGPT gyakran magyarázatot ad a válaszaihoz, még akkor is, ha azok helytelenek. Más esetekben a ChatGPT leírása pontos, de ezután a rossz feleletválasztós választ választja ki.
- A ChatGPT néha tényeket állít fel. Például referencia megadásakor egy valósnak tűnő referenciát generál, amely teljesen kitalált. A mű és néha a szerzők sem léteznek.
Annak ellenére, hogy még vannak kihívások, a szerzők teljes mértékben bizakodóak, hogy a GPT-4 exponenciálisan javulni fog a számviteli kérdésekben és más kapcsolódó témákban. Úgy vélik, hogy a technológia legígéretesebb aspektusa az, ahogyan hozzájárulhat a tanításhoz és tanuláshoz, beleértve a feladatok tervezésének és tesztelésének képességét, vagy akár egy projekt bizonyos részeinek megtervezését. Melissa Larson, a tanulmány társszerzője és a BYU számviteli professzora szerint ez lehetőséget teremt arra, hogy újraértékeljük, vajon olyan információkat tanítunk-e, amelyek hozzáadott értéket képviselnek. Ez felvet néhány kérdést és arra ösztönöz minket, hogy értékeljük a jövőbeli irányunkat. Természetesen továbbra is lesznek tanársegédek, de ez arra kényszerít minket, hogy új módon használjuk őket.