4 月 25 日消息，上個(gè)月，OpenAI 推出了最新的 AI 聊天機(jī)器人 GPT-4，并聲稱該機(jī)器人在各種考試中表現(xiàn)異常出色，比如律師考試，研究生入學(xué)考試等。然而，根據(jù)美國楊百翰大學(xué)領(lǐng)導(dǎo)的一項(xiàng)研究，ChatGPT 在會(huì)計(jì)考試中的表現(xiàn)遠(yuǎn)不及人類，甚至還會(huì)一本正經(jīng)的胡說八道，為錯(cuò)誤的答案辯解。
美國楊百翰大學(xué)的會(huì)計(jì)教授伍德和他的團(tuán)隊(duì)決定對 ChatGPT 進(jìn)行一次測試，看看它能否回答大學(xué)會(huì)計(jì)課程的考題。他們在社交媒體上發(fā)起了一個(gè)號(hào)召，吸引了來自 14 個(gè)國家 186 所教育機(jī)構(gòu)的 327 位合作者參與。他們共提供了 25181 道會(huì)計(jì)考題，涵蓋了會(huì)計(jì)信息系統(tǒng)、審計(jì)、財(cái)務(wù)會(huì)計(jì)、管理會(huì)計(jì)和稅務(wù)等領(lǐng)域。他們還邀請了 BYU 的本科生（包括伍德的女兒杰西卡）向 ChatGPT 輸入了 2268 道教科書上的考題。
結(jié)果顯示，ChatGPT 的表現(xiàn)雖然有亮點(diǎn)，但總體上還是不及學(xué)生水平。學(xué)生的平均分是 76.7%，而 ChatGPT 的平均分只有 47.4%。在 11.3% 的問題上，ChatGPT 的得分高于學(xué)生平均分，尤其是在會(huì)計(jì)信息系統(tǒng)和審計(jì)方面。但是，在稅務(wù)、財(cái)務(wù)和管理方面，ChatGPT 就顯得力不從心，可能是因?yàn)檫@些領(lǐng)域需要更多的數(shù)學(xué)運(yùn)算能力。在問題類型上，ChatGPT 比較擅長判斷題（68.7% 正確率）和選擇題（59.5% 正確率），但是在簡答題上就很吃力（正確率在 28.7% 到 39.1% 之間）。一般來說，對于需要更高層次思維的問題，ChatGPT 更難回答。有時(shí)候，ChatGPT 甚至?xí)殄e(cuò)誤答案提供權(quán)威的解釋，或者對同一個(gè)問題給出不同的答案。
“它并不完美，你不能指望它能做所有事情。”杰西卡說，“僅僅依靠 ChatGPT 來學(xué)習(xí)是愚蠢的。”
IT之家注意到，研究人員還發(fā)現(xiàn)了一些其他有趣的現(xiàn)象：
ChatGPT 有時(shí)候不知道自己在做數(shù)學(xué)題，會(huì)犯一些荒謬的錯(cuò)誤，比如在減法問題里加兩個(gè)數(shù)，或者除法算錯(cuò)。
ChatGPT 經(jīng)常會(huì)為自己的答案提供解釋，即使它們是錯(cuò)誤的。有時(shí)候，ChatGPT 的描述是正確的，但它卻選擇了錯(cuò)誤的選項(xiàng)。
ChatGPT 有時(shí)候會(huì)編造事實(shí)。比如，在提供參考文獻(xiàn)時(shí)，它會(huì)生成一個(gè)看起來真實(shí)的參考文獻(xiàn)，但其實(shí)完全是虛構(gòu)的，甚至有時(shí)候連作者都不存在。
盡管如此，研究人員相信，在未來的版本中，ChatGPT 會(huì)在會(huì)計(jì)問題上有所進(jìn)步，并解決上述問題。他們認(rèn)為最有前景的是，這款聊天機(jī)器人可以幫助改善教學(xué)和學(xué)習(xí)，比如設(shè)計(jì)和測試作業(yè)，或者用于草擬項(xiàng)目的部分內(nèi)容。
“這是一個(gè)反思的機(jī)會(huì)，我們要看看我們是否在教授有價(jià)值的信息。”研究的合作者之一，BYU 的會(huì)計(jì)教授拉森說，“這是一種顛覆，我們需要評估我們接下來該怎么做。當(dāng)然，我還是會(huì)有助教，但其工作內(nèi)容會(huì)有所不同。”
這項(xiàng)研究發(fā)表在《會(huì)計(jì)教育問題》雜志上。
【來源：IT之家】
