近期，一項(xiàng)跨學(xué)科合作的研究成果在計(jì)算機(jī)科學(xué)與法律領(lǐng)域引起了轟動(dòng)。斯坦福大學(xué)、康奈爾大學(xué)以及西弗吉尼亞大學(xué)的學(xué)者聯(lián)手，深入探究了幾款開(kāi)源大型語(yǔ)言模型對(duì)于文本信息的記憶能力。他們特別關(guān)注了五款開(kāi)源權(quán)重模型，測(cè)試它們能否復(fù)述經(jīng)典文學(xué)作品的內(nèi)容。這五款模型中，meta貢獻(xiàn)了三款，而微軟和EleutherAI則分別提供了一款。
令人矚目的是，meta在2024年推出的Llama3.170B模型，在重現(xiàn)《哈利波特》第一部?jī)?nèi)容時(shí)，展現(xiàn)出了驚人的42%記憶準(zhǔn)確率。相比之下，meta于2023年發(fā)布的Llama165B模型在這一測(cè)試中僅達(dá)到了4.4%的準(zhǔn)確率。這一顯著的性能提升迅速吸引了學(xué)術(shù)界的目光。研究還發(fā)現(xiàn)，Llama3.170B在熱門(mén)書(shū)籍如《霍比特人》和喬治·奧威爾的《1984》上的記憶表現(xiàn)尤為突出，遠(yuǎn)超其他參與測(cè)試的模型。
這項(xiàng)研究不僅揭示了大型語(yǔ)言模型在文本記憶領(lǐng)域的巨大進(jìn)步，也進(jìn)一步激發(fā)了人們對(duì)于未來(lái)AI技術(shù)文本處理和理解能力的無(wú)限遐想。隨著技術(shù)的不斷演進(jìn)，人工智能正日益接近人類(lèi)的認(rèn)知界限。
