【ITBEAR】在人工智能領(lǐng)域，大模型挑戰(zhàn)電腦游戲的新探索引起了廣泛關(guān)注。近日，淘天集團(tuán)未來生活實(shí)驗(yàn)室的算法工程師們，利用多模態(tài)大模型深入體驗(yàn)了國產(chǎn)電腦游戲《黑神話：悟空》，并在此過程中取得了顯著成果。相關(guān)研究論文已在論文預(yù)印本網(wǎng)站arXiv上發(fā)布。
《黑神話：悟空》作為一款動(dòng)作角色扮演類游戲，成為了眾多研究者測(cè)試大模型性能的平臺(tái)。研究團(tuán)隊(duì)面臨的主要挑戰(zhàn)包括直接視覺輸入的復(fù)雜性和動(dòng)作任務(wù)的執(zhí)行難度。
為應(yīng)對(duì)這些挑戰(zhàn)，技術(shù)團(tuán)隊(duì)創(chuàng)新性地提出了VARP Agent框架。該框架通過游戲截圖輸入，結(jié)合多模態(tài)大模型的推理，生成可直接操作游戲角色的代碼。
VARP Agent框架包含情境庫、動(dòng)作庫和人類引導(dǎo)庫，這些庫可存儲(chǔ)密集知識(shí)，支持自我學(xué)習(xí)和人類指導(dǎo)。在實(shí)驗(yàn)中，該框架在基本任務(wù)和簡(jiǎn)單到中等難度的戰(zhàn)斗中表現(xiàn)出色，勝率高達(dá)90%。
盡管在面對(duì)高難度任務(wù)時(shí)，VARP Agent的表現(xiàn)相對(duì)較差，但整體研究成果仍為設(shè)計(jì)更復(fù)雜、更智能的智能體提供了有益參考。
此次研究展示了多模態(tài)大模型在電腦游戲領(lǐng)域的潛力，為未來的智能體設(shè)計(jì)提供了新的思路。
