隨著2025年的腳步日益臨近，各大社交平臺紛紛推出年度回顧功能，而在人工智能領域，一場關于AI模型年度表現(xiàn)的評測也悄然落幕。近日，智源研究院公布了Flageval“百模”評測的詳細結(jié)果，揭示了國產(chǎn)大模型與海外頂尖模型之間的激烈競爭態(tài)勢。
評測結(jié)果顯示，在閉源大模型的主觀評測中，字節(jié)跳動的豆包通用模型pro脫穎而出，獲得了最高分，展現(xiàn)了強大的中文對話能力。而OpenAI的o1-mini則在客觀評測中獨占鰲頭，顯示出其在邏輯推理和問題解決方面的卓越表現(xiàn)。多模態(tài)模型評測總榜的前三名被OpenAI的GPT-4o、字節(jié)跳動的豆包視覺理解模型和Anthropic的Claude 3.5 Sonnet占據(jù)，體現(xiàn)了多模態(tài)技術領域的快速發(fā)展。
本次評測涵蓋了語言、視覺語言、文生圖、文生視頻、語音語言等多個領域的大模型，共計超過100個開源和商業(yè)閉源模型參與。評測不僅考察了AI模型的任務解決能力，還新增了對真實金融量化交易場景應用能力和辯論能力的評估，以全面衡量AI模型的實用性和智能化水平。
值得注意的是，為了降低數(shù)據(jù)集泄露風險和提高評測的公正性，智源研究院在評測過程中吸納了最新發(fā)布的數(shù)據(jù)集，持續(xù)動態(tài)更新評測數(shù)據(jù)，并替換了98%的題目，提升了題目的難度。這一舉措不僅保證了評測的準確性和有效性，也為AI模型的發(fā)展提供了更加真實和具有挑戰(zhàn)性的測試環(huán)境。
在國產(chǎn)大模型方面，多款模型的綜合能力超過了海外知名模型。在閉源大模型主觀評測中，豆包通用模型pro、百度ERNIE 4.0 Turbo等國產(chǎn)模型占據(jù)了榜單的大部分席位，顯示出國產(chǎn)大模型在中文語言能力上的普遍優(yōu)勢。然而，在客觀評測中，國產(chǎn)大模型與OpenAI等海外模型之間仍存在一定差距，主要體現(xiàn)在推理、數(shù)學、代碼等方面的能力上。
多模態(tài)評測也成為了本次評測的一大亮點。國產(chǎn)大模型在視覺語言、文生圖、文生視頻等領域展現(xiàn)出了不俗的實力。其中，豆包視覺理解模型在視覺語言評測中名列前茅，而騰訊Hunyuan Image和快手可靈1.5則在文生圖和文生視頻評測中分別獲得了全球第一的好成績。
除了傳統(tǒng)評測項目外，本次評測還新增了對AI模型辯論能力和金融量化交易能力的考核。在辯論能力評測中，AI模型普遍缺乏辯論框架意識，但更擅長反駁辯題。而在金融量化交易領域，AI模型已具備生成有回撤收益的策略代碼的能力，部分模型的能力已接近初級量化交易員的水平。這一結(jié)果不僅展示了AI模型在金融領域的巨大潛力，也為未來的金融創(chuàng)新和智能化轉(zhuǎn)型提供了有力支持。
隨著AI技術的不斷發(fā)展和應用領域的不斷拓展，國產(chǎn)大模型與海外模型之間的競爭將更加激烈。未來，AI模型的發(fā)展將更加注重實際應用和商業(yè)化落地，催熟商業(yè)化落地的效率和效益將成為新的競爭焦點。在這場“百家爭鳴”中，國產(chǎn)大模型需要繼續(xù)鞏固自身優(yōu)勢，同時積極探索新的應用場景和技術創(chuàng)新，以在激烈的市場競爭中脫穎而出。
