近期，人工智能領(lǐng)域的快速發(fā)展，特別是大型模型的日新月異，給傳統(tǒng)的AI能力評估方式帶來了巨大挑戰(zhàn)。為了應(yīng)對這一挑戰(zhàn)，紅杉中國在5月26日正式揭曉了其最新研發(fā)的AI基準(zhǔn)測試工具——xbench。這款工具不僅專注于AI模型的能力評估，更引入了一項(xiàng)創(chuàng)新的動態(tài)更新機(jī)制，確保評估過程既有效又公正。
xbench的誕生，源于紅杉中國在ChatGPT發(fā)布后對通用人工智能（AGI）發(fā)展的持續(xù)關(guān)注。隨著智能體在多個(gè)領(lǐng)域的廣泛應(yīng)用，傳統(tǒng)的靜態(tài)基準(zhǔn)測試方法逐漸暴露出局限性，難以準(zhǔn)確衡量模型的真實(shí)水平。因此，xbench采用了獨(dú)特的雙軌評估體系：一方面，通過構(gòu)建全面的多維度測評數(shù)據(jù)集，追蹤并評估模型的理論能力上限；另一方面，則注重智能體的實(shí)際應(yīng)用價(jià)值，力求實(shí)現(xiàn)對AI技術(shù)的全面、客觀評價(jià)。
在評估方法上，xbench采用了長青評估機(jī)制，即評估工具會根據(jù)技術(shù)的快速迭代進(jìn)行動態(tài)更新。這一機(jī)制不僅提升了測試的可靠性，還有效避免了題庫泄露等問題，確保了評估的公正性和準(zhǔn)確性。過去，一些模型因題庫泄露而被質(zhì)疑“刷榜”，而xbench的推出正是為了從根本上解決這一問題。
xbench還引入了垂直領(lǐng)域智能體的評測方法論，特別是在招聘與營銷領(lǐng)域的應(yīng)用。隨著AI智能體的不斷發(fā)展，深度搜索、信息收集和推理分析等能力成為衡量其是否邁向AGI的關(guān)鍵。為此，xbench特別關(guān)注具有思維鏈的多模態(tài)模型在生成商用視頻方面的表現(xiàn)，以及在動態(tài)更新的應(yīng)用中，GUI智能體的可信度等關(guān)鍵問題。這些評測內(nèi)容不僅豐富了xbench的評估維度，也為其在垂直領(lǐng)域的應(yīng)用提供了有力支持。
