在人工智能領(lǐng)域，一項重大技術(shù)突破近日由九章云極DataCanvas公司攜手中國人民大學(xué)STILL項目團隊及北京智源研究院團隊共同實現(xiàn)。他們在大模型慢思考推理技術(shù)上取得了顯著進展，成功復(fù)現(xiàn)了類R1推理模型，并將其實現(xiàn)細節(jié)及訓(xùn)練技巧全面開源。這一成果不僅標志著技術(shù)的深度共享，更為AI推理技術(shù)的發(fā)展注入了新的活力。
更為引人注目的是，該聯(lián)合團隊創(chuàng)新性地引入了代碼工具以增強模型推理性能，這一策略在AIME數(shù)學(xué)推理測試中取得了顯著成效，超越了DeepSeek-R1模型的性能表現(xiàn)。相關(guān)研究成果已凝聚成論文《An Empirical Study on Eliciting and Improving R1-like Reasoning Models》，并在預(yù)印版論文網(wǎng)站arXiv上公開發(fā)表，供全球?qū)W者研究參考。
為了推動AI技術(shù)的工業(yè)化應(yīng)用，九章云極DataCanvas聯(lián)合團隊進一步公布了DeepSeek-R1全參數(shù)微調(diào)開源方案，并發(fā)布了全新的強化學(xué)習(xí)訓(xùn)練模型STILL-3-Tool-32B。該方案不僅涵蓋了從模型訓(xùn)練到推理部署的全鏈路工程代碼，還同步分享了經(jīng)過實踐驗證的技術(shù)經(jīng)驗與調(diào)優(yōu)策略，為開發(fā)者提供了一個可直接部署的、工業(yè)化級的大模型訓(xùn)練框架。在AIME 2024基準測試中，STILL-3-Tool-32B模型取得了81.70%的準確率（采樣），這一成績超越了DeepSeek-R1滿血版，彰顯了其強大的推理能力。
STILL-3-Tool-32B模型的問世，是九章云極DataCanvas聯(lián)合團隊在長鏈復(fù)雜推理模型訓(xùn)練框架上的又一次重要創(chuàng)新。研究論文指出，即使在已接近性能巔峰的蒸餾模型上，通過該強化學(xué)習(xí)訓(xùn)練方法也能大幅提升AIME 2024的準確率。這一發(fā)現(xiàn)對于提升大模型的回復(fù)長度和推理準確性具有重要意義。為了克服語言推理中可能存在的精準性不足問題，STILL-3-Tool-32B模型引入了外部工具來增強AI模型的復(fù)雜推理能力，從而在AIME 2024上取得了顯著優(yōu)勢。
在DeepSeek-R1技術(shù)報告公布后，開源模型的復(fù)現(xiàn)仍面臨諸多挑戰(zhàn)，如代碼完整性缺失、超參數(shù)調(diào)試等。九章云極DataCanvas聯(lián)合團隊通過AI基礎(chǔ)設(shè)施的深度融合，成功突破了這些難題。他們開源了該模型在DataCanvas Alaya NeW智算操作系統(tǒng)上完成的全過程訓(xùn)練日志、獎勵函數(shù)代碼及容器化部署方案，為開發(fā)者提供了寶貴的參考。研究結(jié)果顯示，在Alaya NeW中采用on-policy學(xué)習(xí)策略是成功的關(guān)鍵因素，這一策略充分探索了相關(guān)的超參數(shù)設(shè)置及訓(xùn)練技巧。
值得注意的是，DeepSeek及蒸餾模型在推理過程中無法調(diào)用外部代碼工具，這一直是復(fù)現(xiàn)過程中的關(guān)鍵難點。而Alaya NeW智算操作系統(tǒng)在開源工具鏈與基座模型適配、算法與算力協(xié)同、邏輯推理與多步?jīng)Q策等復(fù)雜任務(wù)框架方面展現(xiàn)出了明顯優(yōu)勢。這一突破有望推動AI技術(shù)的進一步發(fā)展，為人工智能領(lǐng)域帶來更多的創(chuàng)新和應(yīng)用。
九章云極DataCanvas聯(lián)合團隊還分享了他們在AIME 2024測試中的具體表現(xiàn)。STILL-3-Tool-32B模型以15.56%的顯著優(yōu)勢超越了其基座訓(xùn)練模型，與OpenAI的o3-mini持平，并超越了o1和DeepSeek-R1在同場景下的表現(xiàn)。這一成績不僅驗證了團隊的技術(shù)實力，也為AI推理技術(shù)的發(fā)展樹立了新的標桿。
隨著人工智能技術(shù)的不斷發(fā)展，九章云極DataCanvas聯(lián)合團隊的這一成果無疑將為AI推理技術(shù)帶來更多的可能性。他們通過開源技術(shù)、分享經(jīng)驗，不僅推動了AI技術(shù)的工業(yè)化應(yīng)用，也為全球?qū)W者和開發(fā)者提供了寶貴的研究資源。未來，我們期待看到更多基于這一技術(shù)的創(chuàng)新應(yīng)用，為人類社會帶來更多的便利和進步。
