在人工智能編程領(lǐng)域，一場(chǎng)革命性的突破正在悄然發(fā)生。新晉AI編程冠軍DeepSWE，憑借其純強(qiáng)化學(xué)習(xí)的訓(xùn)練方式，在基準(zhǔn)測(cè)試中取得了59%的準(zhǔn)確率，這一成績(jī)大幅刷新了現(xiàn)有技術(shù)的上限。
DeepSWE的誕生，打破了長(zhǎng)期以來(lái)閉源模型在該領(lǐng)域的壟斷地位。這款開(kāi)源軟件工程模型，基于Qwen3-32B架構(gòu)，完全通過(guò)強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練，無(wú)需依賴任何“老師模型”。這一創(chuàng)新性的訓(xùn)練方法，使得DeepSWE能夠從零開(kāi)始，逐步成長(zhǎng)為一個(gè)性能卓越的智能體。
DeepSWE的訓(xùn)練過(guò)程充滿了挑戰(zhàn)與創(chuàng)新。它采用了模塊化RL后訓(xùn)練框架rLLM，這一框架使得用戶能夠輕松構(gòu)建一個(gè)由強(qiáng)化學(xué)習(xí)訓(xùn)練的AI助手，極大地簡(jiǎn)化了訓(xùn)練流程。同時(shí)，DeepSWE在R2E-Gym訓(xùn)練環(huán)境中進(jìn)行訓(xùn)練，該環(huán)境為高質(zhì)量可執(zhí)行軟件工程（SWE）任務(wù)提供了可擴(kuò)展的管理方案。
在動(dòng)作空間方面，R2E-Gym定義了包括執(zhí)行Bash命令、搜索、文件編輯和完成/提交等四個(gè)工具。這些工具共同構(gòu)成了DeepSWE在訓(xùn)練過(guò)程中的操作基礎(chǔ)。而獎(jiǎng)勵(lì)模型則采用了一種稀疏的結(jié)果獎(jiǎng)勵(lì)模型（ORM），通過(guò)簡(jiǎn)單的“成功/失敗”獎(jiǎng)勵(lì)信號(hào)，DeepSWE自發(fā)地學(xué)會(huì)了高級(jí)程序員才具備的復(fù)雜行為，如主動(dòng)思考邊緣案例和回歸測(cè)試，以及根據(jù)任務(wù)復(fù)雜程度自適應(yīng)調(diào)整思考深度。
算法方面，DeepSWE摒棄了傳統(tǒng)的蒸餾方法，僅使用強(qiáng)化學(xué)習(xí)進(jìn)行直接訓(xùn)練。研發(fā)人員獨(dú)家改良的GRPO++算法，在之前的基礎(chǔ)上進(jìn)行了增強(qiáng)，進(jìn)一步提升了模型的穩(wěn)定性和性能。還整合了包括Clip High (DAPO)、無(wú)KL損失（DAPO）、無(wú)獎(jiǎng)勵(lì)標(biāo)準(zhǔn)差（Dr.GRPO）、長(zhǎng)度歸一化（Dr.GRPO）、一法（Loop/RLOO）、緊湊過(guò)濾和無(wú)熵?fù)p失在內(nèi)的七個(gè)算法，共同構(gòu)成了DeepSWE的訓(xùn)練配方。
其中，“緊湊過(guò)濾”算法對(duì)模型訓(xùn)練尤為關(guān)鍵。它不僅有效防止了訓(xùn)練過(guò)程中的獎(jiǎng)勵(lì)崩潰，還減少了每一步的過(guò)度思考，鼓勵(lì)跨步驟的長(zhǎng)篇推理，從而顯著提升了模型的性能。
然而，訓(xùn)練過(guò)程中也遇到了不少挑戰(zhàn)。特別是在擴(kuò)展SWE-Bench環(huán)境時(shí)，由于需要同時(shí)啟動(dòng)大量Docker容器，一度導(dǎo)致Docker崩潰。為了解決這一問(wèn)題，研發(fā)人員將Kubernetes支持集成到了R2E-Gym環(huán)境中，實(shí)現(xiàn)了容器的高效調(diào)度。同時(shí)，為每個(gè)服務(wù)器配備了高性能硬件，并提前下載了所需軟件鏡像，以確保訓(xùn)練過(guò)程的順利進(jìn)行。
在評(píng)估策略方面，DeepSWE采用了“測(cè)試時(shí)擴(kuò)展（TTS）”策略，通過(guò)多方案生成和智能驗(yàn)證的方式，將性能推向了新的高度。通過(guò)擴(kuò)展上下文長(zhǎng)度和擴(kuò)展代理部署兩種方法，DeepSWE在SWE-Bench Verified上達(dá)到了59%的準(zhǔn)確率，實(shí)現(xiàn)了新的技術(shù)上限。
DeepSWE的成功，離不開(kāi)其背后的研發(fā)團(tuán)隊(duì)。項(xiàng)目負(fù)責(zé)人Michael Luo，加州大學(xué)伯克利分校電氣工程與計(jì)算機(jī)科學(xué)系博士生，對(duì)人工智能和系統(tǒng)領(lǐng)域有著深入的研究。他帶領(lǐng)的團(tuán)隊(duì)，憑借出色的研發(fā)能力和創(chuàng)新精神，成功打造了這款開(kāi)源軟件工程模型。
DeepSWE的誕生，標(biāo)志著人工智能編程領(lǐng)域的一次重大突破。它不僅刷新了技術(shù)的上限，更為未來(lái)的軟件開(kāi)發(fā)和智能化轉(zhuǎn)型提供了無(wú)限可能。
