在人工智能界掀起波瀾的DeepSeek團(tuán)隊(duì)，于近日震撼發(fā)布了其最新力作——DeepSeek-R1模型。這款開源模型一經(jīng)問世，便在Github平臺上迅速積累了超過4000顆星的矚目成績，成為大模型領(lǐng)域的一顆璀璨新星。
DeepSeek-R1的問世，不僅有力回?fù)袅舜饲瓣P(guān)于其借鑒OpenAI o1的質(zhì)疑，團(tuán)隊(duì)更是直接宣稱：“我們的R1能與開源版的o1平分秋色。”這一自信宣言，無疑為業(yè)界帶來了新的震撼。
尤為DeepSeek-R1在訓(xùn)練方式上實(shí)現(xiàn)了重大突破，摒棄了傳統(tǒng)的SFT數(shù)據(jù)依賴，完全通過強(qiáng)化學(xué)習(xí)（RL）進(jìn)行訓(xùn)練。這一創(chuàng)新之舉，標(biāo)志著R1已經(jīng)具備了自我思考的能力，更加貼近人類的思維邏輯。
R1的卓越表現(xiàn)，讓眾多網(wǎng)友將其譽(yù)為“開源LLM界的AlphaGo”。在數(shù)學(xué)、代碼、自然語言推理等多個(gè)領(lǐng)域，R1均展現(xiàn)出了與o1正式版不相上下的實(shí)力，甚至在某些基準(zhǔn)測試中更勝一籌。
例如，在AIME 2024數(shù)學(xué)競賽中，DeepSeek-R1取得了79.8%的優(yōu)異成績，略高于OpenAI的o1-1217。在MATH-500測試中，R1更是以97.3%的高分與o1-1217并駕齊驅(qū)，同時(shí)遠(yuǎn)超其他模型。在編程競賽方面，R1同樣表現(xiàn)出色，其在Codeforces上的Elo評級達(dá)到了2029，超越了96.3%的人類參賽者。
DeepSeek團(tuán)隊(duì)還將R1蒸餾出了6個(gè)小模型并開源給社區(qū)，參數(shù)從1.5B到70B不等。其中，蒸餾過的R1 32B和70B模型在性能上不僅超越了GPT-4o、Claude 3.5 Sonnet和QwQ-32B，甚至與o1-mini的效果相當(dāng)。更令人驚嘆的是，R1在實(shí)現(xiàn)這些卓越性能的同時(shí)，成本僅為o1的五十分之一。
除了R1在基準(zhǔn)測試中的優(yōu)異表現(xiàn)外，其發(fā)布即開源的訓(xùn)練數(shù)據(jù)集和優(yōu)化工具也贏得了眾多網(wǎng)友的贊譽(yù)。他們紛紛表示，這才是真正的Open AI精神。
DeepSeek-R1的成功背后，離不開其三大核心技術(shù)的支撐：Self play、Grpo以及Cold start。DeepSeek團(tuán)隊(duì)此次開源的R1模型共有兩個(gè)版本，分別是DeepSeek-R1-Zero和DeepSeek-R1，兩者均擁有660B的參數(shù)，但功能各有特色。
DeepSeek-R1-Zero完全摒棄了SFT數(shù)據(jù)，僅通過強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練，實(shí)現(xiàn)了大模型訓(xùn)練中首次跳過監(jiān)督微調(diào)的壯舉。而DeepSeek-R1則在訓(xùn)練過程中引入了少量的冷啟動(dòng)數(shù)據(jù)，并通過多階段強(qiáng)化學(xué)習(xí)優(yōu)化模型，極大提升了模型的推理能力。
DeepSeek-R1在訓(xùn)練過程中還出現(xiàn)了“頓悟時(shí)刻”，模型自發(fā)地學(xué)會(huì)了“回頭檢查步驟”的能力。這一能力的涌現(xiàn)，并非程序員直接教授，而是在算法通過獎(jiǎng)勵(lì)正確答案的機(jī)制下自然形成的。這一發(fā)現(xiàn)，無疑為人工智能的發(fā)展帶來了新的啟示。
