在近期科技界的一次重大突破中，OpenAI推出了一項(xiàng)名為RFT（基于強(qiáng)化學(xué)習(xí)的微調(diào)）的新型訓(xùn)練方法，該方法迅速吸引了全球的目光。RFT通過(guò)結(jié)合強(qiáng)化學(xué)習(xí)與監(jiān)督微調(diào)技術(shù)，實(shí)現(xiàn)了在有限標(biāo)注數(shù)據(jù)下模型性能的顯著提升。緊接著，這一創(chuàng)新技術(shù)被百度智能云千帆ModelBuilder平臺(tái)引入國(guó)內(nèi)，成為首個(gè)全面支持RFT的大模型開(kāi)發(fā)平臺(tái)，為企業(yè)開(kāi)發(fā)者開(kāi)辟了一條高效、低成本的大模型開(kāi)發(fā)路徑。
RFT技術(shù)的核心在于其融合了強(qiáng)化學(xué)習(xí)（RL）與微調(diào)（Fine-tuning）的優(yōu)勢(shì)，打破了傳統(tǒng)訓(xùn)練方式對(duì)于大量人工標(biāo)注數(shù)據(jù)的依賴。通過(guò)引入一個(gè)稱為Grader的模塊，RFT能夠自動(dòng)比較模型的輸出與參考答案，并生成0-1之間的量化獎(jiǎng)勵(lì)信號(hào)，以此驅(qū)動(dòng)模型的優(yōu)化過(guò)程。這種機(jī)制不僅提高了數(shù)據(jù)利用效率，還使模型能夠自主思考，強(qiáng)化正確的思維路徑，抑制錯(cuò)誤的路徑。
在實(shí)際應(yīng)用中，RFT展現(xiàn)出了令人矚目的效果。在復(fù)雜場(chǎng)景下，僅需4500條訓(xùn)練數(shù)據(jù)，RFT就能使模型達(dá)到令人滿意的性能水平。在涉及邏輯推理的任務(wù)中，RFT訓(xùn)練后的模型在準(zhǔn)確率上有了顯著提升，甚至超越了OpenAI的o1模型。這一成就不僅體現(xiàn)在平均準(zhǔn)確率的提高上，更在于模型在面對(duì)不同難度任務(wù)時(shí)的穩(wěn)定表現(xiàn)。
百度智能云千帆ModelBuilder平臺(tái)上的RFT訓(xùn)練流程簡(jiǎn)潔高效。用戶只需按照平臺(tái)指引，創(chuàng)建RFT訓(xùn)練任務(wù)，選擇基礎(chǔ)模型，并配置獎(jiǎng)勵(lì)規(guī)則。隨后，準(zhǔn)備包含問(wèn)題和參考答案的訓(xùn)練數(shù)據(jù)，即可開(kāi)始訓(xùn)練過(guò)程。訓(xùn)練完成后，用戶可以在平臺(tái)上一鍵部署模型，并通過(guò)自動(dòng)評(píng)估任務(wù)快速獲得模型效果反饋。
以實(shí)際案例為例，在“好人/壞人”推理場(chǎng)景中，RFT訓(xùn)練后的模型在3-8人復(fù)雜度遞增的任務(wù)中，平均準(zhǔn)確率相比基礎(chǔ)模型提升了29%。這一提升不僅體現(xiàn)在準(zhǔn)確率的數(shù)字上，更在于模型在推理過(guò)程中的清晰度和邏輯性。在RFT訓(xùn)練前，基礎(chǔ)模型的輸出答案和思考過(guò)程往往存在明顯錯(cuò)誤，尤其是在任務(wù)難度增加時(shí)，模型甚至?xí)霈F(xiàn)語(yǔ)言混亂的情況。而經(jīng)過(guò)RFT訓(xùn)練后，模型的輸出答案準(zhǔn)確，思考過(guò)程也更加條理清晰。
RFT技術(shù)還展現(xiàn)出了更高的訓(xùn)練天花板。在復(fù)雜問(wèn)題場(chǎng)景下，RFT訓(xùn)練后的模型相比傳統(tǒng)監(jiān)督微調(diào)方法（SFT）在準(zhǔn)確率上有了更顯著的提升。這表明RFT在處理復(fù)雜任務(wù)時(shí)具有更強(qiáng)的適應(yīng)性和優(yōu)化能力。
百度智能云千帆ModelBuilder平臺(tái)的RFT訓(xùn)練流程不僅簡(jiǎn)化了大模型開(kāi)發(fā)的復(fù)雜度，還降低了生成式AI應(yīng)用落地的門(mén)檻。通過(guò)RFT技術(shù)，企業(yè)開(kāi)發(fā)者能夠更高效地利用有限的數(shù)據(jù)資源，訓(xùn)練出性能卓越的模型，為各行業(yè)的智能化轉(zhuǎn)型提供有力支持。
