微軟亞洲研究院的數學與人工智能研究團隊近日宣布了一項針對小語言模型的創新技術——rStar-Math，該技術旨在解決各類數學問題。在1月10日發布的博文中，研究團隊詳細介紹了這一技術的設計與開發。
與微軟早前推出的Phi-4技術不同，rStar-Math采用了蒙特卡洛樹搜索（Monte Carlo Tree Search）方法進行推理。這種方法模仿了人類逐步解決問題的思考模式，通過將復雜問題分解為更小的部分，逐步推進，直至找到解決方案。
在研發過程中，研究團隊要求模型在輸出數學問題的解答時，不僅要提供自然語言描述的解題步驟，還要附帶相應的Python代碼實現。并且，這些自然語言描述被用作Python代碼的注釋，模型僅通過Python代碼進行訓練。
為了進一步提升解題能力，研究團隊還訓練了一個“策略模型”，用于生成數學推理步驟。同時，他們還引入了一個“過程偏好模型”（PPM），用于從多個可能的解題步驟中選擇出最有希望的路徑。這兩個模型通過四輪“自我進化”過程，相互學習，共同提升性能。
在訓練過程中，研究團隊使用了74萬道公開的數學應用題及其解答作為初始數據集。借助上述兩個模型，他們成功生成了大量新的解題步驟，進一步豐富了數據集。
測試結果顯示，rStar-Math技術的引入顯著提升了數學模型的解題準確率。具體而言，Qwen2.5-Math-7B模型在采用rStar-Math技術后，準確率從58.8%提升至90.0%；而Phi3-mini-3.8B模型的準確率則從41.4%躍升至86.4%。這兩個模型在準確率方面分別超過了OpenAI的o1-preview模型4.5%和0.9%。
為了方便其他研究者使用和改進rStar-Math技術，微軟研究團隊已在Hugging Face上宣布，他們計劃將rStar-Math的代碼和數據集在GitHub上公開。這一舉措無疑將促進數學與人工智能領域的進一步發展。
