【ITBEAR科技資訊】6月27日消息，據了解，微軟近日發布了一款名為phi-1的語言模型，該模型擁有13億參數。與傳統認知不同的是，該模型證明了模型參數的數量并不是決定性因素，更重要的是訓練數據的質量。phi-1采用了高品質的數據集進行訓練，包括網絡上的教科書級別數據以及經過邏輯嚴謹處理的內容，訓練過程只用了短短的4天時間。
微軟團隊表示，相較于增加模型的參數量，提高訓練數據集的質量或許能更有效地提升模型的準確性和效能。通過這一理念，他們成功地訓練出了phi-1模型。在測試中，phi-1取得了50.6%的分數，表現優于擁有1750億參數的GPT 3.5(47%)。
微軟還表示，phi-1模型將在HuggingFace平臺上進行開源。值得一提的是，這不是微軟首次開發小型語言模型，此前他們已經推出了一款擁有130億參數的Orca模型，該模型采用了GPT-4合成的數據進行訓練，并且表現也優于ChatGPT等模型。
目前，phi-1的相關論文已經發布在arXiv上，感興趣的讀者可以在該平臺上找到論文的詳細內容。微軟的這一研究成果引起了廣泛的關注，為未來語言模型的發展帶來了新的思路和可能性。
