【ITBEAR】近期，蘋果公司在生成式AI領域的動向引起了業界關注。據報道，蘋果研究員發布了一篇質疑大語言模型數學推理能力的論文，引發了一場關于AI技術實力的討論。為了驗證這些質疑，一系列大語言模型接受了嚴格的測試。
在測試中，首先面對的是一個關于奇異果數量計算的問題。結果顯示，多數大模型能夠正確回答，但文心3.5卻給出了錯誤答案，將體型較小的奇異果排除在外。然而，當問題復雜度提升，如涉及公交車發車時間計算時，文心3.5卻意外地成為唯一給出正確答案的模型，顯示其在某些特定場景下的優勢。
隨后的運動員參與項目數量的計算問題，更是成為了大模型的“滑鐵盧”。除了付費版的OpenAI o1-preview大模型外，其余包括GPT-4o、訊飛星火、豆包、Kimi以及文心3.5等在內的大模型均未能給出正確答案。這一結果揭示了，盡管大模型在某些方面表現出色，但在面對復雜數學問題時仍顯力不從心。
從測試結果來看，大語言模型的性能與其參數量密切相關。例如，GPT-4o mini由于參數量較少，在計算推理時頻繁出錯。而付費版的大模型由于擁有更多的資源和更高的參數量，往往能提供更準確的答案。
測試還顯示出大語言模型在理解人類語言和邏輯方面的局限性。盡管它們在處理基礎數學問題時表現良好，但面對具有歧義或復雜性的問題時，它們的推理能力就顯得捉襟見肘。這再次證明，盡管AI技術取得了顯著進步，但要達到人類智能的水平，還有很長的路要走。
蘋果研究員的質疑，一方面揭示了大語言模型在數學推理方面的不足，另一方面也反映了蘋果在生成式AI領域的焦慮。與其質疑他人，蘋果或許更應該專注于提升自身的AI技術實力，加速布局生成式AI，以免在未來的市場競爭中再次落敗。
