近日，五位高校教授齊聚一堂，在線上深入探討DeepSeek的技術原理和未來方向。這次討論不僅揭秘了DeepSeek如何通過優化方法提升算力能效，還回應了業界對于復現o1大推理模型、DeepSeek的技術路線和訓練流程等多個熱點問題的關注。
北京交通大學教授金一擔任此次線上分享的主持人，復旦大學教授邱錫鵬、清華大學副教授劉知遠、清華大學教授翟季冬以及上海交通大學副教授戴國浩從不同專業角度分享了他們對DeepSeek的見解。
邱錫鵬教授首先介紹了DeepSeek的R1技術路線圖，并強調強推理模型的最終目標是實現Agent功能。他指出，OpenAI的o1模型通過強化學習實現了顯著的推理能力，而DeepSeek則在此基礎上通過策略初始化、獎勵設計、搜索和學習等四個方面進行了優化。邱教授特別提到了R1-Zero模型，該模型通過純強化學習訓練，逐步涌現出長思維鏈能力。
劉知遠教授從宏觀角度分析了DeepSeek-R1的價值。他認為，DeepSeek是全球首個通過純強化學習技術復現o1能力的團隊，并為行業做出了重要貢獻。劉教授指出，DeepSeek-R1的訓練流程有兩大亮點：一是基于DeepSeek-V1基座模型的大規模強化學習，二是通過深度推理SFT數據和通用SFT數據的混合微調，實現了推理能力的跨任務泛化。
翟季冬教授則詳細介紹了DeepSeek在系統軟件方面的優化工作。他提到，DeepSeek通過負載均衡、通信優化、內存優化和計算優化等手段，大幅提升了訓練效率，從而降低了訓練成本。翟教授特別強調了MoE架構在DeepSeek中的應用，以及如何通過創新解決MoE帶來的負載均衡問題。
戴國浩教授則就DeepSeek在軟硬件協同優化方面的工作進行了討論。他提到，DeepSeek通過定制的PTX指令和自動調整通信塊大小，顯著減少了L2緩存的使用和對其他SM的干擾，從而提升了系統性能。戴教授還強調了軟硬件協同優化的重要性，并指出未來國產芯片和國內芯片組合將成為大模型優化的新興熱點方向。
在隨后的問答環節中，教授們就DeepSeek的技術亮點、成功原因以及對中國大模型未來發展的啟示等問題進行了深入探討。邱錫鵬教授認為，DeepSeek的成功得益于長期積累、軟硬件協同創新和高效團隊支持。劉知遠教授則強調了技術理想主義和長期主義的重要性，并認為DeepSeek為中國AI團隊樹立了榜樣。
翟季冬教授和戴國浩教授則分別從創新和軟硬件協同優化的角度分享了他們的見解。翟教授認為創新是社會進步和個人發展的永恒動力，而戴教授則強調了軟硬件協同優化在未來AI發展中的重要性。
教授們還就MoE架構是否是最優解、長思維鏈模型對硬件的需求以及PTX方法的通用性等問題進行了討論。他們一致認為，未來AI的發展將沿著高效性的方向前進，而創新和軟硬件協同優化將是實現這一目標的關鍵。
