在近日舉行的華為云生態大會上,硅基流動公司的創始人袁進輝帶來了一項重大宣布:硅基流動攜手華為云,基于CloudMatrix 384超節點昇騰云服務以及高性能推理框架SiliconLLM,正式推出了DeepSeek-R1的最新版本。這一版本采用了大規模專家并行的最佳實踐,為用戶帶來了前所未有的性能體驗。
據悉,DeepSeek-R1在確保每位用戶能夠達到20 TPS(每秒事務數)的基礎上,單卡Decode的吞吐量更是突破了1920 Tokens/s,這一表現與H100的部署性能不相上下。更重要的是,經過廣泛的主流測試集驗證及大規模線上盲測,使用昇騰算力部署的DeepSeek-R1模型精度,與DeepSeek官方提供的版本完全一致。
CloudMatrix超節點集群,憑借其基于新型高速總線架構的設計,在總算力、互聯帶寬以及內存帶寬方面均處于業界領先地位。這一創新架構,為DeepSeek-R1的高效運行提供了堅實的基礎。
硅基流動此前已在SiliconCloud大模型云服務平臺上,推出了基于昇騰云的穩定生產級DeepSeek-V3與R1推理服務,并支持模型的私有化集群部署。此次與華為云的深度合作,進一步推動了基于國產算力的DeepSeek-R1推理服務的持續優化與升級。
DeepSeek在全球范圍內掀起了一場風暴,其高效、低成本的MoE(Mixture of Experts,專家混合)架構為解決大模型推理的挑戰提供了新的思路。然而,要想成功部署DeepSeek,并非易事,尤其是缺乏強大的AI Infra技術能力的情況下。DeepSeek采用了大規模專家并行(Expert Parallelism,大EP并行)的MoE模型架構,如果采用單機部署方案,其性能將遠遜于DeepSeek官方公布的部署方案,且成本差距可能高達數倍。
面對這些挑戰,硅基流動與華為云共同攻克了技術難關。在CloudMatrix 384超節點昇騰云服務上部署DeepSeek-R1時,他們采用了大規模專家并行方案,通過多專家負載均衡和極致的通信優化,實現了高吞吐和更高性能,從而顯著提升了用戶體驗。同時,他們還利用了昇騰高性能算子庫以及硅基流動推理加速框架SiliconLLM在模型、機制、算子上的協同優化,使得在國產算力上,DeepSeek-R1的推理效率與資源利用率得到了顯著提升,且未損失模型精度。
硅基流動與華為云的這次合作,不僅為用戶提供了堅實的全國產軟硬件體系部署方案,使DeepSeek推理服務更加經濟高效,同時也展示了AI生態合作的強大力量。這一合作成果,將推動AI技術在更多場景中的落地和應用,為用戶帶來更加優質的AI服務體驗。






