亚洲视频二区_亚洲欧洲日本天天堂在线观看_日韩一区二区在线观看_中文字幕不卡一区

公告:魔扣目錄網為廣大站長提供免費收錄網站服務,提交前請做好本站友鏈:【 網站目錄:http://www.430618.com 】, 免友鏈快審服務(50元/站),

點擊這里在線咨詢客服
新站提交
  • 網站:52011
  • 待審:79
  • 小程序:12
  • 文章:1184964
  • 會員:801

在近日舉行的華為云生態大會上,硅基流動公司的創始人袁進輝帶來了一項重大宣布:硅基流動攜手華為云,基于CloudMatrix 384超節點昇騰云服務以及高性能推理框架SiliconLLM,正式推出了DeepSeek-R1的最新版本。這一版本采用了大規模專家并行的最佳實踐,為用戶帶來了前所未有的性能體驗。

據悉,DeepSeek-R1在確保每位用戶能夠達到20 TPS(每秒事務數)的基礎上,單卡Decode的吞吐量更是突破了1920 Tokens/s,這一表現與H100的部署性能不相上下。更重要的是,經過廣泛的主流測試集驗證及大規模線上盲測,使用昇騰算力部署的DeepSeek-R1模型精度,與DeepSeek官方提供的版本完全一致。

CloudMatrix超節點集群,憑借其基于新型高速總線架構的設計,在總算力、互聯帶寬以及內存帶寬方面均處于業界領先地位。這一創新架構,為DeepSeek-R1的高效運行提供了堅實的基礎。

硅基流動此前已在SiliconCloud大模型云服務平臺上,推出了基于昇騰云的穩定生產級DeepSeek-V3與R1推理服務,并支持模型的私有化集群部署。此次與華為云的深度合作,進一步推動了基于國產算力的DeepSeek-R1推理服務的持續優化與升級。

DeepSeek在全球范圍內掀起了一場風暴,其高效、低成本的MoE(Mixture of Experts,專家混合)架構為解決大模型推理的挑戰提供了新的思路。然而,要想成功部署DeepSeek,并非易事,尤其是缺乏強大的AI Infra技術能力的情況下。DeepSeek采用了大規模專家并行(Expert Parallelism,大EP并行)的MoE模型架構,如果采用單機部署方案,其性能將遠遜于DeepSeek官方公布的部署方案,且成本差距可能高達數倍。

面對這些挑戰,硅基流動與華為云共同攻克了技術難關。在CloudMatrix 384超節點昇騰云服務上部署DeepSeek-R1時,他們采用了大規模專家并行方案,通過多專家負載均衡和極致的通信優化,實現了高吞吐和更高性能,從而顯著提升了用戶體驗。同時,他們還利用了昇騰高性能算子庫以及硅基流動推理加速框架SiliconLLM在模型、機制、算子上的協同優化,使得在國產算力上,DeepSeek-R1的推理效率與資源利用率得到了顯著提升,且未損失模型精度。

硅基流動與華為云的這次合作,不僅為用戶提供了堅實的全國產軟硬件體系部署方案,使DeepSeek推理服務更加經濟高效,同時也展示了AI生態合作的強大力量。這一合作成果,將推動AI技術在更多場景中的落地和應用,為用戶帶來更加優質的AI服務體驗。

分享到:
標簽:華為 節點 助力 攜手 流動
用戶無頭像

網友整理

注冊時間:

網站:5 個   小程序:0 個  文章:12 篇

  • 52011

    網站

  • 12

    小程序

  • 1184964

    文章

  • 801

    會員

趕快注冊賬號,推廣您的網站吧!
最新入駐小程序

數獨大挑戰2018-06-03

數獨一種數學游戲,玩家需要根據9

答題星2018-06-03

您可以通過答題星輕松地創建試卷

全階人生考試2018-06-03

各種考試題,題庫,初中,高中,大學四六

運動步數有氧達人2018-06-03

記錄運動步數,積累氧氣值。還可偷

每日養生app2018-06-03

每日養生,天天健康

體育訓練成績評定2018-06-03

通用課目體育訓練成績評定