在北京舉辦的“WISE2024 商業之王”大會上，一場關于國產算力應用的深度探討吸引了眾多行業精英的目光。北京電子數智科技有限責任公司（簡稱“北電數智”）作為受邀嘉賓，其CMO兼戰略與市場負責人楊震發表了題為《“國產算力 PoC 平臺”引領算力優化新路徑》的演講，分享了北電數智在國產算力應用領域的獨到見解和最新探索成果。
隨著OpenAI o1的發布，強化學習在提升大模型智力方面的推理模型路線逐漸獲得行業認可。然而，盡管推理模型以長思考時間換取智能水平的提升，但在實際應用中，用戶仍追求快速響應、低成本推理和高吞吐能力。推理模型注重垂直場景的落地，但存在產業鏈斷層問題，模型方與算力供給需要按場景進行系統化適配。
針對這些挑戰，北電數智推出了首個國產算力PoC平臺，該平臺構建在北電數智先進計算迭代驗證平臺（前進?AI 異構計算平臺）之上，位于北電數智規劃建設的北京數字經濟算力中心。該平臺能夠實現對不同廠家算力芯片的納管與統一調度，根據模型任務特性精準調配算力資源。通過構建豐富的算子庫和通信庫，平臺加速模型訓練進程，提供高性價比、高品質的算力支持。
在模型與行業、場景深度融合的背景下，定制化需求愈發重要。北電數智的國產算力PoC平臺能夠在垂直場景下為用戶提供算力集群的評測、適配和驗證服務，幫助算力需求方找到最適合的“軟件+硬件”組合方案，提升模型訓推算力效率，降低訓推成本，提升用戶體驗。
國產算力PoC平臺在提升國產芯片和集群利用率方面表現出色。通過調度、算法和算子等多層面的優化，平臺顯著改善了國產集群的訓推效能。混訓集群的訓練效果達到單一集群綜合訓練效果的1.2倍，混推操作時平均MFU（模型對算力的利用率）從30%提升至60%。
在模型生成速度方面，經過國產算力PoC平臺多層優化后，基于國產芯片的模型首字延遲最多可優化10倍，解碼延遲同樣可達10倍優化，推理吞吐量最高可實現80倍提升。這意味著平臺能夠在單位時間內處理更多數據，更快速地響應模型推理需求，提升數據處理效率和用戶體驗。
為了進一步提升運行效率和節約資源，北電數智在集群中采用了多種推理優化策略。例如，利用scoping to zero特性縮短冷啟動時長，在集群推理環節支持Continuous batch、Page attention、CPU/GPU異步等推理策略，提高GPU利用率。
目前，北電數智的國產算力PoC平臺已支持對十多種國內知名算力芯片的評測和二十多款主流模型的適配。平臺在AI發展中展現出關鍵價值和強大競爭力，通過精準的算力納管與調度、卓越的模型適配能力以及全方位的優化舉措，解決了推理模型落地應用時的諸多難題。
作為肩負“建設數字中國”使命的AI原生國企，北電數智始終堅持探索難而正確的事。公司致力于強化行業間的生態聯動，打通模型、場景與芯片在商業運營及研發創新層面的閉環鏈路。在人工智能產業蓬勃發展的背景下，北電數智積極布局，通過持續優化國產算力PoC平臺整合行業資源，為產業鏈上下游企業提供高效的合作橋梁，提升我國人工智能產業自主化創新能力。
北電數智的國產算力PoC平臺不僅提升了國產芯片利用率和集群效能，降低了模型訓推成本，還顯著提高了運行效率。平臺在AI領域的實踐和創新，為國家科技戰略的推進做出了積極貢獻。
北電數智還通過不斷的技術創新和生態建設，推動了人工智能技術在各行各業的廣泛應用和深入發展。公司的努力和成果，為行業樹立了標桿，也為未來的發展奠定了堅實基礎。
