在近日舉辦的“逐光向新·智領(lǐng)未來”華為云AI峰會(huì)上，與會(huì)專家和行業(yè)代表聚焦人工智能基礎(chǔ)設(shè)施的最新進(jìn)展與行業(yè)應(yīng)用實(shí)踐，共同探討了AI技術(shù)的未來發(fā)展路徑。
華為云在峰會(huì)上詳細(xì)介紹了其最新的CloudMatrix 384超節(jié)點(diǎn)架構(gòu)技術(shù)。據(jù)華為云副總裁黃瑾介紹，該架構(gòu)通過高速總線互聯(lián)和超大NPU點(diǎn)到點(diǎn)互聯(lián)帶寬，實(shí)現(xiàn)了全局內(nèi)存的統(tǒng)一編址和統(tǒng)一通訊協(xié)議，打破了傳統(tǒng)算力瓶頸。CloudMatrix 384超節(jié)點(diǎn)具備六大領(lǐng)先技術(shù)優(yōu)勢(shì)，包括MoE親和、以網(wǎng)強(qiáng)算、以存強(qiáng)算、長穩(wěn)可靠、朝推夜訓(xùn)、即開即用，旨在滿足新一代AI基礎(chǔ)設(shè)施的需求。
值得注意的是，華為云在峰會(huì)上還宣布將于今年第三季度推出“朝推夜訓(xùn)”的靈活調(diào)度策略。該策略旨在利用白天進(jìn)行模型推理，夜間等閑時(shí)進(jìn)行模型訓(xùn)練，預(yù)計(jì)能夠提升算力資源利用率30%以上。黃瑾強(qiáng)調(diào)，隨著AI模型復(fù)雜性的提升，集群網(wǎng)絡(luò)通信面臨挑戰(zhàn)，而CloudMatrix超節(jié)點(diǎn)架構(gòu)正是為了應(yīng)對(duì)這一問題而設(shè)計(jì)的。
硅基流動(dòng)聯(lián)合創(chuàng)始人兼首席產(chǎn)品官胡健也在峰會(huì)上發(fā)表了演講。他提到，開源模型在AI應(yīng)用領(lǐng)域的重要性日益提升，性能也在不斷進(jìn)步。硅基流動(dòng)與華為云緊密合作，針對(duì)DeepSeek-R1模型的部署采用了大規(guī)模專家并行方案，通過實(shí)施多專家負(fù)載均衡和極致通信優(yōu)化策略，有效提升了模型的吞吐量和性能。實(shí)驗(yàn)數(shù)據(jù)顯示，在保障單用戶20TPS水平的前提下，單卡解碼吞吐率已突破1920 Tokens/s。
華為云數(shù)據(jù)中心全球DC運(yùn)維首席專家謝峰深入探討了AI數(shù)據(jù)中心所面臨的獨(dú)特挑戰(zhàn)，包括超大規(guī)模光鏈路的波動(dòng)性、高功率密度帶來的供電穩(wěn)定需求以及超高密液冷散熱的問題。他介紹，華為云數(shù)據(jù)中心通過產(chǎn)品化實(shí)現(xiàn)了快速交付、低成本和低PUE，并在鋰電預(yù)測(cè)、液冷預(yù)測(cè)等智能化方面進(jìn)行實(shí)踐，著力構(gòu)建綠色低碳、穩(wěn)定可靠、安全可信的云數(shù)據(jù)中心。謝峰還分享了CloudMatrix 384超節(jié)點(diǎn)數(shù)據(jù)中心在利用數(shù)據(jù)分析進(jìn)行設(shè)備狀態(tài)預(yù)測(cè)方面的進(jìn)展，特別是在鋰電預(yù)測(cè)的應(yīng)用上，通過擴(kuò)展數(shù)據(jù)集范圍，CloudMatrix 384的預(yù)測(cè)準(zhǔn)確率已從最初的40%提升至97%。
保險(xiǎn)行業(yè)也在經(jīng)歷從人治向數(shù)據(jù)化治理的轉(zhuǎn)型。大家保險(xiǎn)信息科技部總經(jīng)理郝曉波指出，保險(xiǎn)行業(yè)的AI化轉(zhuǎn)型是數(shù)字化轉(zhuǎn)型的自然延伸，敏捷化的AI戰(zhàn)略可能更適合傳統(tǒng)行業(yè)。大家保險(xiǎn)正借助華為云的算力及AI平臺(tái)，構(gòu)建企業(yè)級(jí)AI中臺(tái)和業(yè)務(wù)應(yīng)用，覆蓋智能營銷、風(fēng)控投資等業(yè)務(wù)環(huán)節(jié)，以期推動(dòng)保險(xiǎn)業(yè)務(wù)的增長。德勤中國合伙人劉曉羽則表示，德勤中國利用基于華為昇騰云和DeepSeek構(gòu)建的AI平臺(tái)和工具，為客戶提供面向特定業(yè)務(wù)場(chǎng)景的AI咨詢和解決方案服務(wù)，預(yù)期將實(shí)現(xiàn)策略性的降本增效。
