在近日舉辦的AICon全球人工智能開發(fā)與應(yīng)用大會（北京站2024）上，英博數(shù)科的首席技術(shù)官李少鵬隆重推介了多款名為“英博云”的智能計(jì)算產(chǎn)品與服務(wù)。據(jù)悉，英博云業(yè)務(wù)覆蓋智算中心的建設(shè)與維護(hù)、GPU容器服務(wù)、先進(jìn)算力實(shí)驗(yàn)室以及產(chǎn)業(yè)孵化器四大核心領(lǐng)域，致力于提供高效、多元化的GPU智能計(jì)算解決方案，助力企業(yè)加速AI技術(shù)的研發(fā)與業(yè)務(wù)拓展。
智算行業(yè)正在經(jīng)歷從規(guī)模化擴(kuò)張向精細(xì)化運(yùn)營的轉(zhuǎn)型，展現(xiàn)出三大顯著趨勢。首先，全球范圍內(nèi)通用大模型的訓(xùn)練對算力的需求急劇增加，集群規(guī)模已從千卡級躍升至萬卡乃至十萬卡級，成為推動大模型技術(shù)不斷突破的關(guān)鍵支撐。其次，隨著AI在垂直行業(yè)的廣泛應(yīng)用，各行業(yè)對算力的需求變得更加分散且多變。從科研、金融到娛樂、零售，各領(lǐng)域企業(yè)迫切需要靈活且可伸縮的算力支持，以滿足多樣化應(yīng)用場景的需求。最后，在AI商業(yè)化進(jìn)程加速的背景下，推理場景對算力的需求迅速增長，逐漸超越了訓(xùn)練算力的需求，成為市場發(fā)展的主要驅(qū)動力。
然而，高昂的算力成本已成為制約大模型技術(shù)發(fā)展和應(yīng)用普及的主要瓶頸。當(dāng)前，算力行業(yè)缺乏有效的成本效益評估體系，難以準(zhǔn)確衡量實(shí)際算力的利用效率。對此，英博數(shù)科創(chuàng)造性地提出了“單位有效算力成本”這一評價(jià)體系及相應(yīng)的計(jì)算公式，為行業(yè)樹立了新的評價(jià)標(biāo)準(zhǔn)。該評價(jià)體系不再以裝機(jī)算力、設(shè)備成本、機(jī)電成本和運(yùn)維成本等固定支出為核心，而是將評價(jià)重點(diǎn)轉(zhuǎn)向?qū)嶋H效益。通過引入“卡可用率”、“卡利用率”和“模型算力利用率（MFU）”三大關(guān)鍵指標(biāo)，這一創(chuàng)新體系能夠精確衡量實(shí)際算力的利用水平，有效避免了算力資源閑置、設(shè)備故障頻發(fā)以及整體利用率低下等行業(yè)痛點(diǎn)導(dǎo)致的評估誤差，提升了算力效率和效益評價(jià)的準(zhǔn)確性。
英博云的亮相，標(biāo)志著高效益、多樣化的智算產(chǎn)品新范式的誕生。為響應(yīng)智算行業(yè)的發(fā)展趨勢，英博云提供了一系列高效益、多元化的GPU智算產(chǎn)品及服務(wù)，全面覆蓋智算中心的建設(shè)與維護(hù)、GPU容器服務(wù)、先進(jìn)算力實(shí)驗(yàn)室和產(chǎn)業(yè)孵化器四大領(lǐng)域，為企業(yè)加速AI技術(shù)研發(fā)與業(yè)務(wù)創(chuàng)新提供強(qiáng)有力的支持。
針對通用大模型集中式、大規(guī)模訓(xùn)練的需求，英博云憑借其豐富的智算中心交付經(jīng)驗(yàn)，能夠?yàn)榭蛻籼峁┮徽讟?biāo)準(zhǔn)化、模塊化的智算中心建設(shè)與維護(hù)解決方案。其自主研發(fā)的高性能并行存儲解決方案、專業(yè)的硬件測評與檢測體系以及精細(xì)化的集群監(jiān)控和自動化故障恢復(fù)體系，不僅能夠提供高硬件穩(wěn)定性的集群，還能提升集群的可用性。依托成熟的算力調(diào)度平臺，英博云還支持通過容器化形式為長尾客戶提供高效、可伸縮的算力服務(wù)，滿足不同規(guī)模和需求的用戶。
英博數(shù)科的智算中心建設(shè)與維護(hù)解決方案已在京能項(xiàng)目成功落地。英博數(shù)科在智算中心建設(shè)與維護(hù)方面的獨(dú)特優(yōu)勢，成為推動項(xiàng)目持續(xù)進(jìn)展的關(guān)鍵力量。在供應(yīng)鏈方面，英博數(shù)科整合資源與眾多供應(yīng)商合作確保穩(wěn)定供應(yīng)；在集群運(yùn)維組網(wǎng)方面，從選型到建設(shè)交付都遵循高標(biāo)準(zhǔn)規(guī)范與專業(yè)保障，推動項(xiàng)目進(jìn)展。未來，英博數(shù)科有望與更多智算中心項(xiàng)目合作，助力產(chǎn)業(yè)發(fā)展。
面對垂類大模型分散、動態(tài)的訓(xùn)練需求，英博云為中小企業(yè)提供高效、靈活的GPU容器服務(wù)。通過Vcluster形式，英博云提供GPU和CPU資源混合的彈性K8S集群服務(wù)，滿足大模型并行訓(xùn)練的工程需求。同時(shí)，英博云支持SSH和Kubectl管理操作，為用戶提供靈活便捷的體驗(yàn)。秒級別的容器啟停和計(jì)費(fèi)粒度，以及企業(yè)級的并行存儲服務(wù)，使其能夠提升GPU資源的使用效率、降低使用成本，并支持容器數(shù)據(jù)的持久化和模型數(shù)據(jù)的高速共享。英博云還提供內(nèi)網(wǎng)預(yù)定義場景鏡像倉庫、常用模型庫、常用數(shù)據(jù)集等數(shù)據(jù)源服務(wù)，有效提高數(shù)據(jù)準(zhǔn)備和環(huán)境配置的效率。截至目前，除了京能集團(tuán)、百川智能、無問芯穹、潞晨科技等知名企業(yè)，英博云還為眾多中小企業(yè)、權(quán)威學(xué)府、科研院所的垂類大模型需求提供彈性、靈活的算力產(chǎn)品與服務(wù)，共同構(gòu)建AI產(chǎn)業(yè)鏈的合作生態(tài)。
先進(jìn)算力實(shí)驗(yàn)室致力于成為業(yè)界頂尖的算力性能評測中心，圍繞硬件評測、軟件評測以及行業(yè)服務(wù)展開工作，為企業(yè)算力基礎(chǔ)設(shè)施的升級與優(yōu)化提供前瞻、可行的建議，助力提升算力效率和業(yè)務(wù)表現(xiàn)。在硬件評測方面，對GPU、交換機(jī)、光模塊、并行存儲等進(jìn)行嚴(yán)格測試，確保設(shè)備性能符合高標(biāo)準(zhǔn)；在軟件評測方面，涵蓋基座模型、訓(xùn)練框架、微調(diào)框架、推理框架等，為智能算力的優(yōu)化提供全方位支持。通過提供行業(yè)標(biāo)準(zhǔn)制定和定制化服務(wù)，先進(jìn)算力實(shí)驗(yàn)室助力企業(yè)在智能算力領(lǐng)域不斷創(chuàng)新突破，并已開展工業(yè)界主流GPU芯片的測試。
產(chǎn)業(yè)孵化器通過聯(lián)合AI產(chǎn)業(yè)鏈上下游企業(yè)，探索算力組合投資的新模式，挖掘AI產(chǎn)業(yè)的潛在方向，賦能企業(yè)實(shí)現(xiàn)技術(shù)研發(fā)與業(yè)務(wù)擴(kuò)展的雙重突破。
英博云系列智算產(chǎn)品與服務(wù)的發(fā)布，不僅展示了英博數(shù)科在智能算力領(lǐng)域的技術(shù)實(shí)力與產(chǎn)品優(yōu)勢，也為行業(yè)發(fā)展注入了新的活力。通過創(chuàng)新的評估體系與多元化的解決方案，英博云正引領(lǐng)行業(yè)邁向高效益、多樣化和可持續(xù)發(fā)展的新階段。
