今年以來,大模型成為當(dāng)之無愧的風(fēng)口,據(jù)不完全統(tǒng)計(jì),國內(nèi)已發(fā)布的各類大模型數(shù)量超過 100 個(gè), 呈現(xiàn)出“百模大戰(zhàn)”的態(tài)勢。資本也聞風(fēng)趕來,天眼查 APP 顯示,今年上半年與大模型直接相 關(guān)的融資事件超 20 起。
大模型愈演愈烈, 隨之催生了海量的 AI 算力需求。截至 2022 年底,我國算力總規(guī)模達(dá) 180EFLOPS , 目前居全球第二位,并保持30%的年增長率。據(jù)測算 ,2023 年我國算力核心產(chǎn) 業(yè)規(guī)模有望突破 2 萬億元。
雖然算力行業(yè)總體蓬勃發(fā)展,但面對大模型浪潮之下激增的算力需求, 目前英偉達(dá)的產(chǎn)能有 限, 加之受限于臺(tái)積電的產(chǎn)能以及內(nèi)存供應(yīng)商等限制, GPU 的產(chǎn)能不會(huì)暴漲, 旺盛的需求和
GPU 的短缺,造成了行業(yè)存在巨大 AI 算力缺口, “搶卡”現(xiàn)象仍在持續(xù)。
如何破解大模型“算力荒”成為擺在算力服務(wù)商面前的共同命題。
“看不見”的超算,“看得見”的好用
眾所周知,大模型是“燒錢”的業(yè)務(wù),而“燒錢”的原因最主要是當(dāng)前每次大模型訓(xùn)練所需要的 算力非常之高。
以 ChatGPT 為例,根據(jù) OpenAI 公開數(shù)據(jù)推測,如果每秒 1000 萬億次的計(jì)算,每次模型訓(xùn) 練也需要 3640 天的計(jì)算能力。
僅單次訓(xùn)練任務(wù)都需要數(shù)百張甚至數(shù)千張 GPU 卡做計(jì)算加速,例如A100、A800、H800 等, 同時(shí)還需要長周期、穩(wěn)定可靠的計(jì)算環(huán)境來保障計(jì)算任務(wù)不中斷,盡管開發(fā)者會(huì)加入很多的 checkpoint,但發(fā)生故障后在時(shí)間、精力和成本方面的代價(jià)都不小。
這樣的大模型訓(xùn)練場景對算力提出了架構(gòu)互通、高速互聯(lián)的需求,考驗(yàn)規(guī)模性算力資源在短 時(shí) 間內(nèi)的計(jì)算“爆發(fā)力”。
而過去的云計(jì)算架構(gòu)主要是分布式架構(gòu),主流的云計(jì)算服務(wù)器之間的網(wǎng)絡(luò)帶寬在 200Gbps, 但大模型的一些訓(xùn)練需求服務(wù)器之間的互聯(lián)網(wǎng)帶寬一般要求達(dá)到 3200Gbps,兩者相差十幾 倍。
過去的超算架構(gòu)又主要以 CPU 為主,傳統(tǒng)基礎(chǔ)設(shè)施架構(gòu)下的算力已經(jīng)無法滿足大模型時(shí)代 的需求,只有建設(shè)大規(guī)模 GPU 超算集群才可以滿足大模型的算力需求。
大規(guī)模 GPU 超算集群,顧名思義,將大量 GPU 資源組成算力集群來應(yīng)對極高的密集性計(jì)算, 其浮點(diǎn)運(yùn)算速度能夠達(dá)到千萬億次每秒,同時(shí)具備高速互聯(lián)計(jì)算網(wǎng)絡(luò)、高性能文件存儲(chǔ)和強(qiáng)勁 的 GPU 算力。
可以說,大規(guī)模 GPU 超算集群更加貼合大模型訓(xùn)練場景,并行科技董事長陳健也曾公開表 示: “大模型的訓(xùn)練本質(zhì)上就是一個(gè)超大的訓(xùn)練任務(wù),比如在 1000 張 GPU 卡上跑兩三個(gè)月, 就 是一個(gè)典型的超算應(yīng)用場景。”
超萬 P 超算架構(gòu)大模型算力“及時(shí)雨”解決“算力荒”
據(jù) OpenAI 測算,全球 AI 訓(xùn)練所用的計(jì)算量呈現(xiàn)指數(shù)級(jí)增長,平均每 3.43 個(gè)月便會(huì)增長一 倍,過去幾年計(jì)算需求量已擴(kuò)大 30 萬倍,遠(yuǎn)超算力增長速度。
GPU 卡資源也始終緊張,大模型競賽已經(jīng)推高了市場對 GPU 的需求。盡管有一些公司即使 暫時(shí)還不需要 GPU,但由于擔(dān)心未來,也會(huì)開始提前儲(chǔ)備。相當(dāng)于“對供應(yīng)短缺的預(yù)期加重 了供應(yīng)短缺”。
有相關(guān)人士預(yù)測至少到 2023 年底,對于要部署數(shù)百或數(shù)千的 H100/H800 的企業(yè)都會(huì)面臨 短缺問題,目前看來, GPU 的短缺可能會(huì)持續(xù)到 2024 年。
為緩解 GPU 卡資源緊張問題,作為超算架構(gòu)大模型算力網(wǎng)絡(luò)先行者的并行科技計(jì)劃將在 2023 年底前,以“算力網(wǎng)絡(luò)”為依托,上線超萬 P 超算架構(gòu)大模型算力,為大模型行業(yè)帶來 GPU 資源“及時(shí)雨”。
具體來說,并行科技通過云主機(jī)、高性能集群和裸金屬三大產(chǎn)品體系支撐,基于高性能計(jì)算 環(huán)境 構(gòu)建 GPU 算力服務(wù)平臺(tái),以滿足大規(guī)模預(yù)訓(xùn)練、微調(diào)、高并發(fā)推理和高精度科學(xué)計(jì)算中對 計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等環(huán)節(jié)的多樣性需求。
不過,對大模型訓(xùn)練來說,解決 GPU 卡的資源問題只是第一步。面對訓(xùn)練時(shí)的大規(guī)模計(jì)算 需求, 在近日舉辦的 CCF HPC China 2023 大會(huì)上,并行科技介紹了一套集資源、技術(shù)、服 務(wù)、運(yùn)維于一體的綜合行業(yè)解決方案。專家團(tuán)隊(duì) 7×24 小時(shí)在線服務(wù),針對模型框架的安裝、 部署、優(yōu)化以及長時(shí)間運(yùn)行的保障訴求等提供在線技術(shù)支持,讓終端用戶輕松調(diào)度算力資源。
陳健表示:“我們主要通過技術(shù)服務(wù)、應(yīng)用服務(wù)以及性能優(yōu)化,幫助客戶提升訓(xùn)練效率。我們最主 要的優(yōu)勢體現(xiàn)在:一、確保用戶有 GPU 卡可以用;二、通過技術(shù)服務(wù)讓客戶感到高性能、好 用;三、通過算力優(yōu)化降低用戶用 GPU 卡的成本并提升效率。”
此前, AI 領(lǐng)域知名企業(yè)重點(diǎn)項(xiàng)目便是經(jīng)過并行科技應(yīng)用服務(wù)團(tuán)隊(duì)的調(diào)優(yōu),使單個(gè) 512 卡大 模型訓(xùn)練任務(wù)性能提升了約40%,實(shí)現(xiàn)算力從“可用”向“好用”轉(zhuǎn)化的同時(shí),成本投入大幅降 低。
根據(jù)沙利文的研究報(bào)告顯示, 2021 年通用超算云業(yè)務(wù)營收排行榜,并行科技排名第一,市 場占有率超過20%。目前,大模型行業(yè)正處在發(fā)展的關(guān)鍵階段,而算力作為剛需生產(chǎn)力之一,重要性不言而喻, 一家合適、優(yōu)質(zhì)的算力服務(wù)商甚至成為其成長的關(guān)鍵助推器。
