近期，百度智能云發(fā)布了一份深度報告，聚焦于2024年大模型時代的異構(gòu)計算平臺發(fā)展。該報告詳盡地探討了隨著GPT-3等大模型的崛起，訓(xùn)練過程中的技術(shù)瓶頸與應(yīng)對之道。
GPT-3等大模型的誕生標(biāo)志著大模型時代的到來，它們在效果和通用性上的顯著提升引起了業(yè)界的廣泛關(guān)注。然而，這種進步也帶來了前所未有的訓(xùn)練需求。以GPT-3為例，其1750億參數(shù)和3000億詞語的龐大體量，使得計算量高達314 ZFLOPs。如果使用單張A100顯卡，需要32年才能完成訓(xùn)練。千億參數(shù)所需的2TB存儲空間，也遠超單卡80GB的顯存限制。這些挑戰(zhàn)迫使業(yè)界尋求分布式加速和更多存儲空間的解決方案。
面對算力墻和存儲墻的困境，報告提出了多種模型切分技術(shù)。數(shù)據(jù)并行通過梯度同步確保多卡參數(shù)的一致性，常用的同步策略包括同步更新和異步更新，當(dāng)前主流做法是同步更新。流水線并行則讓每張顯卡保存模型的部分層，并同步激活與梯度。張量并行則將單層操作分割到多張顯卡上。分組參數(shù)切片則是對數(shù)據(jù)并行中的顯存冗余進行優(yōu)化，以節(jié)省顯存。
在硬件資源和網(wǎng)絡(luò)設(shè)計上，報告指出，單機硬件的選型需要注重高算力和機內(nèi)多卡通信能力，如配置8張NVIDIA A100顯卡等。集群網(wǎng)絡(luò)則采用8導(dǎo)軌優(yōu)化的三層CLOS架構(gòu)，可以支撐萬卡級別的規(guī)模，并重點優(yōu)化同號卡的AllReduce操作。
在軟硬件結(jié)合的優(yōu)化方面，報告介紹了基于靜態(tài)圖的多后端加速架構(gòu)，該架構(gòu)包括圖接入、后端抽象、圖優(yōu)化和圖轉(zhuǎn)換等環(huán)節(jié)。圖接入融合了動態(tài)圖和靜態(tài)圖的優(yōu)勢，通過多種方式實現(xiàn)。后端加速則涉及計算執(zhí)行時間分析、算子融合和算子實現(xiàn)優(yōu)化。通信優(yōu)化針對交換機哈希沖突、All2All加速和使能Infiniband等問題，提出了具體的解決方案。端到端自動化任務(wù)切分與放置通過構(gòu)建cost model，搜索最優(yōu)方案。
報告中還提及了在大模型訓(xùn)練中減少計算量的方法，如條件計算和混合專家模式。這些方法根據(jù)條件激活部分參數(shù)，將模型拆分為子網(wǎng)絡(luò)，從而降低了計算量。
隨著大模型的發(fā)展，參數(shù)規(guī)模持續(xù)增加，多模態(tài)訓(xùn)練逐漸興起，算力需求也大幅增長。這些趨勢將推動基礎(chǔ)設(shè)施的不斷演進。百度百舸·AI異構(gòu)計算平臺2.0應(yīng)運而生，為城市大腦、工業(yè)互聯(lián)網(wǎng)等業(yè)務(wù)場景提供了有力支持，滿足了大模型訓(xùn)練和應(yīng)用的多樣化需求。
