近日，中國科學家在人工智能領域取得了重大突破，他們聯合研發了一種名為GroPipe的全新混合并行算法，成功地將流水線模型并行與數據并行融合，實現了AI訓練速度的大幅提升，近乎翻倍。
據悉，這一創新成果由西北農林科技大學信息工程學院智能計算與農業信息系統團隊領銜，團隊負責人劉斌教授擔任核心作者，并與美國紐約州立大學及云南大學展開合作。相關研究成果已在國際計算機體系結構領域的權威期刊《IEEE Transactions on Computers》上發表。
在大型深度卷積神經網絡（DCNNs）的訓練過程中，為了提高模型精度，使用越來越大的數據集已成為常態，但這也導致了訓練時間的顯著增加。傳統的數據并行（DP）和流水線模型并行（PMP）等分布式訓練方法雖然提供了解決方案，但仍面臨負載不平衡和通信開銷大等挑戰。
針對這些問題，研究團隊提出了GroPipe算法架構，該架構通過協同整合PMP和DP，采用基于性能預測技術的自動模型分割算法，實現了負載的平衡和性能的量化評估。這一創新方法不僅解決了傳統訓練方法的痛點，還構建了一種全新的“組內流水線 + 組間數據并行”的分層訓練架構。
在GroPipe方法中，自動模型劃分算法（AMPA）發揮了關鍵作用，它實現了計算負載的動態均衡調度，大幅提升了GPU資源的利用率。在一臺8-GPU服務器上進行的廣泛測試中，GroPipe方法展現出了卓越的性能優勢。
具體來說，在ImageNet數據集上，GroPipe方法相較于主流方案（如DP、Torchgpipe、DAPPLE和DeepSpeed）在ResNet系列模型上平均加速比達到了42.2%，在VGG系列模型上更是高達79.2%。在BERT-base模型訓練中，GroPipe方法的性能提升最高可達51%。
這一研究成果不僅為中國科學家在國際人工智能領域贏得了榮譽，更為人工智能的發展注入了新的活力。GroPipe算法的創新性和實用性，將有望推動人工智能技術在更多領域的應用和發展。
