近日,北京趨動(dòng)科技有限公司(以下簡稱“趨動(dòng)科技”)與深信服正式推出聯(lián)合解決方案。聯(lián)合解決方案將深信服EDS的高性能存儲與趨動(dòng)科技OrionX AI算力資源池化軟件、以及Gemini AI訓(xùn)練平臺有機(jī)結(jié)合,整合存力與算力資源的同時(shí),幫助用戶建好AI平臺、管好AI資源、用好AI服務(wù)。
具體來說,聯(lián)合解決方案的推出將為AI領(lǐng)域用戶的基礎(chǔ)設(shè)施建設(shè)帶來以下改變。
1、高性能聯(lián)合方案就緒,打造更高效的訓(xùn)練平臺
隨著AI大模型建設(shè)進(jìn)度的加快,用戶對AI模型訓(xùn)練效率的要求也越來越高。但由于GPU算力資源不足和底層存儲小文件讀寫性能不足等問題,訓(xùn)練平臺內(nèi)大量的訓(xùn)練任務(wù)不得不排隊(duì)等待。算力和存力上的能力缺失,拖慢了整個(gè)AI訓(xùn)練平臺的訓(xùn)練效率。
針對此種情況,聯(lián)合解決方案自上而下做了全面優(yōu)化。針對上層訓(xùn)練平臺的效率問題,趨動(dòng)科技OrionX AI算力資源池化軟件通過打造算力資源池,幫助用戶根據(jù)任務(wù)情況靈活分配GPU資源,實(shí)現(xiàn)資源的切分、聚合、遠(yuǎn)程調(diào)用、超分、任務(wù)排隊(duì)、動(dòng)態(tài)掛載和釋放、以及國產(chǎn)芯片異構(gòu)池化等能力,充分滿足各項(xiàng)訓(xùn)練任務(wù)的算力開銷,加速任務(wù)開展。同時(shí),Gemini AI訓(xùn)練平臺提供的調(diào)度能力優(yōu)化了訓(xùn)練平臺的管理機(jī)制,統(tǒng)一調(diào)度下,AI模型的訓(xùn)練更加高效。
針對底層存儲的性能問題,通過EDS自研的啟發(fā)式預(yù)讀機(jī)制和多活元數(shù)據(jù)服務(wù),可有效解決小文件性能難題,百億數(shù)據(jù)集規(guī)模下也可提供高速的讀寫能力,從而減少GPU的等待時(shí)間,提高短期循環(huán)訓(xùn)練的吞吐能力和訓(xùn)練效率。
2、容量與性能同步擴(kuò)展,打造高性價(jià)比的存儲方案
在日常的AI數(shù)據(jù)集訓(xùn)練過程中,為了讓模型更加精準(zhǔn),常常需要用海量的圖像、文本等數(shù)據(jù)對AI模型進(jìn)行訓(xùn)練。飛速增長的數(shù)據(jù)給底層存儲的容量和性能帶來了巨大的壓力,傳統(tǒng)存儲高成本、低效率的擴(kuò)容模式愈發(fā)難以滿足性能和容量的需求。
憑借矩陣式存儲算法等全自研技術(shù),EDS在存儲圖文、視頻等小文件的過程中,可有效解決小文件寫放大導(dǎo)致的空間浪費(fèi)問題,最大化利用存儲空間,三節(jié)點(diǎn)組成的集群即可滿足一個(gè)中等規(guī)模的AI訓(xùn)練團(tuán)隊(duì)的存儲需求。在性能的擴(kuò)容方面,也得益于軟件定義存儲的架構(gòu)優(yōu)勢,EDS在進(jìn)行擴(kuò)容時(shí)可實(shí)現(xiàn)容量與性能地同步擴(kuò)展,靈活應(yīng)對AI業(yè)務(wù)快速增長的性能需求。
3、統(tǒng)一管理,深度挖掘數(shù)據(jù)價(jià)值
在方案發(fā)布前,EDS已經(jīng)通過NFS CSI、S3等協(xié)議與趨動(dòng)科技的Gemini AI訓(xùn)練平臺實(shí)現(xiàn)了無縫對接。深度適配下,Kubernetes容器編排平臺可更快完成存儲資源的動(dòng)態(tài)分配,用戶在部署時(shí)可直接跳過針對方案的可行性研究環(huán)節(jié),快速上線AI訓(xùn)練任務(wù)。同時(shí),EDS還支持多協(xié)議間的數(shù)據(jù)互通,多類型客戶端可共用一套存儲,各階段成果數(shù)據(jù)無須跨存儲拷貝即可實(shí)現(xiàn)高效流轉(zhuǎn),確保用戶在任何訓(xùn)練階段都可有效調(diào)用數(shù)據(jù)成果,更便捷地挖掘數(shù)據(jù)價(jià)值。
未來,雙方還將在技術(shù)領(lǐng)域加強(qiáng)合作,以更高存儲性能的聯(lián)合方案助力用戶加速完成AI訓(xùn)練平臺的升級建設(shè),幫助更多用戶在AI訓(xùn)練的道路上走得更快更穩(wěn)。
關(guān)于趨動(dòng)科技:趨動(dòng)科技致力于為用戶提供全球領(lǐng)先的數(shù)據(jù)中心級AI算力虛擬化和資源池化解決方案,目前已有多家人工智能、互聯(lián)網(wǎng)、運(yùn)營商、金融、汽車及自動(dòng)駕駛、教育等行業(yè)的頭部企業(yè)和用戶使用OrionX AI算力資源池化解決方案。
