【關(guān)鍵詞】大數(shù)據(jù) 浪潮服務(wù)器 通信運(yùn)營(yíng)商
【導(dǎo)讀】浪潮為國(guó)內(nèi)某通信運(yùn)營(yíng)商搭建的大數(shù)據(jù)平臺(tái)要求存儲(chǔ)上億級(jí)用戶數(shù)據(jù),業(yè)務(wù)對(duì)高并發(fā)和時(shí)延要求極為苛刻,需要單服務(wù)器每秒支持上萬(wàn)次數(shù)據(jù)讀寫操作,對(duì)于整個(gè)系統(tǒng)性能穩(wěn)定性提出了較為嚴(yán)苛的要求。浪潮基于雙路服務(wù)器NF5280M5搭載英特爾®傲騰™持久內(nèi)存的解決方案,讓大數(shù)據(jù)平臺(tái)處理性能提升了2-3倍,擴(kuò)容成本降低多達(dá)40%,幫助用戶有效應(yīng)對(duì)復(fù)雜查詢及大數(shù)據(jù)量分析場(chǎng)景。
在數(shù)據(jù)堪比金礦的新時(shí)代,社會(huì)和企業(yè)數(shù)據(jù)正在快速增長(zhǎng),對(duì)于政府和企業(yè),從實(shí)時(shí)數(shù)據(jù)分析中獲得洞察將有越來(lái)越重要的價(jià)值。比如疫情期間,政府能夠?qū)Υ蟊姵鲂袛?shù)據(jù)進(jìn)行分析的 “健康碼”,密切接觸者的動(dòng)態(tài)追蹤,全球醫(yī)療防護(hù)物資智能調(diào)度、復(fù)工復(fù)產(chǎn)情況分析等。但隨著5G、AI、物聯(lián)網(wǎng)、大數(shù)據(jù)的發(fā)展,如何利用數(shù)據(jù)服務(wù)于當(dāng)下及未來(lái)業(yè)務(wù),將數(shù)據(jù)轉(zhuǎn)化為真正的資產(chǎn),成為很多企業(yè)當(dāng)前面臨的難題。
國(guó)內(nèi)某知名通信運(yùn)營(yíng)商下設(shè)的大數(shù)據(jù)有限公司是其全網(wǎng)數(shù)據(jù)對(duì)外運(yùn)營(yíng)的統(tǒng)一出口,其自主研發(fā)的UBD平臺(tái),是以Hadoop為核心的混搭架構(gòu)大數(shù)據(jù)平臺(tái),實(shí)現(xiàn)了Hadoop、Spark、Storm、Redis等開源技術(shù)在實(shí)際生產(chǎn)服務(wù)中的規(guī)模化應(yīng)用。
每秒上萬(wàn)次存取操作背后,成本與性能間的矛盾
面對(duì)日劇增的數(shù)據(jù)處理業(yè)務(wù)需求,浪潮為該運(yùn)營(yíng)商搭建的大數(shù)據(jù)平臺(tái)要求存儲(chǔ)上億級(jí)用戶數(shù)據(jù),對(duì)并發(fā)和時(shí)延要求極為苛刻,通常需要單服務(wù)器每秒支持上萬(wàn)次數(shù)據(jù)存取操作,對(duì)于性能提出了較為嚴(yán)苛的要求。
IO阻塞是Spark SQL查詢的常見痛點(diǎn)。在混合并發(fā)查詢等場(chǎng)景中,由于需要訪問(wèn)的表數(shù)據(jù)較多,內(nèi)存很快消耗殆盡,大數(shù)據(jù)平臺(tái)常常需要將大量數(shù)據(jù)緩存到相對(duì)低速的磁盤中,導(dǎo)致出現(xiàn)顯著的磁盤IO阻塞,且CPU利用率會(huì)上升至高達(dá)100%,嚴(yán)重拖慢了系統(tǒng)速度,想要擴(kuò)充大數(shù)據(jù)平臺(tái)的內(nèi)容容量,但是隨之而來(lái)的成本的大幅增長(zhǎng)問(wèn)題又讓該運(yùn)營(yíng)商望而卻步。
針對(duì)這種情況,浪潮提供了以雙路服務(wù)器NF5280M5搭載英特爾®傲騰™持久內(nèi)存的解決方案,傲騰持久內(nèi)存在內(nèi)存和存儲(chǔ)之間的持久內(nèi)存,容量顯著大于DRAM,單一模塊可提供128GB/256GB/512GB三種規(guī)格,有效緩解內(nèi)存不足的難題。
擊破I/O瓶頸,讓數(shù)據(jù)處理更高效
由于首次使用這種方案,客戶更關(guān)注服務(wù)器的穩(wěn)定性、處理能力和網(wǎng)絡(luò)I/O能力,以及與英特爾®傲騰™持久內(nèi)存的兼容性。浪潮NF5280M5支持2顆Intel的可擴(kuò)展處理器,單CPU最高擁有28個(gè)內(nèi)核及56線程,CPU之間采用2條10.4 GT/s UPI互連鏈路,可支持M.2和全閃,實(shí)現(xiàn)超高的存儲(chǔ)吞吐量,將I/O延時(shí)從秒、毫秒級(jí)直接降低至微秒級(jí),在數(shù)據(jù)庫(kù)、ERP、大數(shù)據(jù)分析等應(yīng)用場(chǎng)景可以體現(xiàn)極致的實(shí)際應(yīng)用性能。
采用浪潮方案后,新建成的大數(shù)據(jù)平臺(tái)OAP(Optimized Analytics Package)的Spark測(cè)試結(jié)果顯示,處理性能提升了2-3倍,擴(kuò)容成本降低多達(dá)40%。大數(shù)據(jù)平臺(tái)的性能提升,將助力用戶有效應(yīng)對(duì)復(fù)雜查詢及大數(shù)據(jù)量分析場(chǎng)景,顯著改善數(shù)據(jù)分析應(yīng)用延遲等方面的表現(xiàn)。
搭載傲騰持久內(nèi)存,浪潮服務(wù)器讓新技術(shù)應(yīng)用變得更簡(jiǎn)單,在傳統(tǒng)內(nèi)存與存儲(chǔ)之間架起一座橋梁,幫助用戶在靠近處理器的內(nèi)存系統(tǒng)上加載規(guī)模遠(yuǎn)超以往的數(shù)據(jù)集,滿足包括內(nèi)存數(shù)據(jù)庫(kù)在內(nèi)的,幾乎所有對(duì)大內(nèi)存有要求的應(yīng)用負(fù)載需求,讓更多數(shù)據(jù)的處理和分析走向?qū)崟r(shí)化,釋放數(shù)據(jù)金礦更大的價(jià)值。
