【關(guān)鍵詞】大數(shù)據(jù) 浪潮服務(wù)器 通信運營商
【導(dǎo)讀】浪潮為國內(nèi)某通信運營商搭建的大數(shù)據(jù)平臺要求存儲上億級用戶數(shù)據(jù),業(yè)務(wù)對高并發(fā)和時延要求極為苛刻,需要單服務(wù)器每秒支持上萬次數(shù)據(jù)讀寫操作,對于整個系統(tǒng)性能穩(wěn)定性提出了較為嚴(yán)苛的要求。浪潮基于雙路服務(wù)器NF5280M5搭載英特爾®傲騰™持久內(nèi)存的解決方案,讓大數(shù)據(jù)平臺處理性能提升了2-3倍,擴(kuò)容成本降低多達(dá)40%,幫助用戶有效應(yīng)對復(fù)雜查詢及大數(shù)據(jù)量分析場景。
在數(shù)據(jù)堪比金礦的新時代,社會和企業(yè)數(shù)據(jù)正在快速增長,對于政府和企業(yè),從實時數(shù)據(jù)分析中獲得洞察將有越來越重要的價值。比如疫情期間,政府能夠?qū)Υ蟊姵鲂袛?shù)據(jù)進(jìn)行分析的 “健康碼”,密切接觸者的動態(tài)追蹤,全球醫(yī)療防護(hù)物資智能調(diào)度、復(fù)工復(fù)產(chǎn)情況分析等。但隨著5G、AI、物聯(lián)網(wǎng)、大數(shù)據(jù)的發(fā)展,如何利用數(shù)據(jù)服務(wù)于當(dāng)下及未來業(yè)務(wù),將數(shù)據(jù)轉(zhuǎn)化為真正的資產(chǎn),成為很多企業(yè)當(dāng)前面臨的難題。
國內(nèi)某知名通信運營商下設(shè)的大數(shù)據(jù)有限公司是其全網(wǎng)數(shù)據(jù)對外運營的統(tǒng)一出口,其自主研發(fā)的UBD平臺,是以Hadoop為核心的混搭架構(gòu)大數(shù)據(jù)平臺,實現(xiàn)了Hadoop、Spark、Storm、Redis等開源技術(shù)在實際生產(chǎn)服務(wù)中的規(guī)模化應(yīng)用。
每秒上萬次存取操作背后,成本與性能間的矛盾
面對日劇增的數(shù)據(jù)處理業(yè)務(wù)需求,浪潮為該運營商搭建的大數(shù)據(jù)平臺要求存儲上億級用戶數(shù)據(jù),對并發(fā)和時延要求極為苛刻,通常需要單服務(wù)器每秒支持上萬次數(shù)據(jù)存取操作,對于性能提出了較為嚴(yán)苛的要求。
IO阻塞是Spark SQL查詢的常見痛點。在混合并發(fā)查詢等場景中,由于需要訪問的表數(shù)據(jù)較多,內(nèi)存很快消耗殆盡,大數(shù)據(jù)平臺常常需要將大量數(shù)據(jù)緩存到相對低速的磁盤中,導(dǎo)致出現(xiàn)顯著的磁盤IO阻塞,且CPU利用率會上升至高達(dá)100%,嚴(yán)重拖慢了系統(tǒng)速度,想要擴(kuò)充大數(shù)據(jù)平臺的內(nèi)容容量,但是隨之而來的成本的大幅增長問題又讓該運營商望而卻步。
針對這種情況,浪潮提供了以雙路服務(wù)器NF5280M5搭載英特爾®傲騰™持久內(nèi)存的解決方案,傲騰持久內(nèi)存在內(nèi)存和存儲之間的持久內(nèi)存,容量顯著大于DRAM,單一模塊可提供128GB/256GB/512GB三種規(guī)格,有效緩解內(nèi)存不足的難題。
擊破I/O瓶頸,讓數(shù)據(jù)處理更高效
由于首次使用這種方案,客戶更關(guān)注服務(wù)器的穩(wěn)定性、處理能力和網(wǎng)絡(luò)I/O能力,以及與英特爾®傲騰™持久內(nèi)存的兼容性。浪潮NF5280M5支持2顆Intel的可擴(kuò)展處理器,單CPU最高擁有28個內(nèi)核及56線程,CPU之間采用2條10.4 GT/s UPI互連鏈路,可支持M.2和全閃,實現(xiàn)超高的存儲吞吐量,將I/O延時從秒、毫秒級直接降低至微秒級,在數(shù)據(jù)庫、ERP、大數(shù)據(jù)分析等應(yīng)用場景可以體現(xiàn)極致的實際應(yīng)用性能。
采用浪潮方案后,新建成的大數(shù)據(jù)平臺OAP(Optimized Analytics Package)的Spark測試結(jié)果顯示,處理性能提升了2-3倍,擴(kuò)容成本降低多達(dá)40%。大數(shù)據(jù)平臺的性能提升,將助力用戶有效應(yīng)對復(fù)雜查詢及大數(shù)據(jù)量分析場景,顯著改善數(shù)據(jù)分析應(yīng)用延遲等方面的表現(xiàn)。
搭載傲騰持久內(nèi)存,浪潮服務(wù)器讓新技術(shù)應(yīng)用變得更簡單,在傳統(tǒng)內(nèi)存與存儲之間架起一座橋梁,幫助用戶在靠近處理器的內(nèi)存系統(tǒng)上加載規(guī)模遠(yuǎn)超以往的數(shù)據(jù)集,滿足包括內(nèi)存數(shù)據(jù)庫在內(nèi)的,幾乎所有對大內(nèi)存有要求的應(yīng)用負(fù)載需求,讓更多數(shù)據(jù)的處理和分析走向?qū)崟r化,釋放數(shù)據(jù)金礦更大的價值。
