分布式存儲技術龍頭企業(yè)華芯超算技術負責人劉一在接受記者專訪時針對分布式存儲技術的核心問題進行了分享。
在談到分布式存儲是當代大數(shù)據(jù)的基本存在形式,在工業(yè)界和學術界已經(jīng)得到深入研究和高度重視,為了解決大規(guī)模存儲帶來的磁盤故障,跨節(jié)點直接復制數(shù)據(jù)包存儲是最簡單的解決方案。分布式存儲能增強存儲系統(tǒng)可靠性、柔性生存力、抗數(shù)據(jù)損毀風險;是實現(xiàn)網(wǎng)絡熱點訪問負載均衡的技術途徑、提高邊緣計算的處理效率;能達成數(shù)據(jù)共享服務和隱私保護的便利性。
數(shù)據(jù)編碼分布式存儲有明顯的短板,從而提出分布式存儲的局部可修復問題和熱數(shù)據(jù)節(jié)點負載平衡問題。歸納為發(fā)展局部再生修復編碼技術的源動力包括減少修復成本以提高維護效率,負載均衡與邊緣計算服務。當今分布式存儲的新需求是節(jié)點數(shù)據(jù)間接訪問的局部重構開銷問題和節(jié)點數(shù)據(jù)的局部修復開銷問題。
分布式存儲的局部修復碼LRC是一個欲求解的科學問題,分布式數(shù)據(jù)的局部再生的性能參數(shù)直接的制約博弈關系。分布式存儲的局部修復碼研究現(xiàn)狀:LRC碼性能界的上限和LRC糾刪碼的具體構造辦法,此處列舉了實例和成果。
從應用需求看,LRC或RGC糾刪碼尚存在的不足和傾向如下:
LRC和RGC糾刪碼的研究存在瓶頸,未來十年需要大家一起挑戰(zhàn)存儲糾刪碼,提升優(yōu)異技術性能。
隨著計算機技術和存儲技術的發(fā)展,數(shù)據(jù)正以爆炸式的速度增長,海量數(shù)據(jù)對存儲系統(tǒng)提出了巨大的挑戰(zhàn)。糾刪碼技術以犧牲CPU計算量和網(wǎng)絡負載為代價,提高存儲空間利用率,同時提供近似副本的可靠性。 華芯超算一直聚焦于分布式存儲系統(tǒng)中的糾刪碼技術,將豐富的理論和工程實踐經(jīng)驗加以糅合,探討可局部再生修復糾刪碼技術用于提高分布式存儲可靠性的實質(zhì)問題,有助于存儲產(chǎn)業(yè)在分布式存儲架構層面上不斷探索和完善。
劉總在談到華芯超算在分布式存儲技術上的戰(zhàn)略布局時介紹到,自2018年成立以來,華芯超算以分布式存儲及計算技術為先鋒,不斷探索IPFS技術架構深層應用,圍繞軟件定義、智能化、安全可靠構建了完全自主可控的分布式存儲及計算的解決方案,可為用戶提供創(chuàng)新和高效的存儲、計算及數(shù)據(jù)資產(chǎn)管理方案。華芯超算以設計、研發(fā)、推廣和銷售分布式產(chǎn)品為主營業(yè)務,自主設計研發(fā)華芯E20、 CHIA華芯X10、 CHIA華芯X20等產(chǎn)品,并推出配套的托管服務方案。

華芯超算聚焦細分市場,圍繞分布式計算及分布式存儲架構產(chǎn)品的設計研發(fā)生產(chǎn)+全程托管服務為一體的核心策略,不斷深化“自主可控、高效計算、智能存儲、EB級存儲”的產(chǎn)品發(fā)展規(guī)劃。積極響應用戶需求,為用戶提供數(shù)據(jù)計算、運營、數(shù)據(jù)采集分析、業(yè)務運行優(yōu)化等增值服務。






