對于數據管理,也許很多人都存在一個認知誤區,認為數據管理即是“將數據保存起來”。如果想要更好地挖掘數據價值,僅僅做到存放是遠遠不夠的,需要涵蓋數據的上收、分層管理、檢索調用、歸檔存放全流程,即實現數據的“全生命周期管理”。
作為面向下一代數據中心設計的存儲產品,深信服分布式存儲EDS要解決的問題不僅局限于存儲的“存”,而是圍繞著業務數據的“匯、存、管、用”提供數據全生命周期管理解決方案,幫助用戶更高效、更輕松的應對海量數據的管理挑戰,激發數據價值。
從整體來看,EDS數據管理解決方案可以分為“數據匯集”和“數據管理”兩大部分。
數據匯集:安全與效率并駕齊驅
數據從“出生”到數據中心,再到內部的數據遷移,我們將其統稱為“數據的流動”,而在數字化時代,這一流動的過程既需要保障安全性,也要保障高效性。
1、上收:終端數據統一匯聚,自動化采集
當前很多擁有分支機構或子公司的用戶存在數據采集的需求,目前主流的做法是通過定期U盤郵寄、IM軟件發送、郵箱附件發送等方式,這些方式存在上收效率低、數據泄漏風險大等明顯缺陷。
深信服EDS提供aDMT客戶端工具,可實現終端數據自動采集,安全上收至統一的存儲資源池內,有效解決邊緣/分支數據上收難、安全性差的問題。
根據所配置固定的時間間隔,自動識別所選定的文件目錄中該時間段內增量數據和發起數據上收傳輸;
傳輸過程采用https加密協議,保證數據的安全性;
傳輸過程支持斷點續傳,保證傳輸的時效性;
傳輸完成后支持靈活配置策略,可選擇繼續保留或刪除已傳輸的數據。
2、遷移:面向多類型業務數據提供遷移方案
除了數據收集以外,上收后的數據由于業務場景變更或者設備更替,還將面臨復雜的遷移工作,由于業務數據量較大,手動遷移往往效率低且面臨較大風險。EDS提供面向多種業務場景的數據遷移方案或服務,實現數據的高效自動遷移。
比如虛擬機數據熱遷移方案、數據庫遷移服務等,在共享文件數據遷移上,深信服EDS提供基于文件同步管理(File Sync Management,簡稱FSM)軟件實現的數據自動化遷移方案,使用戶存儲在老舊存儲設備、物理服務器上的數據可以高效遷移到由EDS組建的存儲資源池中。
數據管理:多重策略的全面覆蓋
相較于初期的數據收集,數據后期的管理會涉及更多的挑戰,如何存?怎樣管?怎么用?……深信服EDS為數據管理提供豐富的策略,對分層存儲、自動歸檔、版本處理、快速檢索、統一管理、數據互訪等方面進行了全方位的覆蓋。
1、多級存儲:降低海量數據歸檔成本
就好比我們的個人衣柜,衣服雖多,但是不同時段需要經常穿的就那么幾件。日常的穿著衣物我們會掛在最便于拿取的位置,不合時令的衣物則往往被存放在收納箱,對于數據存儲同樣如此。在數據的生命周期中,不同階段對數據存儲的性能、可用性、成本要求也不一樣,所以數據存儲方案應遵守以下原則:
1、初期產生:在數據產生初期,數據訪問頻率高,數據量較小,需提供高性能存儲方案,并確保數據具備高可用性;
2、中期管理:隨著時間推移,數據的訪問頻率和價值下降,需提供不同級別的存儲方案,為數據提供適當的性能和可恢復性;
3、后期處理:最終大部分數據不會被使用,需要進行刪除或歸檔(部分行業數據有相關要求,需要半永久或永久保存)。
因此,EDS根據以上基本原理區分存儲軟件、硬件和介質的配置,劃分出高性能生產型存儲、標準生產型存儲、低頻訪問存儲和冷歸檔型存儲,各自特點如下:
高性能生產型存儲:承載需要實時高速訪問數據的業務系統,如大型數據庫、廣電視頻制作、航測建模等,可提供單虛擬磁盤5萬+IOPS或單目錄GB級吞吐能力;
標準生產型存儲:承載普通業務系統、日常文件共享等數據,提供單虛擬磁盤1萬+IOPS或單目錄300MB級吞吐能力;
低頻訪問型存儲:承載低頻訪問的業務歸檔數據,存儲成本更低;
冷歸檔型存儲:承載因相關法規要求需要半永久或永久保存的業務數據,長期保存成本最低。
根據實際數據情況選擇對應的分級配置,可大幅降低海量數據存儲成本。
2、歸檔:數據自動歸檔到多類型歸檔存儲
由于業務發展需要,數據上云已經成為眾多企業級用戶的必然選擇,然而這一過程并不是一成不變的,數據需要面臨頻繁的歸檔和回遷,用戶也面臨高頻率的歸檔操作。深信服EDS提供基于FSM軟件實現的數據自動化歸檔方案,可以輕松將保留在EDS生產存儲資源池的數據庫歸檔到公有云、EDS歸檔資源池、其它存儲介質等,方案特點如下:
源端支持NAS存儲,目的端支持NAS及S3,支持歸檔上云;
歸檔策略支持手動觸發,也支持自動策略,支持分鐘級觸發自動掃描發現源端的增量數據,歸檔至目的端存儲上;
對于歸檔數據的訪問,支持應用直接掛載歸檔目錄,或將歸檔數據遷回源端存儲進行訪問。
3、檢索:數據秒級檢索
與常規意義上的檢索不同,當數據量達到上億規模時,將會涉及更多的元數據,檢索會變得異常困難。為了解決海量文件規模下傳統檢索方案數據檢索慢的問題,深信服EDS通過內置數據檢索引擎,使得用戶可以直接在EDS平臺上直接對文件存儲及對象存儲內的數據文件進行檢索,全面提升檢索效率。
EDS對文件和對象元數據建立索引信息,存放在EDS自研的分布式PhxKV元數據中心;
快速檢索,十億級別文件和對象規模,能夠在秒(s)級別快速檢索出數據所在位置;
支持通過文件名前綴直接在存儲上進行檢索。
4、訪問:多協議數據互訪,提升數據應用效率
隨著Hadoop大數據應用被廣泛采用,“大數據+AI”已經成為數據處理的新方向,而當前存在多種數據處理工具對于接口的要求不一致的問題,EDS分布式存儲支持HDFS/ CIFS/FTP/ NFS多協議間數據互訪,能夠跨平臺構建業務處理管線,讓數據少跑腿,提升數據應用效率的同時,也減少了數據的空間占用,降低綜合成本。
5、刪除:數據多版本管理及過期自動刪除
數據量的迸發和過長的時間跨度,會造成數據文件重復和版本眾多,企業級數據更是如此。即難以區分哪些是無效數據,一刀切式的刪除策略很容易造成誤刪。擠占空間且難以管理。針對以上問題,EDS對象存儲提供數據多版本保護及過期刪除策略。
開啟多版本保護后,若數據產生后發生多次更改,在存儲中仍保留多個版本,便于數據回溯;
結合數據過期刪除策略,可靈活針對舊版本的數據和當前版本的數據分別設置是否超過規定天數,定期進行刪除,釋放存儲空間。
6、可視化:提供面向終端用戶的對象數據管理平臺
相比于以前存儲產品的內部不可知,用戶當下更需要對數據存儲狀態有一個更清晰的掌握,以便做出下一步的業務決策。基于這一洞察,深信服EDS提供aDMT圖形化Web應用程序,以便更輕松地訪問和管理數據存儲。
無需單獨下載軟件或工具進行安裝部署,最終用戶可以直接通過 Web瀏覽器,可以輕松登錄和可視化地管理對象存儲中的文件數據;
支持用戶自行完成桶管理和文件管理(上傳、下載、刪除)等操作;
支持全局文件檢索,快速找到用戶所需的文件。
從數據的收集匯聚、到數據的分級存儲,再到豐富的管理策略,EDS通過完善的數據統一管理策略,為用戶的業務提供堅實的數據保障。同時,EDS也秉持著為用戶數據負責的態度,致力于為用戶的數據價值挖掘打造最堅實的存儲基石。
