1．時序數(shù)據(jù)的挑戰(zhàn)
在數(shù)據(jù)中心IT運維管理中，流量數(shù)據(jù)的分析價值越來越受到用戶的重視，目前用戶通過對數(shù)據(jù)中心進行全流量采集，可實現(xiàn)網(wǎng)絡、業(yè)務及安全的實時監(jiān)控分析，實時刷新精度可達到秒級，并快速發(fā)現(xiàn)數(shù)據(jù)中心產(chǎn)生的異常數(shù)據(jù)。監(jiān)控數(shù)據(jù)采用時序數(shù)據(jù)處理，可實時繪制不同維度上百個指標的趨勢變化。數(shù)據(jù)中心每天會產(chǎn)生上百億的數(shù)據(jù)條目，達到PB級的流量數(shù)據(jù)。
運維人員在進行長時間的數(shù)據(jù)檢索時，會面臨效率較低的問題，并且數(shù)據(jù)存儲時長難以保障。所以面對一些數(shù)據(jù)消費場景時，時序數(shù)據(jù)的處理很難滿足運維需求。在用戶數(shù)據(jù)中心內，業(yè)務調用關系復雜，當業(yè)務系統(tǒng)要做遷移操作時，遷移后要保證該業(yè)務系統(tǒng)對外提供的所有服務與原有保持一致，而運維人員往往很難掌握業(yè)務系統(tǒng)之間的調用關系。所以要通過流量數(shù)據(jù)提供一份準確的訪問關系表，這張關系表不關注是在哪個時間進行調用以及過多的性能指標，只需要知道有誰跟本系統(tǒng)發(fā)生了訪問關系。另外，當某個服務要做變更操作時，也需要歷史數(shù)據(jù)的支撐來判斷該服務的影響范圍。為解決上述問題，客戶往往提出如下需求：
1、數(shù)據(jù)存儲時間要長，有些業(yè)務調用可能周期性一周、一個月才來調用一次，或者更長周期，只有長的時間的跟蹤才能保證數(shù)據(jù)的準確性。
2、數(shù)據(jù)要完整，由于時序數(shù)據(jù)數(shù)據(jù)量巨大，往往會采取抽樣、或者TOP的方式來提供服務，不能保障數(shù)據(jù)的完整性。
3、查詢性能，在海量的數(shù)據(jù)中進行查詢，會導致消耗大量系統(tǒng)資源，給數(shù)據(jù)承載的系統(tǒng)帶來巨大的壓力。
2．運維時效數(shù)據(jù)解決方案
為了滿足更長時間精準統(tǒng)計數(shù)據(jù)需求，智維數(shù)據(jù)推出時效數(shù)據(jù)解決方案。將時序數(shù)據(jù)轉化為時效數(shù)據(jù)，提供長時間、高效、靈活的查詢統(tǒng)計服務。
該解決方案的特點有：
1、數(shù)據(jù)保留期限長
時序數(shù)據(jù)數(shù)據(jù)量巨大，存儲存滿后系統(tǒng)會自動刪除最早的數(shù)據(jù)，因此保存期限較短。時效數(shù)據(jù)將時序數(shù)據(jù)進行有效的聚合、去重以及壓縮，經(jīng)測試平均每天可處理50萬條數(shù)據(jù)，90天可處理的數(shù)據(jù)量大概在4500萬條，經(jīng)過聚合、去重，數(shù)據(jù)的存儲量大概在200萬左右，極大程度的壓縮了數(shù)據(jù)存儲量。
2、全量數(shù)據(jù)統(tǒng)計
智維數(shù)據(jù)nCompass網(wǎng)絡流量分析平臺從數(shù)據(jù)采集到數(shù)據(jù)處理，沒有經(jīng)過抽樣、TOP的處理方式，可以保證數(shù)據(jù)的完整性以及準確性。
3、緯度、指標可靈活組合
時序數(shù)據(jù)提供眾多緯度和指標，用戶可根據(jù)需求自定義生成時效數(shù)據(jù)，通過緯度及指標過濾精準輸出。
選擇時效數(shù)據(jù)緯度及指標
過濾時效數(shù)據(jù)緯度及指標
4、提供靈活的數(shù)據(jù)服務接口
時效數(shù)據(jù)除了在智維數(shù)據(jù)nCompass網(wǎng)絡流量分析平臺上進行本地數(shù)據(jù)消費外，還提供了標準的API接口，供外部應用調用。
3．時效數(shù)據(jù)消費場景
1、業(yè)務系統(tǒng)交互查詢
應用運維中業(yè)務交互關系數(shù)據(jù)可為很多場景中提供數(shù)據(jù)支撐，例如：系統(tǒng)變更、遷移、上下線、故障排查等。通過流量和CMDB數(shù)據(jù)縫合，提供時序數(shù)據(jù)以及時效數(shù)據(jù)無縫查詢。
【上圖為demo數(shù)據(jù)演示】
2、防火墻策略優(yōu)化
智維數(shù)據(jù)nCompass防火墻策略可視化平臺通過防火墻策略及防火墻前后的流量匹配關聯(lián)，幫助用戶優(yōu)化防火墻策略，如無命中的策略、大策略收斂等場景都需要長時間的時效數(shù)據(jù)進行校準，才能夠精準的對策略進行優(yōu)化，避免由于策略刪除、收斂產(chǎn)生的問題。
【上圖為demo數(shù)據(jù)演示】
3、業(yè)務訪問安全防護欄桿
內網(wǎng)業(yè)務系統(tǒng)交互關系變化相對較小，通過時效數(shù)據(jù)自動生成業(yè)務交互訪問白名單，對業(yè)務交互關系變化實時監(jiān)控，如有新增訪問，平臺將通過告警或報表的形式進行輸出，運維人員可及時排查新增訪問是否合規(guī)或者是否存在安全隱患。
4、出訪記錄安全回溯
基于安全合規(guī)要求，運維人員需要在平臺上對所有出訪記錄進行保存半年或一年以上時間，智維數(shù)據(jù)靈瓏應用交付優(yōu)化平臺能夠采集負載均衡、防火墻、路由器等設備的地址轉換關系表，并可與流量數(shù)據(jù)進行縫合。并且可以提供內網(wǎng)IP至目的IP，SANTIP至目的IP長時間的歷史回溯。
面對運維中多樣的數(shù)據(jù)統(tǒng)計需求，時效數(shù)據(jù)的運用提升了長時間數(shù)據(jù)的統(tǒng)計檢索能力，幫助用戶從海量數(shù)據(jù)中精準提取，同時大大節(jié)省了存儲成本。通過對時序數(shù)據(jù)再加工生成時效數(shù)據(jù)，充分發(fā)揮了流量數(shù)據(jù)在運維工作中的使用價值。
