近日，QCon全球軟件開發(fā)大會在廣州舉辦。深信服創(chuàng)新研究院高級技術(shù)專家易佳在現(xiàn)場帶來《深信服桌面云AIOps智能運維一體化方案演進》的主題演講。
本次演講重點分享了深信服在桌面云場景下AIOps的相關(guān)實戰(zhàn)經(jīng)驗，以下是他的演講內(nèi)容摘要。
一、深信服桌面云簡介
桌面云，即虛擬桌面架構(gòu)（Virtual Desktop Infrastucture），俗稱虛擬云桌面（VDI）。VDI的核心是云桌面的計算存儲網(wǎng)絡(luò)在服務(wù)器端完成，通過專有協(xié)議連接云桌面。易佳介紹，深信服桌面云具有移動性強、不受地域限制、集中管控、安全度高等特點。
二、挑戰(zhàn)與方案設(shè)計
隨著桌面云運維遇到第三方軟件兼容性、藍屏、木馬等挑戰(zhàn)，企業(yè)需要快速定位問題所在，如應(yīng)用卡慢、響應(yīng)延遲等，以及企業(yè)可能遇到私有云資源不足、硬件故障、網(wǎng)絡(luò)等深層挑戰(zhàn)，為此，深信服提出了桌面云智能運維一體化技術(shù)方案。
該方案包括數(shù)據(jù)服務(wù)和智能分析服務(wù)兩大核心部分。其中，數(shù)據(jù)源主要為Logs、Traces和Metrics，表示桌面云的日志、鏈路和指標數(shù)據(jù)。
所有數(shù)據(jù)經(jīng)由數(shù)據(jù)總線流入數(shù)據(jù)分析引擎，統(tǒng)一存儲于InfluxDB、MongoDB等數(shù)據(jù)庫，結(jié)合OpenAPI，供上層調(diào)度、分析和業(yè)務(wù)應(yīng)用。
調(diào)度器部分，包括策略下發(fā)器、動作與建議編排、平臺自身健康監(jiān)測等；
算法分析部分，包含特征工程、訓(xùn)練與模型調(diào)優(yōu)，常用算法如故障預(yù)測、異常檢測、關(guān)聯(lián)推理等；
業(yè)務(wù)系統(tǒng)部分，包括閑置虛擬機識別、虛擬機擴容縮容建議等，如果出現(xiàn)故障，對故障進行溯源和故障分析。
這里數(shù)據(jù)采集引擎使用的是Sangfor AIOps Agent，借鑒了telegraf、datadog等開源agent的思想，實現(xiàn)了基于Golang的插件化采集引擎，支持采集Windows、Linux等多類不同維度的指標數(shù)據(jù)，供給AIOps分析。
隨著用戶訴求和用戶體量的的不斷變化，AIOps數(shù)據(jù)模型與AI框架演進了三個版本。
第一個版本主要是一套輕量級監(jiān)控分析系統(tǒng)，支持時序數(shù)據(jù)、告警數(shù)據(jù)、統(tǒng)計分析和容器化部署；支持主機、虛擬機數(shù)據(jù)采集做簡單AI分析，適用于小規(guī)模用戶。
第二個演進的版本是一個輕量級AIOps引擎，支持OpenAPI和數(shù)據(jù)統(tǒng)一調(diào)度。同時也在這個版本引入緩存機制，實現(xiàn)了存算分離。同時，更多的AI算法也得到了支持。
從第三個版本開始，實現(xiàn)了一套桌面云全棧AIOps引擎。在該版本中，面對數(shù)據(jù)上報的性能瓶頸問題，抽象了數(shù)據(jù)接口，實現(xiàn)負載均衡。
其次是設(shè)計了投遞分級，內(nèi)存磁盤雙對列。對于優(yōu)先級比較高的實際數(shù)據(jù)、實際體驗影響比較關(guān)鍵的指標，優(yōu)先保障入庫。
同時，也做了多級分表，優(yōu)化了數(shù)據(jù)結(jié)構(gòu)。保留橫向擴展能力，按集群分庫分表。減少非必要的tag入庫，如ip和hostname，只在tag中保留一個。
為了平衡實時性與準確度，減少重復(fù)數(shù)據(jù)，可以按采集指標區(qū)分不同采集周期，如CPU設(shè)定為10s采集一次，memory設(shè)定為20s采集一次；靜態(tài)數(shù)據(jù)盡量只采集一次，如服務(wù)器型號、磁盤大小；加入了時間窗口內(nèi)數(shù)據(jù)去重，如進程信息等；根據(jù)指標量與繁忙程度，動態(tài)調(diào)整采集周期。
最后，針對多維異構(gòu)數(shù)據(jù)進行了冷熱分層處理，冷數(shù)據(jù)存檔供AI離線分析和模型訓(xùn)練，熱數(shù)據(jù)實時監(jiān)控和展示。
三、算法設(shè)計
深信服桌面云AIOps引擎提供業(yè)務(wù)自適應(yīng)的AI調(diào)度，包括統(tǒng)一數(shù)據(jù)管理、統(tǒng)一模型管理和統(tǒng)一平臺策略。
涉及的算法包括基于bagging策略的分段線性回歸算法、基于網(wǎng)格搜索的縮擴容模型、基于資源約束算法和貪心策略的虛擬機新增模型、基于時間序列特征提取和隨機森林的閑置資源識別模型等。
基于bagging策略的分段線性回歸算法，目的是設(shè)計一套評分模型來評測當前虛擬機、主機和集群的健康程度。
基于CPU、內(nèi)存、磁盤、告警等多維度學(xué)習(xí)，為每個維度建立弱學(xué)習(xí)器，最后綜合多個弱學(xué)習(xí)器構(gòu)建強學(xué)習(xí)器，計算得出整體的健康評分。
該算法綜合評價多維核心資源消耗數(shù)據(jù)，以識別整體負載水平，結(jié)合專家經(jīng)驗設(shè)置的告警規(guī)則以捕捉偶發(fā)異常，運用bagging策略進行加權(quán)投票計算出機器的最終健康度評分。
基于網(wǎng)格搜索的縮擴容模型在公有云或混合云場景也比較常見。當虛擬機CPU和內(nèi)存資源不夠或過剩時，需要做精細化調(diào)度，在保證體驗的同時，控制運營成本。
該模型基于歷史的CPU和內(nèi)存時序數(shù)據(jù)來計算有效峰值，根據(jù)計算得到的資源有效峰值數(shù)據(jù)判斷是否命中縮容/擴容策略，若命中則進一步判斷該虛擬機是否處于懶惰機制保護時間段，判斷通過后基于網(wǎng)格搜索以及A/B Test方法給出虛擬機最佳推薦配置。
資源約束算法和貪心策略的虛擬機新增模型，是基于總體可容納并發(fā)和當前并發(fā)來設(shè)計的，根據(jù)并發(fā)量來計算整個集群剩下多少內(nèi)存和vCPU，讀取集群整體配置情況以及當前虛擬機并發(fā)情況。
根據(jù)經(jīng)驗換算公式得到mhz單位的CPU容量剩余數(shù)據(jù)與內(nèi)存剩余數(shù)據(jù)，捕捉虛擬機平均vCPU消耗數(shù)據(jù)后，基于資源約束算法結(jié)合貪心策略，輸出可新增虛擬機建議和硬件擴容優(yōu)化指引。
基于時間序列特征提取和隨機森林的閑置資源識別模型，結(jié)合可擴展假設(shè)測試的時間序列特征，擴充虛擬機特征維度，訓(xùn)練隨機森林模型，輸出虛擬機閑置概率以及處置建議，同時收集用戶反饋迭代優(yōu)化預(yù)訓(xùn)練模型以形成閉環(huán)。
四、實踐與落地效果
該方案支撐大盤、集群、主機、虛擬機、網(wǎng)絡(luò)、存儲、應(yīng)用軟件全棧監(jiān)控與分析。方案引入50+規(guī)則診斷一些核心指標問題，采集超過800維度的數(shù)據(jù)，適配30+卡慢場景，實現(xiàn)20+機器學(xué)習(xí)和統(tǒng)計算法，從而做到識別出常見的異常問題。
在桌面云場景下，虛擬機內(nèi)第三方進程問題比較多，應(yīng)用深信服桌面云AIOps方案之后可以改善很多。
針對卡慢問題，深信服桌面云卡慢/故障異常檢測準確率達到87%。實施卡慢緩解建議后，約有47%的問題能夠得到明顯緩解。
執(zhí)行AIOps優(yōu)化策略后，整體成本平均下降18%左右。同時，AIOps的智能診斷能力，可以覆蓋桌面云65%的已知資源卡慢問題。
此外，深信服桌面云AIOps也面臨一些挑戰(zhàn)。比如私有云場景下，因網(wǎng)絡(luò)限制，很難獲取大規(guī)模數(shù)據(jù)持續(xù)不斷地進行AI學(xué)習(xí)，這導(dǎo)致整個AI鏈路過長。其次，用戶的業(yè)務(wù)場景很多，在醫(yī)療、金融等不同場景下，算法模型如何做到較高的覆蓋率和精準的識別，這也是當前比較棘手的一個問題。
深信服桌面云未來的演進方向，會體現(xiàn)在增加更多的反饋和模型的自更新機制，實現(xiàn)多業(yè)務(wù)場景的覆蓋。同時，基于業(yè)務(wù)畫像和運維知識圖譜，實現(xiàn)精細化故障診斷。
以上就是關(guān)于《深信服桌面云AIOps智能運維一體化方案演進》的分享，關(guān)注“深信服科技”公眾號，持續(xù)獲取更多技術(shù)干貨內(nèi)容。
