數(shù)字化浪潮之下，運(yùn)維能力也逐漸成為現(xiàn)代企業(yè)的競(jìng)爭(zhēng)力之一。
在過(guò)去的數(shù)十年間，運(yùn)維發(fā)展經(jīng)歷了數(shù)個(gè)階段。從早期的手工運(yùn)維到標(biāo)準(zhǔn)化運(yùn)維、自動(dòng)化運(yùn)維，再到DevOps、AIOps，追溯整個(gè)歷程不難發(fā)現(xiàn)，運(yùn)維方式隨著技術(shù)的不斷發(fā)展，逐漸邁向智能化。
2016年，Gartner面向運(yùn)維提供了一個(gè)新概念——“AIOps”，中文釋義智能運(yùn)維。即其是以AI等手段為核心，為運(yùn)維提供更為智能和數(shù)字化的支撐。也就是說(shuō)，把運(yùn)維從“人”的要素抽離出來(lái)，更多的放到“數(shù)據(jù)”一側(cè)。其中包含的場(chǎng)景更加豐富，包括異常告警、告警收斂、故障分析、趨勢(shì)預(yù)測(cè)、故障畫(huà)像等等。
所謂的AIOps，簡(jiǎn)單理解就是基于自動(dòng)化運(yùn)維，將AI和運(yùn)維很好的結(jié)合起來(lái)。
AIOps的落地在多方面直擊傳統(tǒng)運(yùn)維的痛點(diǎn)，AI算法承擔(dān)起分析海量運(yùn)維數(shù)據(jù)的重任，能夠自動(dòng)、準(zhǔn)確地發(fā)現(xiàn)和定位問(wèn)題，從決策層面提高運(yùn)營(yíng)效率，為企業(yè)運(yùn)營(yíng)和運(yùn)維工作在成本、質(zhì)量和效率方面的優(yōu)化提供了重要支持。
市場(chǎng)方面，全球IT研究機(jī)構(gòu)Gartner預(yù)測(cè)：“到2022年，將有40% 的大型企業(yè)部署AIOps（智能運(yùn)維）平臺(tái)。”
可見(jiàn)，AIOps 在企業(yè)中的作用正在進(jìn)一步放大。但事實(shí)上，很多企業(yè)對(duì)于AIOps 能解決什么問(wèn)題并不清晰，今天我們就以博睿數(shù)據(jù)的AIOps 的三大場(chǎng)景和算法說(shuō)起。
博睿數(shù)據(jù)的AIOps 實(shí)踐
作為領(lǐng)先的APM應(yīng)用性能管理廠商，在AIOps實(shí)踐方面，多年來(lái)博睿數(shù)據(jù)積極擁抱人工智能、機(jī)器學(xué)習(xí)等新技術(shù)變革的浪潮，并基于AI和機(jī)器學(xué)習(xí)技術(shù)，自主研發(fā)了“數(shù)據(jù)接入、處理、存儲(chǔ)與分析技術(shù)”核心技術(shù)體系，全面布局智能基線、異常檢測(cè)、智能告警、關(guān)聯(lián)分析、根因分析等豐富且廣泛的智能運(yùn)維功能，并將AIOps能力融入端到端全棧監(jiān)控產(chǎn)品線，可為傳統(tǒng)企業(yè)提供強(qiáng)大的數(shù)據(jù)處理、存儲(chǔ)和分析的軟件工具，幫助客戶整合各類IT運(yùn)維監(jiān)控?cái)?shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一存儲(chǔ)和關(guān)聯(lián)分析，打破數(shù)據(jù)孤島，構(gòu)建統(tǒng)一的IT運(yùn)維管理平臺(tái)，讓企業(yè)的IT運(yùn)維更加智能化、自動(dòng)化。
在此基礎(chǔ)上，博睿數(shù)據(jù)還依托完整的IT運(yùn)維監(jiān)控能力，利用大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)持續(xù)構(gòu)建先進(jìn)的智能運(yùn)維監(jiān)控產(chǎn)品，2021年先后推出了搭載了AI能力的新一代APM產(chǎn)品Server7.0和新版的統(tǒng)一智能運(yùn)維平臺(tái)Dataview，不斷落地智能異常檢測(cè)、根因分析、故障預(yù)測(cè)等場(chǎng)景。基于人工智能的能力實(shí)現(xiàn)運(yùn)維監(jiān)控場(chǎng)景的信息整合、特征關(guān)聯(lián)和業(yè)務(wù)洞察，幫助企業(yè)確保數(shù)字化業(yè)務(wù)平穩(wěn)運(yùn)行，并保障良好的數(shù)字化體驗(yàn)。
博睿數(shù)據(jù)AIOps 場(chǎng)景與算法
目前，博睿數(shù)據(jù)在AIOps 技術(shù)方面主要落地了三大場(chǎng)景。即智能基線預(yù)測(cè)、異常檢測(cè)及告警收斂。
首先來(lái)看智能基線預(yù)測(cè)。
智能基線預(yù)測(cè)指的是基于歷史數(shù)據(jù)，利用智能算法進(jìn)行深度學(xué)習(xí)，對(duì)未來(lái)一段時(shí)間內(nèi)每個(gè)時(shí)間點(diǎn)的數(shù)值進(jìn)行精準(zhǔn)預(yù)測(cè)，將預(yù)測(cè)值作為基線來(lái)監(jiān)控和告警。
如上圖所示，對(duì)未來(lái) 24 小時(shí)的數(shù)據(jù)預(yù)測(cè)結(jié)果用虛線表示， 灰色區(qū)域代表正常數(shù)據(jù)的波動(dòng)范圍。 如果實(shí)際值超出灰色區(qū)域就代表出現(xiàn)了異常。
IT運(yùn)維人員在對(duì)業(yè)務(wù)服務(wù)數(shù)據(jù)進(jìn)行問(wèn)題檢測(cè)時(shí)，通常會(huì)使用動(dòng)態(tài)基線來(lái)對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行檢驗(yàn)和衡量。在實(shí)時(shí)數(shù)據(jù)與動(dòng)態(tài)基線數(shù)據(jù)兩條曲線的擬合度相似的情況下，則該業(yè)務(wù)是較為健康的；若動(dòng)態(tài)基線與實(shí)時(shí)數(shù)據(jù)離散程度較大，則當(dāng)前業(yè)務(wù)存在問(wèn)題。
目前，博睿數(shù)據(jù)在智能基線預(yù)測(cè)方面應(yīng)用的算法包含實(shí)時(shí)預(yù)測(cè)算法、離線算法預(yù)測(cè)、流式算法預(yù)測(cè)三種。
再來(lái)看下異常檢測(cè)。
異常檢測(cè)指的是通過(guò)歷史數(shù)據(jù)的機(jī)器學(xué)習(xí)來(lái)動(dòng)態(tài)預(yù)測(cè)數(shù)據(jù)的趨勢(shì)，無(wú)須手動(dòng)設(shè)置閾值，可以根據(jù)指標(biāo)的數(shù)據(jù)特征自動(dòng)識(shí)別異常。
如圖所示，灰色區(qū)域代表了正常數(shù)據(jù)的波動(dòng)范圍， 紅色數(shù)據(jù)點(diǎn)即為異常數(shù)據(jù)點(diǎn)。
IT運(yùn)維人員在對(duì)應(yīng)用服務(wù)運(yùn)行狀態(tài)的檢測(cè)過(guò)程中，通過(guò)AIOps的異常檢測(cè)算法，可以判斷圖中紅色區(qū)域的數(shù)據(jù)即為異常數(shù)據(jù)，深灰色條狀區(qū)域?yàn)榭扇萑痰臉I(yè)務(wù)波動(dòng)范圍。同時(shí)，運(yùn)維人員也可以通過(guò)數(shù)據(jù)集特征數(shù)據(jù)，對(duì)當(dāng)前時(shí)段內(nèi)數(shù)據(jù)進(jìn)行事件聚合，全面分析當(dāng)前事件對(duì)應(yīng)用的全部影響波動(dòng)范圍。
目前，博睿數(shù)據(jù)在異常檢測(cè)方面應(yīng)用的算法包括靜態(tài)基線（絕對(duì)靜態(tài)基線 +差分靜態(tài)基線） 、智能基線+NSigma判別等。
最后來(lái)看下告警收斂。
所謂告警收斂即基于多條有關(guān)聯(lián)的告警信息，合并為一條故障，對(duì)當(dāng)前處于故障狀態(tài)的的警報(bào)可能造成的影響進(jìn)行預(yù)測(cè)判斷，從而實(shí)現(xiàn)故障的提前預(yù)警，減少冗余告警事件對(duì)運(yùn)維工作的干擾。
目前，博睿數(shù)據(jù)在告警收斂方面應(yīng)用及規(guī)劃使用的的算法包括事件熵、頂點(diǎn)熵、時(shí)域關(guān)聯(lián)、文本相似度關(guān)聯(lián)、拓?fù)潢P(guān)聯(lián)、NMF+Kmeans等。
為AIOps行業(yè)發(fā)展添磚加瓦
在現(xiàn)有博睿數(shù)據(jù) AIOps 場(chǎng)景、算法、能力的基礎(chǔ)上進(jìn)一步延展和豐富，打磨日志異常檢測(cè)、根因分析、影響分析、自然語(yǔ)言處理、diy算法等能力， 用 AI 算法賦能日志管理、一體化運(yùn)維、應(yīng)急自愈快恢和算法實(shí)驗(yàn)室等業(yè)務(wù)場(chǎng)景，助力企業(yè)加快數(shù)字化轉(zhuǎn)型進(jìn)程。
隨著企業(yè)業(yè)務(wù)規(guī)模擴(kuò)大，云原生與微服務(wù)的興起，企業(yè)IT架構(gòu)復(fù)雜性呈現(xiàn)指數(shù)級(jí)增長(zhǎng)。而傳統(tǒng)的IT運(yùn)維手段面臨故障發(fā)生后，查找故障原因困難，故障平均修復(fù)時(shí)間周期長(zhǎng)，已無(wú)法滿足新的運(yùn)維要求。因此運(yùn)用人工智能賦能運(yùn)維，去取代緩慢易錯(cuò)的人力決策，快速給出運(yùn)維決策建議，降低問(wèn)題的影響并提前預(yù)警問(wèn)題就成為了必然。AIOps作為目前運(yùn)維發(fā)展的最高階目標(biāo)，未來(lái)將會(huì)賦能運(yùn)維帶給用戶全新的體驗(yàn)。
但需要注意的是，當(dāng)前智能運(yùn)維的很多產(chǎn)品和項(xiàng)目在企業(yè)側(cè)落地效果并不理想，究其原因可歸類為三點(diǎn)：一是數(shù)據(jù)采集與AI平臺(tái)割裂，多源數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系缺失導(dǎo)致AI平臺(tái)缺乏高質(zhì)量的數(shù)據(jù)，進(jìn)而導(dǎo)致模型訓(xùn)練效果不佳；二是數(shù)據(jù)采集以metric和log為主，導(dǎo)致應(yīng)用場(chǎng)景較窄且存在數(shù)據(jù)孤島問(wèn)題；三是AI平臺(tái)能力尚有提升空間。當(dāng)前落地的場(chǎng)景多以異常檢測(cè)與智能告警為主，未來(lái)需要進(jìn)一步提升根因分析與故障預(yù)測(cè)的能力。
因此，未來(lái)企業(yè)首先要建設(shè)一體化監(jiān)控運(yùn)維平臺(tái)，一體化是智能化的基礎(chǔ)。基于一體化監(jiān)控運(yùn)維平臺(tái)采集的高質(zhì)量的可觀測(cè)數(shù)據(jù)數(shù)據(jù)以及數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，進(jìn)一步將AIOps的能力落地到一體化監(jiān)控運(yùn)維平臺(tái)中，從而實(shí)現(xiàn)問(wèn)題精準(zhǔn)定位與見(jiàn)解能力。
此外，在實(shí)際應(yīng)用中，依據(jù)信通院的相關(guān)調(diào)查，其受訪企業(yè)中只有不足20%的企業(yè)具有智能化監(jiān)控和運(yùn)維決策能力，超過(guò)70%的企業(yè)在應(yīng)用系統(tǒng)出現(xiàn)故障的10分鐘內(nèi)一籌莫展。
各行業(yè)的數(shù)字化轉(zhuǎn)型正在改變這一現(xiàn)狀，不僅互聯(lián)網(wǎng)企業(yè)，更多傳統(tǒng)企業(yè)的數(shù)字化轉(zhuǎn)型為智能運(yùn)維開(kāi)拓了更廣闊的市場(chǎng)，智能運(yùn)維有著巨大的發(fā)展空間，這也是博睿數(shù)據(jù)等行業(yè)領(lǐng)先企業(yè)發(fā)力的大好時(shí)機(jī)。
提升創(chuàng)新能力，推廣智能運(yùn)維不僅是相關(guān)服務(wù)商自身發(fā)展的要求，也是提升我國(guó)企業(yè)應(yīng)用管理和運(yùn)維水平的使命。
中國(guó)企業(yè)數(shù)字化轉(zhuǎn)型加速，無(wú)論是前端的應(yīng)用服務(wù)迭代更新，還是后端IT運(yùn)維架構(gòu)的復(fù)雜度提升，都在加速培育智能運(yùn)維的成長(zhǎng)。????
