位于西南部地區(qū)的某線纜生產(chǎn)制造龍頭企業(yè)，正基于深信服超融合承載其Oracle RAC數(shù)據(jù)庫。目前，用戶處于業(yè)務(wù)擴(kuò)展期，但I(xiàn)T部門當(dāng)前的運(yùn)維人力緊張、預(yù)算有限，且缺乏專業(yè)的數(shù)據(jù)庫管理員，難以應(yīng)對龐大業(yè)務(wù)體系下的運(yùn)維難題。在這樣的困境下，用戶開始尋找能夠有效適配的解決方案。
用戶本地數(shù)據(jù)中心概覽及業(yè)務(wù)挑戰(zhàn)
該生產(chǎn)制造企業(yè)目前已基于深信服超融合平臺構(gòu)建其核心數(shù)據(jù)中心設(shè)施環(huán)境，總計部署超過400核CPU、6TB內(nèi)存資源，并運(yùn)行120+臺虛擬機(jī)，承載用戶關(guān)鍵業(yè)務(wù)系統(tǒng)，包括OA、財務(wù)、生產(chǎn)管理、ERP以及數(shù)據(jù)庫等核心應(yīng)用，為用戶的日常運(yùn)營和生產(chǎn)活動提供了穩(wěn)定可靠的技術(shù)支撐。
然而，隨著用戶的業(yè)務(wù)不斷擴(kuò)展，IT部門原有的人力資源及能力都不足以支撐快速增長的需求，尤其在面臨數(shù)據(jù)庫卡慢、卡死的相關(guān)問題時，因缺乏專業(yè)DBA，很難進(jìn)行有效處理，具體問題如下：
主動監(jiān)控手段不足，經(jīng)常被動響應(yīng)：核心數(shù)據(jù)庫由于缺乏有效的監(jiān)控手段，經(jīng)常在收到業(yè)務(wù)部門的問題反饋及投訴之后才開始介入到問題的排查階段，問題處置滯后，對業(yè)務(wù)部門影響較大。
缺乏專業(yè)DBA，數(shù)據(jù)庫問題排查異常困難：針對業(yè)務(wù)部門頻繁反饋的ERP業(yè)務(wù)系統(tǒng)卡慢、卡死等問題，IT部門對數(shù)據(jù)庫性能的分析能力比較欠缺，軟件廠商和系統(tǒng)運(yùn)維工程師都難以定位問題根因。
在用戶龐大的IT規(guī)模和有限的資源條件下，深信服基于一朵云為用戶規(guī)劃智能運(yùn)維服務(wù)方案，將傳統(tǒng)線下運(yùn)維工作進(jìn)行在線化、智能化轉(zhuǎn)型，助力用戶以更簡便、高效的路徑實(shí)現(xiàn)7*24h在線監(jiān)測值守和主動式運(yùn)維服務(wù)，提升運(yùn)維效率，保障業(yè)務(wù)穩(wěn)定運(yùn)行。
關(guān)鍵事件：智能運(yùn)維實(shí)踐
下面，我們通過對一次數(shù)據(jù)庫診斷場景的關(guān)鍵事件詳解，呈現(xiàn)智能運(yùn)維服務(wù)的價值。
用戶數(shù)據(jù)庫遇到性能問題，主動試用智能運(yùn)維與訂閱數(shù)據(jù)庫線上專家服務(wù)，并接入Oracle數(shù)據(jù)庫。
2024-11-15 16:33:09：用戶反饋運(yùn)行在HCI上的Oracle RAC數(shù)據(jù)庫相關(guān)的業(yè)務(wù)系統(tǒng)卡慢，幾乎無法使用。
2024-11-15 16:45:27：通過試用智能運(yùn)維服務(wù)，將Oracle數(shù)據(jù)庫接入至云端智能大腦，并聯(lián)系深信服DBA專家接入分析Oracle數(shù)據(jù)庫卡慢問題。
深信服DBA專家通過智能運(yùn)維中的數(shù)據(jù)庫智能診斷功能，先獲取到用戶業(yè)務(wù)卡慢時刻附近的AWR報告。
通過超融合平臺，登錄到用戶的Oracle主機(jī)上進(jìn)行檢查。
經(jīng)過檢查，發(fā)現(xiàn)系統(tǒng)大量使用Swap，說明系統(tǒng)內(nèi)存不足。(cached占用代表數(shù)據(jù)庫使用到了操作系統(tǒng)對文件系統(tǒng)的緩存，可能會因緩存文件導(dǎo)致內(nèi)存過度消耗。)
通過查看從云端智能大腦上導(dǎo)出的AWR報告，通過分析得知SGA的緩存命中率低(約為67%)，而TP環(huán)境中不應(yīng)低于90%。
除此之外，還發(fā)現(xiàn)PGA的內(nèi)存消耗達(dá)到配置的上限，導(dǎo)致內(nèi)存分配等待。
故障原因
Swap是磁盤上一塊存儲空間。當(dāng)系統(tǒng)內(nèi)存使用超過一定值的時候，操作系統(tǒng)就會啟動內(nèi)核進(jìn)程kswapd，kswapd將部分內(nèi)存數(shù)據(jù)置換到Swap(swap out)，從而釋放一部分內(nèi)存出來，當(dāng)進(jìn)程需要讀取被置換到Swap的頁的時候，內(nèi)核再將數(shù)據(jù)從Swap讀到內(nèi)存(swap in)。
由于Swap in和Swap out是內(nèi)核層自動執(zhí)行的，所以進(jìn)程不知道自己的內(nèi)存是否被置換到Swap上了。swap讓進(jìn)程可以使用超過物理內(nèi)存大小的內(nèi)存空間。但是由于Swap是磁盤上的一塊空間，所以其讀寫性能和內(nèi)存差了1000~10000倍。
當(dāng)內(nèi)核開始使用Swap，會大大降低系統(tǒng)的響應(yīng)速度，表現(xiàn)到業(yè)務(wù)層面為卡慢，甚至操作失敗。
當(dāng)系統(tǒng)使用了Swap時，若存在頻繁換入換出即會導(dǎo)致kswapd進(jìn)程活躍、CPU使用率上升、大量磁盤IO請求，進(jìn)而導(dǎo)致業(yè)務(wù)系統(tǒng)整體卡慢，無響應(yīng)。
處置建議
在定位到故障原因之后，我們?yōu)橛脩籼峁┮韵绿幹梅桨福?/p>
擴(kuò)大虛擬機(jī)內(nèi)存，建議擴(kuò)容到220GB以上(SGA 160G + PGA 20G + OS預(yù)留和緩存 32GB)。
建議配置使用大頁內(nèi)存(HugeTabe)，避免會話較多時/內(nèi)存頁過多，導(dǎo)致頁表(TablePage)占用過多內(nèi)存。
建議將數(shù)據(jù)庫的文件系統(tǒng)IO調(diào)整為setall(避免經(jīng)系統(tǒng)緩存IO，導(dǎo)致OS Cache大量消耗內(nèi)存)、SGA調(diào)整為160G、PGA調(diào)整為20G。
2024-11-15 23:45:27~2024-11-16 24:00：經(jīng)過調(diào)整后，用戶數(shù)據(jù)庫性能大幅提升。
用戶價值
問題精準(zhǔn)定位
基于智能運(yùn)維全棧監(jiān)控體系和數(shù)據(jù)庫線上服務(wù)，接入并監(jiān)控Oracle數(shù)據(jù)庫核心性能指標(biāo)，充分利用平臺提供的數(shù)據(jù)庫診斷功能，方便核心數(shù)據(jù)庫問題現(xiàn)象定位。
疑難問題閉環(huán)
依托于智能運(yùn)維服務(wù)提供的DBA專家服務(wù)，快速協(xié)助用戶排查數(shù)據(jù)庫層面的性能問題，獲取資深DBA的處置建議，指導(dǎo)數(shù)據(jù)庫問題端到端處置閉環(huán)，縮短MTTR（平均故障修復(fù)時間）50%以上，運(yùn)維效率提升60%以上。
全棧豐富的監(jiān)控能力，7*24小時持續(xù)的守護(hù)
智能運(yùn)維服務(wù)通過硬件、平臺軟件、操作系統(tǒng)、數(shù)據(jù)庫、應(yīng)用的全棧信息，進(jìn)行關(guān)聯(lián)分析，根因溯源，深入分析問題本質(zhì)、溯源前因后果等多維度揪出根本原因，同時配備專屬服務(wù)經(jīng)理進(jìn)行7*24h值守與主動響應(yīng)，幫助用戶提前規(guī)避潛在風(fēng)險。
基于一朵云，深信服圍繞用戶在業(yè)務(wù)擴(kuò)展時遇到的運(yùn)維難題，提供智能運(yùn)維服務(wù)，通過線上線下結(jié)合，讓用戶突破傳統(tǒng)運(yùn)維工作的困境，在簡化工作的同時獲得更好的運(yùn)維效果，大幅降低運(yùn)維成本，可滿足用戶在各個業(yè)務(wù)發(fā)展階段的運(yùn)維需求，保障業(yè)務(wù)穩(wěn)定運(yùn)行，提升業(yè)務(wù)連續(xù)性。
