今年5月,隨著不動(dòng)產(chǎn)統(tǒng)一登記業(yè)務(wù)系統(tǒng)的成功上線,某市規(guī)劃和自然資源局全部業(yè)務(wù)系統(tǒng)整合改造工作順利完成,標(biāo)志著全國(guó)首個(gè)“數(shù)字規(guī)劃和自然資源國(guó)產(chǎn)全棧解決方案”成功落地。
作為數(shù)據(jù)庫(kù)產(chǎn)品及配套服務(wù)提供商,人大金倉(cāng)于2021年4月起開展方案中數(shù)據(jù)庫(kù)的整體建設(shè)工作。作為該市規(guī)劃和自然資源局最復(fù)雜的業(yè)務(wù)系統(tǒng)之一的不動(dòng)產(chǎn)統(tǒng)一登記業(yè)務(wù)系統(tǒng)的落地尤其值得關(guān)注。
落地痛點(diǎn)
1架構(gòu)復(fù)雜,開發(fā)及運(yùn)維困難
原不動(dòng)產(chǎn)統(tǒng)一登記系統(tǒng)由于生產(chǎn)系統(tǒng)查詢負(fù)載較高,在當(dāng)時(shí)技術(shù)背景下采用了多份數(shù)據(jù)同步的方案,逐步形成了多套集群和多套單機(jī)數(shù)據(jù)庫(kù)支撐的系統(tǒng)架構(gòu),內(nèi)部數(shù)據(jù)同步流轉(zhuǎn)復(fù)雜,且業(yè)務(wù)與數(shù)據(jù)庫(kù)緊耦合,導(dǎo)致后期開發(fā)和運(yùn)維難度較大。
2海量GIS數(shù)據(jù)精確遷移困難
由于原系統(tǒng)采用Oracle的GIS引擎,與OpenGIS標(biāo)準(zhǔn)存在差異,而KES的KGIS是符合OpenGIS標(biāo)準(zhǔn)的,導(dǎo)致無(wú)法單純通過數(shù)據(jù)同步的方式實(shí)現(xiàn)GIS數(shù)據(jù)的精確遷移。
3全XC環(huán)境系統(tǒng)性能亟待優(yōu)化
基于數(shù)據(jù)庫(kù)平臺(tái)架構(gòu)改造需求,需要通過全國(guó)產(chǎn)化單集群承載原有多套集群 + 多套單機(jī)(x86 + Oracle)的全棧業(yè)務(wù),對(duì)于國(guó)產(chǎn)數(shù)據(jù)庫(kù) + 國(guó)產(chǎn)硬件平臺(tái)提出了更高的性能要求。
統(tǒng)一規(guī)劃,架構(gòu)升級(jí)
規(guī)劃和自然資源局原有20+業(yè)務(wù)系統(tǒng)由各自部門獨(dú)立建設(shè),逐步形成了豎井式整體系統(tǒng)架構(gòu)。
項(xiàng)目整體的架構(gòu)規(guī)劃
原系統(tǒng)采用3套R(shí)AC + 3套單機(jī)來(lái)支撐6個(gè)子系統(tǒng),子系統(tǒng)間的業(yè)務(wù)需要進(jìn)行數(shù)據(jù)交換,由于3套R(shí)AC的存儲(chǔ)都是獨(dú)立的,當(dāng)大量業(yè)務(wù)跨子系統(tǒng)請(qǐng)求時(shí),應(yīng)用子系統(tǒng)間的數(shù)據(jù)交換開銷增大,會(huì)導(dǎo)致業(yè)務(wù)請(qǐng)求響應(yīng)慢。
通過對(duì)原系統(tǒng)的數(shù)據(jù)庫(kù)的使用進(jìn)行了深入的調(diào)研后發(fā)現(xiàn),該系統(tǒng)是典型的讀多寫少場(chǎng)景,高峰期時(shí)讀并發(fā)7000+,寫并發(fā)500+。
因此,本次項(xiàng)目升級(jí)建設(shè)采用1主4備的數(shù)據(jù)庫(kù)架構(gòu),在數(shù)據(jù)存儲(chǔ)上整合為一套邏輯數(shù)據(jù)庫(kù),節(jié)省了多節(jié)點(diǎn)之間數(shù)據(jù)交換開銷,降低了架構(gòu)的復(fù)雜度,簡(jiǎn)化了應(yīng)用開發(fā)、運(yùn)維,為系統(tǒng)升級(jí)和功能迭代奠定了堅(jiān)實(shí)基礎(chǔ)。
平臺(tái)兼容,精確遷移
由于原系統(tǒng)采用的GIS標(biāo)準(zhǔn)與目標(biāo)系統(tǒng)(OpenGIS標(biāo)準(zhǔn))存在差異,加之?dāng)?shù)據(jù)庫(kù)跨云遷移所帶來(lái)的網(wǎng)絡(luò)抖動(dòng)影響,常規(guī)數(shù)據(jù)遷移方式很難保證GIS數(shù)據(jù)精確性。
金倉(cāng)KES數(shù)據(jù)庫(kù)內(nèi)置KGIS引擎,并支持國(guó)內(nèi)外各主流商用和開源GIS平臺(tái),故最終采用基于KES + 目標(biāo)GIS平臺(tái)產(chǎn)品的兩階段遷移方案:
階段一:在原云環(huán)境下搭建KES中繼數(shù)據(jù)庫(kù),并通過上層GIS平臺(tái)進(jìn)行連接,以O(shè)racle作為源端,利用GIS平臺(tái)對(duì)Oracle及OpenGIS標(biāo)準(zhǔn)的兼容能力,實(shí)現(xiàn)Oracle中GIS數(shù)據(jù)向KES的精確數(shù)據(jù)同步。
階段二:將KES中繼庫(kù)數(shù)據(jù)文件拷貝至目標(biāo)云環(huán)境KES數(shù)據(jù)庫(kù)中,通過KGIS計(jì)算引擎向上為國(guó)產(chǎn)GIS平臺(tái)提供GIS數(shù)據(jù)存儲(chǔ)及計(jì)算支撐,并保證了數(shù)據(jù)的精確和完整。
兩階段遷移方案
深度優(yōu)化,釋放潛能
該系統(tǒng)是面向全市3000w+市民和企業(yè)提供不動(dòng)產(chǎn)相關(guān)業(yè)務(wù)服務(wù)的核心系統(tǒng),應(yīng)用業(yè)務(wù)多樣,子系統(tǒng)眾多,技術(shù)實(shí)現(xiàn)復(fù)雜:
1.采用多套Oracle集群和單機(jī)支撐,各庫(kù)之間數(shù)據(jù)同步時(shí)效性高峰期存在巨大壓力;
2.大量使用復(fù)雜的存儲(chǔ)過程、自定義函數(shù)及觸發(fā)器,其中部分對(duì)象代碼超過1500行;
3. 涉及視圖3000+,部分業(yè)務(wù)邏輯復(fù)雜,通過多層嵌套視圖實(shí)現(xiàn),且存在跨模式調(diào)用情況;
人大金倉(cāng)通過從架構(gòu)調(diào)整、存儲(chǔ)過程即時(shí)編譯,到針對(duì)具體應(yīng)用視圖的解耦及SQL優(yōu)化,實(shí)現(xiàn)了在全國(guó)產(chǎn)軟硬件平臺(tái)下系統(tǒng)性能指標(biāo)相當(dāng),部分模塊有所提升,大幅提升了用戶體驗(yàn):
1.提供1寫5讀的負(fù)載均衡架構(gòu),承載峰值查詢并發(fā)10000+;
2.優(yōu)化大型嵌套視圖超過50個(gè),部分視圖代碼修改超過500行;
3.優(yōu)化復(fù)雜自定義函數(shù)超過30個(gè),在高負(fù)載業(yè)務(wù)場(chǎng)景下,函數(shù)響應(yīng)可控制在毫秒級(jí),最小0.5毫秒;
4.優(yōu)化應(yīng)用SQL超過70項(xiàng),優(yōu)化后的性能相比原系統(tǒng)均有所提升,最高提升近320倍。
優(yōu)化前后指標(biāo)對(duì)比
深耕行業(yè),服務(wù)全國(guó)
多年來(lái),人大金倉(cāng)持續(xù)在應(yīng)急管理、自然資源、水利、交通、環(huán)保等行業(yè)大力布局,與各GIS廠商、科研院所及重點(diǎn)高校深度合作,為各級(jí)部委、地方政府及相關(guān)企事業(yè)單位提供優(yōu)質(zhì)可靠的GIS數(shù)據(jù)存儲(chǔ)與計(jì)算支撐。項(xiàng)目成功案例遍布全國(guó)28個(gè)省、自治區(qū)及直轄市。
生態(tài)合作GIS廠商
總結(jié)展望
人大金倉(cāng)作為數(shù)據(jù)庫(kù)領(lǐng)域?qū)I(yè)廠商,一直圍繞提升自主創(chuàng)新、技術(shù)服務(wù)和生態(tài)融合能力,聚合眾多生態(tài)伙伴,共同營(yíng)造更加健康、可持續(xù)發(fā)展的GIS產(chǎn)業(yè)鏈生態(tài)環(huán)境。
未來(lái),我們將與國(guó)內(nèi)軟件廠商一道,加速推動(dòng)GIS領(lǐng)域關(guān)鍵技術(shù)整合與典型場(chǎng)景應(yīng)用落地,為構(gòu)建新時(shí)代數(shù)字中國(guó)貢獻(xiàn)力量。