2021年12月7日，Gartner最新研究揭示，基礎(chǔ)設(shè)施和運(yùn)營(yíng)（I&O）領(lǐng)導(dǎo)人在未來(lái)12至18個(gè)月必須開(kāi)始為六大趨勢(shì)做好準(zhǔn)備。其中，無(wú)論是準(zhǔn)時(shí)化基礎(chǔ)設(shè)施（Just-In-Time Infrastructure）、還是數(shù)據(jù)增生（Data Proliferation）、業(yè)務(wù)敏銳度（Business Acumen），都預(yù)示著企業(yè)需要擁有更具適應(yīng)性和彈性、更實(shí)時(shí)的數(shù)據(jù)管理基礎(chǔ)設(shè)施能力，從而支撐迅速作出更符合業(yè)務(wù)需求的決策和行動(dòng)。
顯然，山東城商行聯(lián)盟已經(jīng)為該趨勢(shì)做好了充足準(zhǔn)備。
近日，山東城商行聯(lián)盟和DataPipeline數(shù)見(jiàn)科技共同宣布，山東城商行聯(lián)盟為59家銀行構(gòu)建的數(shù)據(jù)庫(kù)準(zhǔn)實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)正式投入使用，該系統(tǒng)基于DataPipeline企業(yè)級(jí)實(shí)時(shí)數(shù)據(jù)平臺(tái)打造。該項(xiàng)目的實(shí)施對(duì)于推動(dòng)城市商業(yè)銀行實(shí)現(xiàn)企業(yè)數(shù)字化轉(zhuǎn)型、數(shù)據(jù)規(guī)范化和集約化管理、賦能企業(yè)經(jīng)營(yíng)及增強(qiáng)其持久核心競(jìng)爭(zhēng)力具有重要意義。
業(yè)務(wù)需求當(dāng)先，擁抱實(shí)時(shí)數(shù)據(jù)管理
山東省城市商業(yè)銀行合作聯(lián)盟有限公司經(jīng)原中國(guó)銀監(jiān)會(huì)批準(zhǔn)成立，是目前全國(guó)唯一持有金融牌照的中小銀行金融科技服務(wù)公司。公司為數(shù)十家成員行提供集核心業(yè)務(wù)系統(tǒng)、互聯(lián)網(wǎng)金融系統(tǒng)、外聯(lián)業(yè)務(wù)平臺(tái)、大數(shù)據(jù)服務(wù)及運(yùn)營(yíng)、風(fēng)控支持等全方位的信息科技解決方案以及培訓(xùn)、咨詢(xún)、合作創(chuàng)新等多元服務(wù)，引領(lǐng)成員行通過(guò)科技創(chuàng)新推動(dòng)業(yè)務(wù)發(fā)展和轉(zhuǎn)型升級(jí)，是山東省大數(shù)據(jù)重點(diǎn)骨干企業(yè)。公司致力于打造賦能中小銀行、開(kāi)放共享的金融科技生態(tài)平臺(tái)。
在云計(jì)算、大數(shù)據(jù)、人工智能快速發(fā)展背景下，金融行業(yè)適應(yīng)客戶(hù)需要的多樣化和個(gè)性化場(chǎng)景不斷涌現(xiàn)。經(jīng)過(guò)10多年的電子化發(fā)展、信息化建設(shè)，山東城商行聯(lián)盟積累了海量的數(shù)據(jù)，如何利用好這些數(shù)據(jù)成為了聯(lián)盟應(yīng)對(duì)新形勢(shì)挑戰(zhàn)、謀求轉(zhuǎn)型發(fā)展的重要課題。相對(duì)于大型商業(yè)銀行，降低運(yùn)營(yíng)成本、提升客戶(hù)體驗(yàn)、提高營(yíng)銷(xiāo)能力等轉(zhuǎn)型工作對(duì)于以山東城商行聯(lián)盟為代表的的城市商業(yè)銀行在科技創(chuàng)新發(fā)展上更為關(guān)鍵。
隨著數(shù)據(jù)應(yīng)用的深入，成員行業(yè)務(wù)部門(mén)不斷提出更復(fù)雜的實(shí)時(shí)數(shù)據(jù)加工需求，新需求的加工復(fù)雜度持續(xù)升高、使用場(chǎng)景持續(xù)擴(kuò)展、交付效率持續(xù)加快、運(yùn)營(yíng)質(zhì)量要求持續(xù)提升。為提升實(shí)時(shí)數(shù)據(jù)支撐能力，山東城商行聯(lián)盟開(kāi)始啟動(dòng)實(shí)時(shí)數(shù)據(jù)體系建設(shè)。該體系需要實(shí)現(xiàn)綜合業(yè)務(wù)系統(tǒng)CBUS、外聯(lián)業(yè)務(wù)處理平臺(tái)XBUS、ESB服務(wù)總線(xiàn)、電子銀行等系統(tǒng)的數(shù)據(jù)實(shí)時(shí)采集、同步、分發(fā)。如何打通Oracle、IBM DB2、MySQL、Kafka等多種數(shù)據(jù)管理技術(shù)，實(shí)現(xiàn)每日產(chǎn)生的數(shù)億條數(shù)據(jù)的整合，成為聯(lián)盟亟待解決的問(wèn)題。
打造金融級(jí)平臺(tái)2.0，多場(chǎng)景落地
企業(yè)級(jí)數(shù)據(jù)庫(kù)準(zhǔn)實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)架構(gòu)圖
山東城商行聯(lián)盟在過(guò)往服務(wù)成員行過(guò)程中，業(yè)務(wù)端在取數(shù)時(shí)，首先需要將各數(shù)據(jù)源通過(guò)CDC模式將數(shù)據(jù)實(shí)時(shí)同步至中間庫(kù)；其次，源端數(shù)據(jù)同步至中間庫(kù)后，通過(guò)CDC實(shí)時(shí)下發(fā)至各個(gè)下游用數(shù)方。在該過(guò)程中，由于上游發(fā)版頻繁，中間庫(kù)的數(shù)據(jù)結(jié)構(gòu)均需要相應(yīng)變動(dòng)，數(shù)據(jù)同步過(guò)程中系統(tǒng)維護(hù)工作量較大地影響了數(shù)據(jù)應(yīng)用方的取數(shù)時(shí)效性。為了能夠更好地服務(wù)聯(lián)盟成員行，山東城商行聯(lián)盟需要重新構(gòu)建統(tǒng)一的數(shù)據(jù)庫(kù)準(zhǔn)實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)，實(shí)現(xiàn)通過(guò)數(shù)據(jù)流平臺(tái)近實(shí)時(shí)地向各外圍系統(tǒng)供數(shù)的目的，進(jìn)而及時(shí)高效地支持成員行的運(yùn)營(yíng)、市場(chǎng)、銷(xiāo)售等實(shí)時(shí)業(yè)務(wù)需求。
山東城商行聯(lián)盟通過(guò)產(chǎn)品調(diào)研、可行性分析、POC驗(yàn)證，選擇DataPipeline數(shù)見(jiàn)科技作為合作伙伴共同完成數(shù)據(jù)庫(kù)實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)項(xiàng)目的實(shí)施。該方案三大核心能力與聯(lián)盟實(shí)時(shí)數(shù)據(jù)管理體系整體策略高度契合：
01 多元異構(gòu)
Oracle、IBM DB2、MySQL、Kafka等多種數(shù)據(jù)庫(kù)進(jìn)行近實(shí)時(shí)的數(shù)據(jù)采集功能，并對(duì)數(shù)據(jù)源建立高效的管理功能，實(shí)現(xiàn)對(duì)數(shù)據(jù)源、目的地的數(shù)據(jù)連接統(tǒng)一管理管理，通過(guò)界面進(jìn)行數(shù)據(jù)源與目的地注冊(cè)，刪除數(shù)據(jù)源，同時(shí)根據(jù)需求不斷迭代支持新的數(shù)據(jù)庫(kù)。
02實(shí)時(shí)同步
利用解析數(shù)據(jù)庫(kù)歸檔日志的方式，實(shí)現(xiàn)秒級(jí)的數(shù)據(jù)變更捕獲，將解析的變更記錄傳送到數(shù)據(jù)目的地中，包括日志中提取數(shù)據(jù)變更的增、刪、改等DML操作記錄，以及新增表、刪除表、添加字段、刪除字段等自動(dòng)同步到目的地中。
03標(biāo)準(zhǔn)管理
統(tǒng)一的可視化管理頁(yè)面，提供平臺(tái)級(jí)別的數(shù)據(jù)管理功能，包括產(chǎn)品權(quán)限、數(shù)據(jù)時(shí)效管理和安全管控等方面功能，為數(shù)據(jù)工程師、運(yùn)維人員提供直觀的數(shù)據(jù)任務(wù)地圖，隨時(shí)可以洞悉數(shù)據(jù)的最新動(dòng)態(tài)，極大提升運(yùn)維工作效率和效益。
面向未來(lái)，山東城商行聯(lián)盟將持續(xù)利用實(shí)時(shí)數(shù)據(jù)管理技術(shù)，為成員行客戶(hù)提供更多便捷、高效的金融服務(wù)，支撐智能化、定制化、更懂客戶(hù)的數(shù)字銀行服務(wù)。而DataPipeline也將加大對(duì)實(shí)時(shí)數(shù)據(jù)管理技術(shù)的投入力度，深化與金融業(yè)務(wù)的場(chǎng)景融合，助力金融行業(yè)的數(shù)字化變革升級(jí)。
