數(shù)據(jù)被視為當(dāng)前數(shù)字經(jīng)濟(jì)創(chuàng)新發(fā)展的“石油”，而“石油”的開(kāi)采和冶煉是一個(gè)技術(shù)含量極高的工程，數(shù)據(jù)治理就是其中關(guān)鍵的一環(huán)。在近日舉辦的DataFunSummit2022:數(shù)據(jù)治理在線峰會(huì)上，網(wǎng)易數(shù)帆與客戶東北證券的專(zhuān)家聯(lián)袂分享了數(shù)據(jù)治理最新實(shí)踐與思考。
網(wǎng)易數(shù)帆：長(zhǎng)效治理，需要數(shù)據(jù)治理2.0
網(wǎng)易數(shù)帆大數(shù)據(jù)產(chǎn)品技術(shù)負(fù)責(zé)人郭憶分享了數(shù)據(jù)治理2.0 的思考與實(shí)踐。郭憶表示，數(shù)據(jù)治理是我們把數(shù)據(jù)推向業(yè)務(wù)的基石，因?yàn)槠髽I(yè)在業(yè)務(wù)人員使用數(shù)據(jù)的過(guò)程中， 面臨找不到、看不懂、信不過(guò)、管不過(guò)以及數(shù)據(jù)開(kāi)發(fā)效率低、質(zhì)量差等問(wèn)題。
然而，傳統(tǒng)數(shù)據(jù)治理1.0的元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量三大件，以及當(dāng)前金融行業(yè)衍生的數(shù)據(jù)資產(chǎn)化、數(shù)據(jù)分類(lèi)分級(jí)、數(shù)據(jù)流通、數(shù)據(jù)消費(fèi)等，存在包括數(shù)據(jù)開(kāi)發(fā)與數(shù)據(jù)治理脫節(jié)、缺少對(duì)不同平臺(tái)的統(tǒng)一管理、忽視數(shù)據(jù)開(kāi)發(fā)過(guò)程中的效率及質(zhì)量問(wèn)題、未解決煙囪式數(shù)據(jù)開(kāi)發(fā)、對(duì)數(shù)據(jù)價(jià)值和成本的評(píng)估不足、數(shù)據(jù)治理過(guò)程缺少量化的手段以及數(shù)據(jù)治理的過(guò)程缺少持續(xù)反饋的閉環(huán)等問(wèn)題，這使得企業(yè)數(shù)據(jù)和組織生產(chǎn)力的提升之間仍然存在巨大的差距。
為了解決此問(wèn)題，網(wǎng)易數(shù)帆將傳統(tǒng)數(shù)據(jù)治理的方法融入數(shù)據(jù)開(kāi)發(fā)的全生命周期中，基于DataOps全生命周期數(shù)據(jù)開(kāi)發(fā)底座，采用數(shù)據(jù)中臺(tái)架構(gòu)，結(jié)合網(wǎng)易特色的基于ROI的數(shù)據(jù)資產(chǎn)化實(shí)踐，形成了數(shù)據(jù)治理2.0的方法論。
數(shù)據(jù)治理2.0具有開(kāi)發(fā)與治理一體化、邏輯數(shù)據(jù)湖、采用DataOps的數(shù)據(jù)開(kāi)發(fā)底座、數(shù)據(jù)中臺(tái)架構(gòu)解決煙囪式數(shù)據(jù)開(kāi)發(fā)、基于ROI的數(shù)據(jù)資產(chǎn)沉淀等五大核心亮點(diǎn)，站在現(xiàn)代數(shù)據(jù)技術(shù)棧的巨人肩膀之上，完美解決了數(shù)據(jù)治理1.0遺留的問(wèn)題。
其中，數(shù)據(jù)開(kāi)發(fā)與治理一體化是數(shù)據(jù)治理2.0 的核心。郭憶認(rèn)為，數(shù)據(jù)治理1.0 重點(diǎn)解決存量數(shù)據(jù)的問(wèn)題，對(duì)于新增數(shù)據(jù)沒(méi)有辦法做到有效治理，而通過(guò)數(shù)據(jù)開(kāi)發(fā)和治理一體化，我們可以建立數(shù)據(jù)治理長(zhǎng)效解決方案，對(duì)增量數(shù)據(jù)實(shí)施有效的治理——增量數(shù)據(jù)往往對(duì)企業(yè)的分析價(jià)值更大，在數(shù)字化的背景下尤其如此。
數(shù)據(jù)開(kāi)發(fā)與治理一體化下，流程變?yōu)橄仍O(shè)計(jì)再開(kāi)發(fā)，設(shè)計(jì)包括了標(biāo)準(zhǔn)制定的過(guò)程（即數(shù)據(jù)標(biāo)準(zhǔn)化）和數(shù)據(jù)建模兩個(gè)過(guò)程。由于數(shù)據(jù)標(biāo)準(zhǔn)關(guān)聯(lián)了數(shù)據(jù)質(zhì)量的稽核規(guī)則，在先定標(biāo)再建模后開(kāi)發(fā)的流程中，稽核規(guī)則可以自動(dòng)應(yīng)用到標(biāo)準(zhǔn)模型產(chǎn)出任務(wù)上，不再需要數(shù)據(jù)開(kāi)發(fā)人員人工添加稽核規(guī)則。這在從源頭保證數(shù)據(jù)質(zhì)量的同時(shí)，也降低了數(shù)據(jù)開(kāi)發(fā)的難度。
東北證券：金融數(shù)據(jù)治理要打“組合拳”
東北證券是網(wǎng)易數(shù)帆的深度客戶，使用了網(wǎng)易數(shù)帆有數(shù)產(chǎn)品的全平臺(tái)工具，從DataOps全鏈路數(shù)據(jù)開(kāi)發(fā)平臺(tái)、數(shù)據(jù)中臺(tái)、數(shù)據(jù)治理，可視化分析BI到機(jī)器學(xué)習(xí)平臺(tái)，構(gòu)建了一站式數(shù)據(jù)智能分析體系。
在本次峰會(huì)上，東北證券數(shù)據(jù)治理負(fù)責(zé)人李燕分享了金融數(shù)據(jù)治理實(shí)踐與思考，重點(diǎn)介紹了數(shù)據(jù)治理管理域間組合與協(xié)同。
01、金融數(shù)據(jù)治理需要管理域協(xié)同
東北證券數(shù)據(jù)治理的愿景，是“沉淀優(yōu)質(zhì)數(shù)據(jù)資產(chǎn)，激活數(shù)據(jù)要素潛能，支撐公司數(shù)字化轉(zhuǎn)型”。在數(shù)字化轉(zhuǎn)型的背景下，金融行業(yè)業(yè)務(wù)參與方較多，各類(lèi)機(jī)構(gòu)和參與者都面臨轉(zhuǎn)型，且要求各不相同。其中既包括金融機(jī)構(gòu)和各位市場(chǎng)主體，也包括監(jiān)管部門(mén)和各類(lèi)交易所、協(xié)會(huì)等機(jī)構(gòu)，如何將各參與方協(xié)同起來(lái)，共同打造治理的基礎(chǔ)，這是金融行業(yè)數(shù)據(jù)治理面臨的一個(gè)痛點(diǎn)和難點(diǎn)。
李燕認(rèn)為，數(shù)據(jù)治理各個(gè)管理域之間存在協(xié)同的力量，單個(gè)模塊建設(shè)效果不佳，核心原因是各個(gè)模塊能力的組合存在不足。她表示，我們需要根據(jù)企業(yè)實(shí)際情況去選擇模塊，并把這些模塊打造成一種能產(chǎn)生組合力、協(xié)同的數(shù)據(jù)治理工具。以東北證券治理體系為例，需要建設(shè)一個(gè)集模型設(shè)計(jì)、元數(shù)據(jù)管理、研發(fā)實(shí)施、質(zhì)量監(jiān)控、安全管理、數(shù)據(jù)服務(wù)等數(shù)據(jù)全生命周期的實(shí)現(xiàn)流程端到端的一體化管控平臺(tái)。
數(shù)據(jù)標(biāo)準(zhǔn)是整個(gè)平臺(tái)管理域間協(xié)同的一個(gè)核心，包括基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)、指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)和標(biāo)簽數(shù)據(jù)標(biāo)準(zhǔn)。標(biāo)準(zhǔn)落標(biāo)在于元數(shù)據(jù)，包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù)等，兩者之間的關(guān)聯(lián)需要一個(gè)鏈接的過(guò)程。數(shù)據(jù)標(biāo)準(zhǔn)落標(biāo)的核心保障是數(shù)據(jù)質(zhì)量，后者負(fù)責(zé)標(biāo)準(zhǔn)落標(biāo)檢查，檢測(cè)規(guī)則被寫(xiě)到每一個(gè)字段、每一條元數(shù)據(jù)上。增量數(shù)據(jù)從源頭符合標(biāo)準(zhǔn)的保證，則是的數(shù)據(jù)模型，包括概念模型、邏輯模型和物理模型等，同時(shí)數(shù)據(jù)標(biāo)準(zhǔn)也作為輸出為數(shù)據(jù)模型提供基礎(chǔ)支持。數(shù)據(jù)標(biāo)準(zhǔn)的一個(gè)核心理念是分類(lèi)分級(jí)，其規(guī)則輸出給數(shù)據(jù)安全，并由元數(shù)據(jù)來(lái)承載這些等級(jí)。
02、數(shù)據(jù)治理管理域落地的核心點(diǎn)
李燕強(qiáng)調(diào)，數(shù)據(jù)治理管理域落地的核心點(diǎn)，包括元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)應(yīng)用與服務(wù)等。
元數(shù)據(jù)的目標(biāo)是建立元數(shù)據(jù)倉(cāng)庫(kù)、元數(shù)據(jù)產(chǎn)品化，它是管理域間的核心抓手，需要業(yè)務(wù)和技術(shù)協(xié)同完成。
數(shù)據(jù)標(biāo)準(zhǔn)的目標(biāo)是進(jìn)行統(tǒng)一數(shù)據(jù)語(yǔ)言，統(tǒng)一約束。只做數(shù)據(jù)標(biāo)準(zhǔn)，把口徑厘清，把一些關(guān)鍵的語(yǔ)言統(tǒng)一出來(lái)，固然能產(chǎn)生價(jià)值，但如果把數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量的關(guān)聯(lián)關(guān)系同時(shí)打通，共同協(xié)作去做的話，所能發(fā)揮的價(jià)值將遠(yuǎn)遠(yuǎn)大于只做數(shù)據(jù)標(biāo)準(zhǔn)。
數(shù)據(jù)質(zhì)量保證能為數(shù)據(jù)分析業(yè)務(wù)提供高質(zhì)量的數(shù)據(jù)，保證數(shù)據(jù)有效性，落地的核心點(diǎn)，一是建立數(shù)據(jù)質(zhì)量評(píng)分卡；二是從業(yè)務(wù)端、系統(tǒng)端進(jìn)行源頭的治理，而不僅僅是數(shù)倉(cāng)內(nèi)處理完的數(shù)據(jù)；三是數(shù)據(jù)質(zhì)量的分級(jí)處置，根據(jù)不同的數(shù)據(jù)問(wèn)題，不同的數(shù)據(jù)的重要性，預(yù)設(shè)不同數(shù)據(jù)處置方案；四是認(rèn)責(zé)機(jī)制，保證質(zhì)量問(wèn)題的發(fā)現(xiàn)、追蹤和解決，這也是整個(gè)數(shù)據(jù)治理工作要解決的一個(gè)關(guān)鍵問(wèn)題。
數(shù)據(jù)模型的目標(biāo)，是提供數(shù)據(jù)使用的交換效率和業(yè)務(wù)的可理解性，對(duì)于證券行業(yè)核心是SDOM模型的本地化。
數(shù)據(jù)安全目標(biāo)是有效保護(hù)，合法利用，釋放數(shù)據(jù)流動(dòng)性和產(chǎn)業(yè)價(jià)值，核心工作包括數(shù)據(jù)的分類(lèi)分級(jí)，數(shù)據(jù)的權(quán)限審批，數(shù)據(jù)的隔離和數(shù)據(jù)脫敏。
最后的數(shù)據(jù)應(yīng)用與服務(wù)應(yīng)當(dāng)緊扣業(yè)務(wù)價(jià)值，換言之，需要進(jìn)行數(shù)據(jù)資源的資產(chǎn)化，并通過(guò)數(shù)據(jù)資產(chǎn)支撐更多的業(yè)務(wù)場(chǎng)景。
03、數(shù)據(jù)治理如何“破圈”
如何讓數(shù)據(jù)治理“破圈”，提高業(yè)務(wù)的參與度，避免成為IT人的自嗨？李燕認(rèn)為需要從企業(yè)角度思考兩點(diǎn)，首先是數(shù)據(jù)資產(chǎn)如何發(fā)揮價(jià)值，其次要把數(shù)據(jù)服務(wù)的應(yīng)用和數(shù)據(jù)治理結(jié)合起來(lái)。
“治理不是最終目的，只有良好的資產(chǎn)為數(shù)據(jù)分析、數(shù)據(jù)挖掘帶來(lái)價(jià)值，才能形成正向的反饋。所以它一定是一套組合拳。”李燕說(shuō)。
小結(jié)
隨著行業(yè)數(shù)字化轉(zhuǎn)型不斷深入，數(shù)據(jù)資產(chǎn)化及治理的價(jià)值受到了更多企業(yè)的關(guān)注。于金融企業(yè)而言，監(jiān)管的需求加重了數(shù)據(jù)治理的意義。兩位專(zhuān)家的分享表明，僅僅依靠事后的治理，已經(jīng)不足以支撐當(dāng)前金融企業(yè)使用數(shù)據(jù)、推進(jìn)數(shù)字化轉(zhuǎn)型，數(shù)據(jù)治理正在深入到數(shù)據(jù)的產(chǎn)生過(guò)程中。數(shù)據(jù)治理2.0方法論的提出，網(wǎng)易數(shù)帆技術(shù)體系的建設(shè)，以及東北證券的探索，為金融行業(yè)數(shù)據(jù)治理的升級(jí)帶來(lái)了可靠的理論依據(jù)、基礎(chǔ)平臺(tái)和實(shí)踐樣板。
