上一篇講了銀行數(shù)據(jù)倉(cāng)庫(kù)的系統(tǒng)架構(gòu)，這次給大家講講數(shù)據(jù)架構(gòu)。如果一個(gè)系統(tǒng)，沒(méi)有數(shù)據(jù)架構(gòu)，那肯定是在吹牛。
狹義的數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)架構(gòu)用來(lái)特指數(shù)據(jù)分布，廣義的數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)架構(gòu)還包括數(shù)據(jù)模型、數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)治理。即包含相對(duì)靜態(tài)部分如元數(shù)據(jù)、業(yè)務(wù)對(duì)象數(shù)據(jù)模型、主數(shù)據(jù)、共享數(shù)據(jù)，也包含相對(duì)動(dòng)態(tài)部分如數(shù)據(jù)流轉(zhuǎn)、ETL、整合、訪問(wèn)應(yīng)用和數(shù)據(jù)全生命周期管控治理。
數(shù)據(jù)架構(gòu)層面通過(guò)數(shù)據(jù)分類(lèi)、分層部署等手段，從非功能性視角將數(shù)據(jù)合理布局。通過(guò)整體架構(gòu)管控和設(shè)計(jì)，支持業(yè)務(wù)操作類(lèi)和管理分析類(lèi)應(yīng)用（系統(tǒng)），滿(mǎn)足業(yè)務(wù)發(fā)展及IT轉(zhuǎn)型對(duì)數(shù)據(jù)的需求，架構(gòu)的擴(kuò)展性和適應(yīng)性能夠提升數(shù)據(jù)分析應(yīng)用的及時(shí)性、靈活性和準(zhǔn)確性。
那實(shí)際情況下各個(gè)銀行的數(shù)據(jù)架構(gòu)體系會(huì)有所不同，根據(jù)各行的業(yè)務(wù)發(fā)展、客戶(hù)數(shù)據(jù)量、交易數(shù)據(jù)量、功能需求等會(huì)有不同的演變路徑以及發(fā)展方向。一般國(guó)有銀行、股份制銀行等全國(guó)性的銀行業(yè)務(wù)較復(fù)雜，數(shù)據(jù)量也較多，數(shù)據(jù)架構(gòu)也因此進(jìn)化較快。常見(jiàn)的數(shù)據(jù)架構(gòu)分區(qū)如下圖所示：
1、數(shù)據(jù)采集層
數(shù)據(jù)緩沖區(qū)的數(shù)據(jù)主要是將數(shù)據(jù)從源系統(tǒng)加載到數(shù)據(jù)倉(cāng)庫(kù)中，作為數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)的起點(diǎn)，數(shù)據(jù)緩存區(qū)數(shù)據(jù)只保留7-10天，以備數(shù)據(jù)問(wèn)題處理，數(shù)據(jù)緩沖區(qū)的數(shù)據(jù)除了標(biāo)準(zhǔn)化的處理，最好直接獲取源系統(tǒng)未經(jīng)加工的數(shù)據(jù)，以便一次抽取，多次使用。
標(biāo)準(zhǔn)化處理主要有編碼統(tǒng)一轉(zhuǎn)化、異常字符清理等，以便后續(xù)處理。數(shù)據(jù)采集層不僅僅只應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)相關(guān)，也可以適用于各交易系統(tǒng)的批量數(shù)據(jù)或文件傳輸和交換，所以在全行系統(tǒng)層面制定規(guī)范。
2、存儲(chǔ)計(jì)算層
（1）主數(shù)據(jù)區(qū)：
指結(jié)構(gòu)化數(shù)據(jù)的主數(shù)據(jù)區(qū)，這部分?jǐn)?shù)據(jù)包括了所有的基礎(chǔ)明細(xì)數(shù)據(jù)以及歷史數(shù)據(jù)，其它區(qū)域的結(jié)構(gòu)化數(shù)據(jù)都是由主數(shù)據(jù)區(qū)數(shù)據(jù)加工而來(lái)。那主數(shù)據(jù)區(qū)主要有兩種模型：近源模型層和整合模型層。一般在實(shí)踐過(guò)程中可以?xún)蓚€(gè)區(qū)域都有，也可以只有任意一個(gè)區(qū)域。這兩個(gè)區(qū)的數(shù)據(jù)都通過(guò)歷史拉鏈或歷史流水的方式保留歷史數(shù)據(jù)，如果有數(shù)據(jù)標(biāo)準(zhǔn)，這兩個(gè)區(qū)的數(shù)據(jù)按數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行字段屬性如代碼值、長(zhǎng)度、精度的標(biāo)準(zhǔn)化，那這兩個(gè)區(qū)的數(shù)據(jù)主要在模型設(shè)計(jì)方面有所不同：
①近源模型區(qū)：表結(jié)構(gòu)設(shè)計(jì)和源系統(tǒng)類(lèi)似，在源系統(tǒng)表基礎(chǔ)上增加標(biāo)準(zhǔn)化字段以及歷史數(shù)據(jù)保存算法的數(shù)據(jù)日期字段，近源模型層的特點(diǎn)是保留源系統(tǒng)表所有信息，在建模和運(yùn)行效率上比較高，但數(shù)據(jù)整合性不高，一些交易系統(tǒng)設(shè)計(jì)的表結(jié)構(gòu)并不直接適用數(shù)據(jù)分析和加工。
②整合模型區(qū)：整合模型區(qū)按主題進(jìn)行數(shù)據(jù)整合、表設(shè)計(jì)以三范式為主，模型穩(wěn)定，數(shù)據(jù)冗余少，那這里模型穩(wěn)定是指即使源系統(tǒng)表結(jié)構(gòu)如何變化，只要實(shí)體之間關(guān)系和屬性不變，那整合模型也可以保持基本不變。模型穩(wěn)定的一個(gè)好處就是可以屏蔽源系統(tǒng)變化，避免下游應(yīng)用系統(tǒng)重復(fù)改造。
舉個(gè)栗子：個(gè)人信貸系統(tǒng)升級(jí)，將使用新的系統(tǒng)，那所有表結(jié)構(gòu)都會(huì)發(fā)生變化，如果直接使用近源模型區(qū)數(shù)據(jù)，那對(duì)于后續(xù)加工變化很大，同時(shí)時(shí)間跨度較大的分析（如年報(bào)）需要分別考慮新舊個(gè)人信貸系統(tǒng)的數(shù)據(jù)加工規(guī)則，如果使用整合模型，那整合模型變動(dòng)不會(huì)太大，對(duì)于歷史數(shù)據(jù)也能同時(shí)存在于一個(gè)模型(一套表)中，對(duì)于后續(xù)應(yīng)用加工影響較小。同時(shí)整合模型會(huì)在客戶(hù)、賬戶(hù)、簽約等各主要維度進(jìn)行分析梳理，形成整體視圖，有利于從全行視角分析。例如客戶(hù)整合可以區(qū)分客戶(hù)唯一性，獲得客戶(hù)視圖；產(chǎn)品和簽約的整合可以清楚看到客戶(hù)在行內(nèi)的購(gòu)買(mǎi)的所有產(chǎn)品和簽約。方便后續(xù)客戶(hù)分析。
（2）指標(biāo)匯總區(qū)：
由于主數(shù)據(jù)區(qū)的數(shù)據(jù)并不合適直接提供給數(shù)據(jù)系統(tǒng)分析使用，因此指標(biāo)匯總區(qū)是整合各數(shù)據(jù)應(yīng)用的加工需求，按事實(shí)表（寬表）和維度表進(jìn)行模型設(shè)計(jì)，對(duì)主數(shù)據(jù)區(qū)數(shù)據(jù)進(jìn)行關(guān)聯(lián)、公共指標(biāo)加工，提供給多個(gè)數(shù)據(jù)應(yīng)用使用，那指標(biāo)匯總區(qū)可按協(xié)議（賬戶(hù)）、產(chǎn)品、客戶(hù)、科目、機(jī)構(gòu)等逐層匯總，指標(biāo)匯總區(qū)可以消除各系統(tǒng)對(duì)于同一個(gè)指標(biāo)分別加工導(dǎo)致的口徑差異。
（3）集市區(qū)（倉(cāng)內(nèi)）：
倉(cāng)內(nèi)集市主要指和數(shù)據(jù)倉(cāng)庫(kù)在同一個(gè)物理平臺(tái)中的集市，可以直接訪問(wèn)主數(shù)據(jù)區(qū)，指標(biāo)匯總區(qū)數(shù)據(jù)、減少數(shù)據(jù)批量轉(zhuǎn)移的成本，利用數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)分析性能快速進(jìn)行數(shù)據(jù)加工，那數(shù)據(jù)集市的劃分可按業(yè)務(wù)部門(mén)或下游系統(tǒng)關(guān)聯(lián)度進(jìn)行集市劃分，如財(cái)務(wù)集市面向管理會(huì)計(jì)等財(cái)務(wù)分析應(yīng)用進(jìn)行專(zhuān)門(mén)的數(shù)據(jù)加工、使用者主要為計(jì)劃財(cái)務(wù)部。監(jiān)管集市主要面向給人行、銀監(jiān)進(jìn)行監(jiān)管報(bào)送報(bào)表的加工，涉及多個(gè)業(yè)務(wù)管理部門(mén)。
（4）批量接口區(qū)：
數(shù)據(jù)倉(cāng)庫(kù)給各下游數(shù)據(jù)應(yīng)用系統(tǒng)、倉(cāng)外集市的數(shù)據(jù)接口加工區(qū)，按雙方約定的數(shù)據(jù)格式提供給數(shù)據(jù)應(yīng)用系統(tǒng)，批量接口區(qū)按接口協(xié)議做簡(jiǎn)單關(guān)聯(lián)，不做復(fù)雜加工，如果平臺(tái)支持視圖，接口區(qū)可以只有視圖提供給下游接口，減少數(shù)據(jù)冗余。
（5）非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)計(jì)算區(qū)：
主要對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)計(jì)算，按一定的數(shù)據(jù)類(lèi)型、來(lái)源、用途進(jìn)行區(qū)域劃分，方便實(shí)時(shí)查看和分析；
（6）歷史數(shù)據(jù)區(qū)：
面向主數(shù)據(jù)區(qū)和非結(jié)構(gòu)化數(shù)據(jù)區(qū)的歷史數(shù)據(jù)歸檔和查詢(xún)。主數(shù)據(jù)區(qū)和非結(jié)構(gòu)化數(shù)據(jù)區(qū)一般只保留1-3年的數(shù)據(jù)，之前的數(shù)據(jù)使用率低，可專(zhuān)門(mén)歸檔到歷史數(shù)據(jù)區(qū)，提高主數(shù)據(jù)區(qū)的性能；同時(shí)歷史數(shù)據(jù)區(qū)可以采用成本較低的設(shè)備，降低成本。
（7）實(shí)時(shí)數(shù)據(jù)區(qū)：
實(shí)時(shí)數(shù)據(jù)區(qū)主要面向流式數(shù)據(jù)的加工和處理，同時(shí)對(duì)于流處理所需的主數(shù)據(jù)區(qū)數(shù)據(jù)可以直接訪問(wèn)也可以存儲(chǔ)一份在實(shí)時(shí)數(shù)據(jù)區(qū)。
（8）在線訪問(wèn)區(qū)：
在線訪問(wèn)區(qū)數(shù)據(jù)是數(shù)據(jù)加工結(jié)果數(shù)據(jù)，以實(shí)時(shí)數(shù)據(jù)接口方式提供給外部使用。改部分?jǐn)?shù)據(jù)可以采用HBASE提供在線查詢(xún)服務(wù)。
3、倉(cāng)外集市數(shù)據(jù)區(qū)
倉(cāng)外數(shù)據(jù)集市和倉(cāng)內(nèi)數(shù)據(jù)集市區(qū)別只是和數(shù)據(jù)倉(cāng)庫(kù)不在同一物理平臺(tái)，但一樣面向特定的數(shù)據(jù)應(yīng)用進(jìn)行加工分析，一般隨著數(shù)據(jù)量的增加，數(shù)據(jù)倉(cāng)庫(kù)的平臺(tái)負(fù)荷過(guò)大往往會(huì)將集市從倉(cāng)內(nèi)移到倉(cāng)外，或者對(duì)于需24小時(shí)隨時(shí)提供數(shù)據(jù)處理的數(shù)據(jù)集市，為了不與數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)競(jìng)爭(zhēng)資源，也一般選擇在倉(cāng)外建設(shè)數(shù)據(jù)集市。
4、報(bào)表區(qū)
報(bào)表區(qū)數(shù)據(jù)是加工后的報(bào)表結(jié)果數(shù)據(jù)，為報(bào)表平臺(tái)提供展示數(shù)據(jù)，因?yàn)閳?bào)表系統(tǒng)往往是7*24小時(shí)提供服務(wù)，因此在數(shù)據(jù)平臺(tái)外單獨(dú)建立報(bào)表平臺(tái)，減少耦合性，在行內(nèi)可以建設(shè)統(tǒng)一的報(bào)表平臺(tái)，對(duì)報(bào)表的開(kāi)發(fā)、整合、維護(hù)、下線進(jìn)行統(tǒng)一管理，減少重復(fù)報(bào)表開(kāi)發(fā)。
5、數(shù)據(jù)探索區(qū)
數(shù)據(jù)探索區(qū)是提供給各業(yè)務(wù)部門(mén)進(jìn)行數(shù)據(jù)探索的區(qū)域，該區(qū)域的數(shù)據(jù)根據(jù)業(yè)務(wù)分析需求從數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行加載，并T+1進(jìn)行更新，由業(yè)務(wù)同事對(duì)數(shù)據(jù)進(jìn)行自由分析和挖掘。該平臺(tái)一般性能要求也比較高，可以使用MPP數(shù)據(jù)庫(kù)或HADOOP平臺(tái)進(jìn)行技術(shù)實(shí)現(xiàn)。由于業(yè)務(wù)人員使用比較隨意，該區(qū)域需要注意歷史數(shù)據(jù)的清理，避免過(guò)多冗余無(wú)用的數(shù)據(jù)占用大量空間。
從數(shù)據(jù)分層來(lái)看，存儲(chǔ)計(jì)算區(qū)是最為核心的部分，存儲(chǔ)計(jì)算區(qū)大部分銀行是由MPP數(shù)據(jù)庫(kù)和HADOOP平臺(tái)共同來(lái)實(shí)現(xiàn)，部分互聯(lián)網(wǎng)銀行單獨(dú)使用HADOOP平臺(tái)來(lái)實(shí)現(xiàn)。以下是一種常見(jiàn)的MPP和HADOOP平臺(tái)協(xié)作的存儲(chǔ)計(jì)算數(shù)據(jù)區(qū)的技術(shù)實(shí)現(xiàn):
從各數(shù)據(jù)區(qū)域的使用團(tuán)隊(duì)來(lái)看，如果全行數(shù)據(jù)進(jìn)行統(tǒng)一存儲(chǔ)管理或者采用數(shù)據(jù)中臺(tái)，那存儲(chǔ)計(jì)算區(qū)建議由統(tǒng)一團(tuán)隊(duì)進(jìn)行開(kāi)發(fā)維護(hù)，數(shù)據(jù)集市區(qū)、數(shù)據(jù)采集區(qū)、數(shù)據(jù)實(shí)驗(yàn)區(qū)、報(bào)表區(qū)可以統(tǒng)一規(guī)范和技術(shù)平臺(tái)，由各數(shù)據(jù)應(yīng)用團(tuán)隊(duì)負(fù)責(zé)各自程序維護(hù)，通過(guò)用戶(hù)權(quán)限管理進(jìn)行隔離。
