當(dāng)前，數(shù)字經(jīng)濟(jì)成為我國(guó)經(jīng)濟(jì)高質(zhì)量發(fā)展的新引擎，企業(yè)面臨著以大數(shù)據(jù)為核心的數(shù)字化轉(zhuǎn)型重要機(jī)遇和挑戰(zhàn)。如何打造安全可靠的數(shù)據(jù)基礎(chǔ)設(shè)施和價(jià)值挖掘平臺(tái)，發(fā)揮數(shù)據(jù)資產(chǎn)的核心價(jià)值是企業(yè)能否贏取未來的關(guān)鍵所在。
9月28日，在上海舉辦的“云智技術(shù)論壇”智能大數(shù)據(jù)專場(chǎng)，百度智能云帶來了云智一體的大數(shù)據(jù)產(chǎn)品架構(gòu)全景圖，為企業(yè)提供從構(gòu)建新型數(shù)據(jù)基礎(chǔ)設(shè)施、深度挖掘數(shù)據(jù)價(jià)值，到保障數(shù)據(jù)安全的全流程大數(shù)據(jù)解決方案。
百度智能云大數(shù)據(jù)產(chǎn)品架構(gòu)全景圖共三層：底層通過湖倉(cāng)數(shù)據(jù)基礎(chǔ)設(shè)施為企業(yè)提供數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)開發(fā)等能力；中層的數(shù)據(jù)價(jià)值挖掘平臺(tái)，充分利用百度智能大數(shù)據(jù)技術(shù)，實(shí)現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)價(jià)值最大化；頂層，即基于底層和中層的技術(shù)，幫助各行各業(yè)落地大數(shù)據(jù)應(yīng)用落地。
構(gòu)建新型數(shù)據(jù)基礎(chǔ)設(shè)施
隨著企業(yè)數(shù)字化轉(zhuǎn)型的加速，企業(yè)日常運(yùn)營(yíng)中產(chǎn)生的數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，且數(shù)據(jù)的類型更加多樣化，數(shù)據(jù)的應(yīng)用場(chǎng)景日益繁雜，以及基于實(shí)時(shí)數(shù)據(jù)的快速?zèng)Q策越來越普及，單一的數(shù)據(jù)倉(cāng)庫(kù)或者數(shù)據(jù)湖解決方案滿足不了用戶對(duì)數(shù)據(jù)挖掘和使用的需求。于是湖倉(cāng)一體架構(gòu)成為云原生時(shí)代數(shù)據(jù)架構(gòu)演變的必然趨勢(shì)。
百度智能云湖倉(cāng)一體架構(gòu)的優(yōu)勢(shì)主要體現(xiàn)在三個(gè)方面。
首先是云原生，它是數(shù)倉(cāng)基礎(chǔ)架構(gòu)的一個(gè)基本的演變方向。百度智能云云原生湖倉(cāng)架構(gòu)以云為基礎(chǔ)，為客戶提供彈性、低成本的數(shù)據(jù)存儲(chǔ)和按需伸縮的計(jì)算資源。在存儲(chǔ)上，百度智能云BOS是業(yè)界領(lǐng)先的數(shù)據(jù)湖對(duì)象存儲(chǔ)；在計(jì)算上，BMR是靈活、高性價(jià)比的托管大數(shù)據(jù)處理，憑借先進(jìn)的計(jì)算存儲(chǔ)分離架構(gòu)、智能彈性伸縮技術(shù)確保高可靠的同時(shí)，真正幫助用戶實(shí)現(xiàn)用時(shí)高效獲取資源、閑時(shí)及時(shí)釋放資源，用最低的成本獲取最高的計(jì)算性能。
其次，百度智能云通過數(shù)據(jù)湖架構(gòu)為客戶提供全面的數(shù)據(jù)分析能力。百度Palo是數(shù)據(jù)湖分析能力的核心產(chǎn)品，是百度基于Apache Doris構(gòu)建的企業(yè)級(jí)MPP數(shù)據(jù)倉(cāng)庫(kù)，專門應(yīng)對(duì)高并發(fā)、低延時(shí)的 PB 級(jí)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)使用場(chǎng)景，全面兼容 MySQL 協(xié)議，可以毫秒級(jí)、針對(duì)億萬級(jí)數(shù)據(jù)進(jìn)行及時(shí)的多維分析透視和業(yè)務(wù)探查。
在架構(gòu)上來看，Palo與常見的分布式存儲(chǔ)系統(tǒng)的架構(gòu)有些不同。Palo主要有FE（Frontend）和BE（Backend）這兩類系統(tǒng)進(jìn)程，其中FE可以理解為Palo的管控節(jié)點(diǎn)，主要負(fù)責(zé)用戶請(qǐng)求的介入、查詢計(jì)劃的解析、元數(shù)據(jù)的存儲(chǔ)以及集群管理等工作，BE主要負(fù)責(zé)數(shù)據(jù)存儲(chǔ)以及查詢計(jì)劃的執(zhí)行，這兩類系統(tǒng)進(jìn)程都可以橫向拓展，而不需要依賴任何第三方系統(tǒng)（如HDFS、ZooKeeper等），這樣高度集成的架構(gòu)設(shè)計(jì)也極大簡(jiǎn)化了一款分布式系統(tǒng)的運(yùn)維成本。同時(shí)Palo在FE進(jìn)程中實(shí)現(xiàn)了MySQL兼容協(xié)議層，這樣用戶通過標(biāo)準(zhǔn)MySQL客戶端或其他各類工具即可便捷連接到Palo，并且Palo還支持標(biāo)準(zhǔn)SQL語言，不論是簡(jiǎn)單的單表聚合、排序過濾或復(fù)雜的多表關(guān)聯(lián)、子查詢、窗口函數(shù)、自定義函數(shù)等，都可以通過SQL快速完成，極大減少用戶的使用成本。
使用 Palo 時(shí)，可以從本地、RDS、BOS、百度智能云 MapReduce 等導(dǎo)入海量數(shù)據(jù)，進(jìn)行大數(shù)據(jù)的多維分析。同時(shí) Palo 還兼容主流 BI 工具，數(shù)據(jù)分析師可以通過可視化的方式分析和展示數(shù)據(jù)，快速獲取洞察以輔助決策。此外，Palo 還提供了全新 UI 支持，5分鐘上手，輕松實(shí)現(xiàn)建庫(kù)建表、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)查詢。
最后，百度智能云利用數(shù)據(jù)湖管理與分析平臺(tái)EasyDAP，以統(tǒng)一元數(shù)據(jù)為抓手，一站式完成數(shù)據(jù)集成、治理、開發(fā)、分析、服務(wù)。EasyDAP是全場(chǎng)景、低門檻、兼容開放、安全可靠的一站式數(shù)據(jù)湖管理與分析平臺(tái)，其服務(wù)范圍覆蓋數(shù)據(jù)集成、數(shù)據(jù)管理、數(shù)據(jù)治理、數(shù)據(jù)開發(fā)、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)，實(shí)現(xiàn)采、存、管、用一體化。
挖掘數(shù)據(jù)資產(chǎn)價(jià)值
完成數(shù)據(jù)基礎(chǔ)設(shè)施構(gòu)建后，企業(yè)如何實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)價(jià)值最大化？百度智能云給出了答案。
首先，百度智能云通過數(shù)據(jù)資產(chǎn)管理與運(yùn)營(yíng)平臺(tái)DAMP將各類數(shù)據(jù)經(jīng)過基礎(chǔ)治理后形成的數(shù)據(jù)資產(chǎn)進(jìn)行統(tǒng)一管理，以資產(chǎn)目錄的形式讓企業(yè)內(nèi)部資產(chǎn)更清晰化，同時(shí)通過應(yīng)用超市幫助企業(yè)更好的運(yùn)營(yíng)數(shù)據(jù)資產(chǎn)，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)要素“好管理”、“好找到”、“好理解”、“好應(yīng)用”。
其次，百度智能云通過商業(yè)智能和數(shù)據(jù)科學(xué)工具讓數(shù)據(jù)發(fā)揮大價(jià)值。
在商業(yè)智能方面，百度Sugar BI可以快速搭建數(shù)據(jù)可視化頁面，幫助客戶洞察過去。Sugar BI是百度自助 BI 報(bào)表分析和制作可視化數(shù)據(jù)大屏的工具，直連MySQL、本地excel等各類數(shù)據(jù)源，通過豐富的圖表和拖拽式編輯幫助客戶5分鐘即可生成可視化頁面，并以炫酷大屏呈現(xiàn)，讓數(shù)據(jù)信息更直觀。同時(shí)，Sugar 融合了百度語音、語義識(shí)別等多種 AI 技術(shù)，客戶通過語音的方式就可以快速獲取想要的數(shù)據(jù)。
在數(shù)據(jù)科學(xué)方面，百度智能云通過全功能AI開發(fā)平臺(tái)BML為數(shù)據(jù)科學(xué)的場(chǎng)景提供全流程開發(fā)支持，幫助客戶預(yù)測(cè)未來。BML整合了大數(shù)據(jù)和百度AI技術(shù)，可以實(shí)現(xiàn)從數(shù)據(jù)源管理、數(shù)據(jù)清洗與擴(kuò)充、數(shù)據(jù)標(biāo)注、數(shù)據(jù)預(yù)處理，到模型構(gòu)建，模型管理與優(yōu)化、預(yù)測(cè)服務(wù)部署、服務(wù)管理與監(jiān)控等全流程能力支撐，降低企業(yè)應(yīng)用數(shù)據(jù)技術(shù)的門檻。BML為數(shù)據(jù)科學(xué)提供高效的算力管理和調(diào)度、高性能數(shù)據(jù)科學(xué)引擎、自動(dòng)機(jī)器學(xué)習(xí)、豐富的建模方式四大核心功能。
在算力管理和調(diào)度方面，BML提供計(jì)算資源、存儲(chǔ)資源的管理和調(diào)度。在這之上，提供一套作業(yè)執(zhí)行與調(diào)度機(jī)制，幫助客戶實(shí)現(xiàn)模型與服務(wù)管理。
在高性能數(shù)據(jù)科學(xué)引擎方面，BML提供高度兼容的 Pandas/Sklearn，面向單機(jī)的數(shù)據(jù)分析和機(jī)器學(xué)習(xí)，提供5-10倍的開源工具的數(shù)據(jù)處理能力。
在自動(dòng)機(jī)器學(xué)習(xí)方面，BML提供自動(dòng)建模工具，實(shí)現(xiàn)從數(shù)據(jù)拆分、訓(xùn)練數(shù)據(jù)集、黑盒優(yōu)化算法、模型訓(xùn)練、效果評(píng)估等全流程的自動(dòng)化。
在豐富的建模方式方面，BML提供豐富的交互界面、文本編輯器、可視化的拖拉拽、腳本調(diào)參等工具。
保護(hù)數(shù)據(jù)隱私安全
百度數(shù)據(jù)安全體系貫穿了大數(shù)據(jù)基礎(chǔ)設(shè)施構(gòu)建、數(shù)據(jù)價(jià)值挖掘的全過程，覆蓋了數(shù)據(jù)全生命周期，從多個(gè)維度保護(hù)企業(yè)數(shù)據(jù)安全。
在數(shù)據(jù)資產(chǎn)安全方面，百度數(shù)據(jù)安全體系提供細(xì)粒度數(shù)據(jù)權(quán)限、數(shù)據(jù)加密脫敏、統(tǒng)一身份認(rèn)證、多租戶資源隔離等技術(shù)，確保資產(chǎn)生命周期過程中的安全性，以及數(shù)據(jù)在企業(yè)內(nèi)外部應(yīng)用過程中的安全性。
在隱私保護(hù)方面，百度數(shù)據(jù)安全體系實(shí)現(xiàn)了事前安全隱患發(fā)現(xiàn)、事中敏感數(shù)據(jù)保護(hù)、事后精準(zhǔn)溯源的安全保護(hù)閉環(huán)，為客戶提供安全合規(guī)的數(shù)據(jù)應(yīng)用能力。
在隱私計(jì)算方面，百度智能云通過“百度點(diǎn)石”實(shí)現(xiàn)“數(shù)據(jù)可用不可見”與“數(shù)據(jù)不動(dòng)算法動(dòng)”基礎(chǔ)之上的隱私計(jì)算。百度點(diǎn)石數(shù)據(jù)安全及隱私保護(hù)方案是基于百度內(nèi)部數(shù)據(jù)安全治理以及千行百業(yè)的合作伙伴業(yè)務(wù)實(shí)踐，整合了信息安全技術(shù)、隱私計(jì)算技術(shù)、區(qū)塊鏈技術(shù)，沉淀形成了整套的數(shù)據(jù)安全及隱私保護(hù)解決方案。
方案整合了四款隱私計(jì)算引擎：
1、數(shù)據(jù)安全沙箱：利用信息安全技術(shù)，在集中計(jì)算的基礎(chǔ)上，實(shí)現(xiàn)了數(shù)據(jù)不動(dòng)算法動(dòng)。以較高的安全性和無損的性能，實(shí)現(xiàn)數(shù)據(jù)價(jià)值的挖掘和應(yīng)用。廣泛的應(yīng)用于集中數(shù)據(jù)源向外輸出數(shù)據(jù)價(jià)值的各類場(chǎng)景。
2、聯(lián)邦學(xué)習(xí)平臺(tái)：利用機(jī)器學(xué)習(xí)及密碼學(xué)算法，在分散計(jì)算的基礎(chǔ)上，通過調(diào)度多節(jié)點(diǎn)的算法、算力，實(shí)現(xiàn)了數(shù)據(jù)不動(dòng)算法動(dòng)。以較高的安全性的和較少的性能損失，實(shí)現(xiàn)多方數(shù)據(jù)的融合計(jì)算。廣泛應(yīng)用于多方數(shù)據(jù)聯(lián)合構(gòu)建機(jī)器學(xué)習(xí)模型的場(chǎng)景中。
3、多方安全計(jì)算：利用密碼學(xué)算法，在分散計(jì)算的基礎(chǔ)上，通過協(xié)調(diào)多個(gè)節(jié)點(diǎn)的算法、算力，實(shí)現(xiàn)了數(shù)據(jù)的可用不可見。以極高的安全性和可接受的性能損失，實(shí)現(xiàn)多方數(shù)據(jù)在密態(tài)下的聯(lián)合計(jì)算。可用于較多數(shù)據(jù)聯(lián)合計(jì)算的場(chǎng)景。
4、機(jī)密計(jì)算（MesaTEE）：利用第三方可信硬件，基于密碼學(xué)，在集中計(jì)算的基礎(chǔ)上，通過安全硬件的保護(hù)，實(shí)現(xiàn)多方數(shù)據(jù)的密態(tài)計(jì)算。是目前世界上應(yīng)用最廣泛的隱私計(jì)算引擎，廣泛應(yīng)用于保護(hù)個(gè)人隱私、商機(jī)機(jī)密等場(chǎng)景中。
目前，百度點(diǎn)石數(shù)據(jù)安全及隱私保護(hù)方案已在政務(wù)、金融、醫(yī)療、電商、教育、媒體等多個(gè)領(lǐng)域成功落地。
安全、合規(guī)是百度智能云服務(wù)客戶的基礎(chǔ)。目前，百度智能云共獲取了40+項(xiàng)國(guó)家、國(guó)際機(jī)構(gòu)認(rèn)可的資質(zhì)認(rèn)證，包括SOC1 Type2、 SOC2 Type1 、SOC2 Type2、SOC3等多項(xiàng)SOC安全審計(jì)，以及MTCS最高安全評(píng)級(jí)等國(guó)內(nèi)外安全權(quán)威機(jī)構(gòu)認(rèn)證。同時(shí)，百度智能云是國(guó)內(nèi)首家通過ISO 27032、ISO 29151、ISO 27081、ISO 27017、BS 10012認(rèn)證的云服務(wù)商。
推動(dòng)數(shù)據(jù)落地應(yīng)用
百度智能云大數(shù)據(jù)治理方案已在智慧城市、智慧金融、智慧能源、智能制造等多個(gè)領(lǐng)域落地。
北京海淀城市大腦基于百度智能云數(shù)據(jù)治理和大數(shù)據(jù)分析落地了智能運(yùn)營(yíng)指揮中心，實(shí)現(xiàn)了城管事件的智能發(fā)現(xiàn)和自動(dòng)化處理。例如，通過300余臺(tái)檢測(cè)基站，實(shí)現(xiàn)了空氣質(zhì)量實(shí)時(shí)監(jiān)測(cè)預(yù)警；將976家重點(diǎn)單位納入消防物聯(lián)網(wǎng)監(jiān)控系統(tǒng)，火災(zāi)防控和隱患處置實(shí)現(xiàn)最優(yōu)化。
中國(guó)人壽財(cái)險(xiǎn)大數(shù)據(jù)部門，將百度Sugar BI作為提升可視化界面開發(fā)效率的工具，在總公司及全國(guó)幾十個(gè)分公司集中推廣使用，實(shí)現(xiàn)了零編碼“可見即可得”地展現(xiàn)頁面開發(fā)，比原生開發(fā)的速度提升了幾十倍，應(yīng)用場(chǎng)景包括實(shí)時(shí)業(yè)績(jī)展示、理賠關(guān)鍵指標(biāo)監(jiān)控、合作伙伴地圖展現(xiàn)、系統(tǒng)運(yùn)行監(jiān)控等。
泉州水務(wù)與百度智能云合作構(gòu)建了水務(wù)數(shù)據(jù)資產(chǎn)體系，解決了水務(wù)場(chǎng)景中基于人的不安全行為和物的不穩(wěn)定狀態(tài)的監(jiān)管預(yù)警問題，同時(shí)將算法智能模型集中化管理，提升了模型復(fù)用率，實(shí)現(xiàn)了高效智能化監(jiān)管。從應(yīng)用效果看，泉州水務(wù)大腦使集團(tuán)整體人員效率提升5%以上，制水供水單位能耗下降8%，分散式污水處理設(shè)施正常運(yùn)行率提升5%。
憑借多年的技術(shù)積累和豐富的落地經(jīng)驗(yàn)，百度智能云大數(shù)據(jù)平臺(tái)產(chǎn)品和服務(wù)能力深受業(yè)界認(rèn)可。數(shù)據(jù)湖管理與分析平臺(tái)EasyDAP、托管大數(shù)據(jù)平臺(tái)BMR、數(shù)據(jù)倉(cāng)庫(kù)Palo、數(shù)據(jù)可視化Sugar BI均通過了信通院專項(xiàng)能力測(cè)評(píng)。在行業(yè)內(nèi)，數(shù)據(jù)湖管理與分析平臺(tái)EasyDAP獲2020中國(guó)國(guó)際大數(shù)據(jù)大會(huì)最佳用戶體驗(yàn)獎(jiǎng)；數(shù)據(jù)可視化Sugar BI獲2021中國(guó)國(guó)際大數(shù)據(jù)大會(huì)創(chuàng)新方案獎(jiǎng)；數(shù)據(jù)資產(chǎn)管理與運(yùn)營(yíng)平臺(tái)DAMP獲2021中國(guó)國(guó)際大數(shù)據(jù)大會(huì)應(yīng)用實(shí)踐獎(jiǎng)等，彰顯了百度智能云大數(shù)據(jù)平臺(tái)領(lǐng)先的技術(shù)能力和創(chuàng)新解決方案。
在數(shù)字經(jīng)濟(jì)浪潮下，大數(shù)據(jù)領(lǐng)域呈現(xiàn)出 4V 特性更凸顯、數(shù)據(jù)應(yīng)用場(chǎng)景更繁雜、數(shù)據(jù)安全隱患更高的趨勢(shì)。百度智能云打造的智能大數(shù)據(jù)產(chǎn)品架構(gòu)全景圖，為更多企業(yè)構(gòu)建云智一體的大數(shù)據(jù)技術(shù)與能力體系，實(shí)現(xiàn)對(duì)更大規(guī)模、更多類型、更多源數(shù)據(jù)進(jìn)行處理和應(yīng)用，全面助推企業(yè)數(shù)字化轉(zhuǎn)型。
