大數(shù)據(jù)與云計算之間有著千絲萬縷、相互推動的關(guān)系。當(dāng)前大數(shù)據(jù)時代已經(jīng)來臨，海量數(shù)據(jù)應(yīng)用的背后是云計算在做支撐，二者之間實現(xiàn)高效銜接能夠為海量數(shù)據(jù)的價值釋放奠定良好基礎(chǔ)，賦能業(yè)務(wù)創(chuàng)新。
“云原生大數(shù)據(jù)”便是以上形式的技術(shù)投影。云原生首次由 Pivotal 公司的 Matt Stine 在2013年提出。云原生（CloudNative）是一個組合詞，Cloud+Native。Cloud 表示應(yīng)用程序位于云中，而不是傳統(tǒng)的數(shù)據(jù)中心；Native 表示應(yīng)用程序從設(shè)計之初即考慮到云的環(huán)境，原生為云而設(shè)計，充分利用和發(fā)揮云平臺的彈性+分布式優(yōu)勢。云原生大數(shù)據(jù)即是大數(shù)據(jù)在設(shè)計之初，就充分考慮如何利用云的優(yōu)勢，最大限度釋放數(shù)據(jù)價值。
品高股份早在 2008 年開始自主研發(fā)，2010 年 2 月就獲得了私有云操作系統(tǒng)商用版本著作權(quán)，是一家具有深厚云基因的公司。2015 年，品高股份在面臨某省級公安多警種、省市區(qū)多層級的復(fù)雜數(shù)據(jù)生態(tài)問題時，對大數(shù)據(jù)平臺的研發(fā)有了一定的思考。結(jié)合多年的云計算自主研發(fā)經(jīng)驗、實踐經(jīng)驗和敏銳的技術(shù)趨勢研判，品高股份認為，大數(shù)據(jù)要有效釋放價值，需要解決跨層級跨行業(yè)跨領(lǐng)域的數(shù)據(jù)互聯(lián)互通問題，構(gòu)筑成熟的數(shù)據(jù)管理能力，同時結(jié)合云計算的優(yōu)勢，為數(shù)據(jù)管理和運用提供支撐。2016 年，品高云數(shù)據(jù)湖從云中應(yīng)運而生。
品高云數(shù)據(jù)湖管理平臺的云原生主要體現(xiàn)在以下幾個方面：采用存算分離架構(gòu)，通過云原生的存儲加速數(shù)據(jù)訪問，通過云原生的計算智能調(diào)度資源，通過云原生的網(wǎng)絡(luò)保障數(shù)據(jù)安全。
*品高云數(shù)據(jù)湖管理平臺（BingoInsight）是國內(nèi)首批企業(yè)級的私有云數(shù)據(jù)湖之一，是新一代的數(shù)據(jù)匯聚、共享、交換、開放平臺。
云原生大數(shù)據(jù)，加速釋放數(shù)據(jù)價值
從share Nothing到share Storage
品高云數(shù)據(jù)湖采用存算分離架構(gòu)，使用基于 S3 標(biāo)準(zhǔn)協(xié)議的云原生對象存儲承載大規(guī)模數(shù)據(jù)存儲，計算層無狀態(tài)。相較基于 Hadoop 架構(gòu)的數(shù)據(jù)湖，品高云數(shù)據(jù)湖存儲計算分別可按需擴展，具有無縫對接 Hadoop/Spark/MPP 等異構(gòu)計算引擎、計算資源可回收、彈性計算、更低成本等優(yōu)勢。
借助云技術(shù)加速數(shù)據(jù)存儲訪問
- 數(shù)據(jù)路由加速
基于 SDN 軟件定義網(wǎng)絡(luò)技術(shù)在網(wǎng)絡(luò)層解決數(shù)據(jù)智能路由，數(shù)據(jù)訪問時可就近落盤訪問，縮短 I/O 路徑，減少上行的數(shù)據(jù)復(fù)制包，解決了存算分離架構(gòu)下的 I/O 延時及性能損耗等問題。
- 分布式內(nèi)存加速
通過分布式內(nèi)存技術(shù)，自動緩存訪問熱點數(shù)據(jù)，大幅提高訪問速度。
- 高性能并發(fā)加速
基于底層云平臺 DPDK + SDN 架構(gòu)，將計算節(jié)點的數(shù)據(jù)轉(zhuǎn)發(fā)層進行多核并行的架構(gòu)改造，提升整體云數(shù)據(jù)湖大數(shù)據(jù)計算集群網(wǎng)絡(luò)轉(zhuǎn)發(fā)性能，同時提供兼容 POSIX 標(biāo)準(zhǔn)封裝 Socket 網(wǎng)絡(luò)開發(fā)組件，對負載均衡、數(shù)據(jù)緩存等服務(wù)進行優(yōu)化改造，實現(xiàn)關(guān)鍵網(wǎng)絡(luò)服務(wù)的性能提升，在云中提供的純軟件負載均衡服務(wù)每秒請求數(shù)可達 150 萬，最大并發(fā)連接數(shù)可達 500 萬。
云技術(shù)助力開放性、輕量級數(shù)據(jù)計算
- 多范式開放性計算
品高云數(shù)據(jù)湖存儲使用標(biāo)準(zhǔn) S3 協(xié)議，可無縫對接離線計算、實時流計算、交互式分析、AI 計算等多范式計算引擎，支持外部表直連訪問，外部表支持映射不同的分區(qū)文件，靈活滿足不同數(shù)據(jù)處理需求，提升數(shù)據(jù)共享的使用效率，構(gòu)建“一份數(shù)據(jù)，多種計算”，跨部門、跨層級復(fù)雜生態(tài)的異構(gòu)計算引擎可快速對接，同時在新計算技術(shù)引進或者更替時無需遷移數(shù)據(jù)。
- 輕量級函數(shù)計算
品高云數(shù)據(jù)湖基于輕量級、多編程語言上下文環(huán)境保證的容器沙盒，實現(xiàn)兼容 AWS 標(biāo)準(zhǔn)的多租戶 Lambda 云函數(shù)，以數(shù)據(jù)湖多維感知的全鏈路事件驅(qū)動，構(gòu)建云數(shù)據(jù)湖的內(nèi)生數(shù)據(jù)計算處理引擎。支持數(shù)據(jù)定義 DDL 、數(shù)據(jù)管理 DML 等事件，如數(shù)據(jù)寫入事件、數(shù)據(jù)更新事件、數(shù)據(jù)刪除事件等，用戶可根據(jù)業(yè)務(wù)場景訂閱并設(shè)置規(guī)則觸發(fā)云函數(shù)，數(shù)據(jù)湖內(nèi)置常見圖像識別、OCR 識別、實體提取等函數(shù)，同時支持用戶上傳自定義函數(shù)，支持 java、c/c++、python 等編程語言，實現(xiàn)敏捷化、輕量級數(shù)據(jù)處理。
云原生混合調(diào)度，屏蔽底層資源差異，合理化分配資源
- 異構(gòu)資源統(tǒng)一管理調(diào)度，以最佳資源配置提供服務(wù)
針對大數(shù)據(jù)異構(gòu)計算資源調(diào)度高效能交付場景，根據(jù)大數(shù)據(jù)異構(gòu)計算引擎的資源需求差異化特性，品高云研究異構(gòu)資源的統(tǒng)一管控與調(diào)度技術(shù)，根據(jù)物理區(qū)域、業(yè)務(wù)區(qū)域、安全區(qū)域劃分數(shù)據(jù)計算可用區(qū)，在同一可用區(qū)內(nèi)，服務(wù)支持運行在虛擬機、容器、裸金屬等不同資源形態(tài)，支持 GPU、NPU、FPGA 等加速設(shè)備資源化交付。在預(yù)設(shè)的異構(gòu)大數(shù)據(jù)計算引擎場景中，可優(yōu)先提供最佳的資源配置。
- 多芯協(xié)同調(diào)度
國內(nèi)各芯片廠商發(fā)展百花齊放，各芯片所擅長領(lǐng)域亦各有千秋。在此背景下，各集團型企業(yè)和單位可能存在多種芯片同時提供服務(wù)，甚至可能存在集團企業(yè)和其下屬子公司所使用的芯片不同的情況。品高云數(shù)據(jù)湖通過屏蔽底層異構(gòu)計算引擎差異，根據(jù)客戶使用場景調(diào)度合適的芯片提供計算服務(wù)，不同廠商芯片協(xié)同向上支撐應(yīng)用，避免了技術(shù)鎖定和產(chǎn)能不足等潛在業(yè)務(wù)風(fēng)險。
- 彈性伸縮以高效利用資源
借助存算分離架構(gòu)，計算實現(xiàn)無狀態(tài)，數(shù)據(jù)計算可根據(jù)用戶自定義業(yè)務(wù)規(guī)則自動伸縮，支持多租戶計算資源隔離和動態(tài)調(diào)度。
通過SDN保障數(shù)據(jù)安全
品高云數(shù)據(jù)湖引入數(shù)據(jù)沙箱機制，將代碼與代碼運行所需要的數(shù)據(jù)和環(huán)境變量解耦，根據(jù)代碼的運行環(huán)境，自動關(guān)聯(lián)所需要的數(shù)據(jù)和環(huán)境變量。并通過 SDN 隔離敏感數(shù)據(jù)，在云網(wǎng)絡(luò)層面判斷訪問的客戶端 IP、訪問協(xié)議、訪問端口是否有可訪問權(quán)限；對于高敏感度數(shù)據(jù)，可用子網(wǎng)絡(luò)再次進行隔離，多方面多層級保障數(shù)據(jù)安全。
新技術(shù)協(xié)同共融共生
通過云計算與大數(shù)據(jù)的融合，可以發(fā)揮出指數(shù)增長的價值優(yōu)勢。未來，各技術(shù)交叉融合必然是大勢所趨，我們將始終保持開放中立的態(tài)度，以推動產(chǎn)業(yè)發(fā)展為目標(biāo)，積極探索創(chuàng)新融合，為行業(yè)客戶發(fā)展賦能。
