不久前，奇點(diǎn)云的數(shù)據(jù)云全系產(chǎn)品如期發(fā)布新一季商業(yè)化版本更新：
數(shù)據(jù)云平臺DataSimba：R4.9 LTS版發(fā)布，穩(wěn)定性全面加固，功能上新；自R4系列起架構(gòu)升級，封裝底層復(fù)雜性，支撐上層快速構(gòu)建數(shù)據(jù)模型與應(yīng)用。
數(shù)據(jù)存算引擎DataKun：R2.0發(fā)布，在安全穩(wěn)定、智能運(yùn)維、云原生、自主可控等層面均有優(yōu)化。
數(shù)據(jù)安全引擎DataBlack：R2.0發(fā)布，支持全域數(shù)據(jù)安全，內(nèi)置行業(yè)模型，開箱即用。
數(shù)據(jù)服務(wù)工具箱Simba Toolkits：SimbaTag（標(biāo)簽工廠）、SimbaMetric（指標(biāo)工廠）成為獨(dú)立版本，可搭載于企業(yè)現(xiàn)有數(shù)據(jù)平臺之上，為標(biāo)簽管理、指標(biāo)管理提效。
本文聚焦DataSimba，解讀穩(wěn)定性加固、功能上新及架構(gòu)升級。
穩(wěn)定性加固，妥妥“企業(yè)級”
LTS，即Long Term Support，長期支持版。數(shù)據(jù)云DataSimba每個(gè)R系的最后一個(gè)版本，都作為LTS版發(fā)布。相較上一個(gè)LTS版（R3.8），DataSimba R4.9及DataKun R2.0進(jìn)一步加固了穩(wěn)定性，支持高可用、高并發(fā)、高效調(diào)度、高效運(yùn)維。
“企業(yè)客戶使用DataSimba的深度和強(qiáng)度已不同以往。”奇點(diǎn)云合伙人、CTO地雷表示，“數(shù)據(jù)云必須具備足夠的穩(wěn)定性，方能保障數(shù)據(jù)全鏈路日常高效運(yùn)行，基于業(yè)務(wù)需求產(chǎn)出結(jié)果。即便遇到故障、超負(fù)荷、誤操作等情況，也能足夠皮實(shí)不崩潰，及時(shí)反饋并定位問題，甚至能提前智能化給出預(yù)警，規(guī)避對業(yè)務(wù)的影響。”
在“企業(yè)級”標(biāo)準(zhǔn)要求下，本次更新主要圍繞以下5項(xiàng)專題，開展穩(wěn)定性優(yōu)化：
1.調(diào)度更智能、更可靠
DataSimbaR4.9進(jìn)一步優(yōu)化了調(diào)度策略以及調(diào)度通訊框架，讓調(diào)度更智能，有效減少“塞車”，保障系統(tǒng)穩(wěn)定運(yùn)行。
具體而言，我們分離了業(yè)務(wù)調(diào)度和資源調(diào)度，讓彼此的職責(zé)更清晰、策略更易擴(kuò)展，并結(jié)合實(shí)際業(yè)務(wù)場景，深層優(yōu)化了通訊協(xié)議。優(yōu)化項(xiàng)包括：
·業(yè)務(wù)調(diào)度：基于任務(wù)特點(diǎn)進(jìn)行了隊(duì)列的拆分，在同一隊(duì)列下再結(jié)合優(yōu)先級、項(xiàng)目、租戶、任務(wù)數(shù)、任務(wù)配置等進(jìn)行綜合打分，從而判斷隊(duì)列分發(fā)的順序。
·資源調(diào)度：基于節(jié)點(diǎn)并發(fā)數(shù)及負(fù)載程度進(jìn)行即時(shí)的精準(zhǔn)調(diào)度，大大提升任務(wù)執(zhí)行的效率，實(shí)現(xiàn)負(fù)載均衡。
·調(diào)度通訊框架：對通訊協(xié)議以及包的大小、發(fā)送、接收策略等多維度進(jìn)行了深度優(yōu)化，整體通訊性能提升了30%以上。
2.應(yīng)用100%支持高可用
DataSimba R4.9內(nèi)所有業(yè)務(wù)應(yīng)用及中間件，均支持自動化的故障恢復(fù)與容錯(cuò)實(shí)現(xiàn)。在出現(xiàn)故障、失效等問題時(shí)，系統(tǒng)將繼續(xù)正常運(yùn)行并提供服務(wù)。
·所有的業(yè)務(wù)應(yīng)用都基于Kubernetes管理，同時(shí)支持多實(shí)例集群部署。
·包括Redis、Kafka、K3s、Nacos等在內(nèi)的所有中間件均支持高可用部署，業(yè)務(wù)代碼已全部適配完成。針對部分中間件，我們也已完成版本升級，來進(jìn)一步提升組件的可靠性和安全性。
3.全方位監(jiān)控告警
監(jiān)控告警是穩(wěn)定性重要的一環(huán)，方便事中事后快速發(fā)現(xiàn)與定位問題。DataSimba R4.9從業(yè)務(wù)、應(yīng)用、中間件、服務(wù)器等多個(gè)維度，實(shí)現(xiàn)了監(jiān)控告警全覆蓋。
·針對業(yè)務(wù)異常，依托自研的實(shí)時(shí)告警系統(tǒng)，基于業(yè)務(wù)指標(biāo)采集和規(guī)則配置，可通過郵件、短信、釘釘?shù)榷嗲辣O(jiān)控告警。
·針對運(yùn)維異常，采用現(xiàn)有成熟的告警平臺，對Java虛擬機(jī)、線程池、內(nèi)存、CPU、磁盤、網(wǎng)絡(luò)等多維度實(shí)現(xiàn)全方位的監(jiān)控與告警。
4.引擎核心組件全量壓測
在DataSimba底層，數(shù)據(jù)存算引擎DataKun也要足夠穩(wěn)定。
在本輪更新，數(shù)據(jù)存算引擎DataKun的核心組件完成全量壓測，包括YARN、HDFS、Hive、Spark等在內(nèi)的所有核心組件穩(wěn)定性及性能均得到了充分驗(yàn)證。
壓測基于DataSimba標(biāo)準(zhǔn)版的配置進(jìn)行（專業(yè)版、旗艦版性能比標(biāo)準(zhǔn)版更高）。我們采用單壓、混壓的方式對DataSimba做假設(shè)性壓測與功能驗(yàn)證。并結(jié)合壓測結(jié)果數(shù)據(jù)，對組件進(jìn)行配置調(diào)優(yōu)，進(jìn)一步提升集群的整體吞吐能力。
5.系統(tǒng)破壞性測試
為了保障系統(tǒng)在極端場景下的可用性，DataSimbaR4.9做了比R3時(shí)期更為嚴(yán)格的破壞性測試。
所謂破壞性測試，簡單來說就是當(dāng)面對異常、組件不可用等情況時(shí)，系統(tǒng)能否“穩(wěn)住”，給出正確反饋——事實(shí)上，破壞性測試不僅會考察系統(tǒng)的監(jiān)控告警能力，更考察系統(tǒng)自愈的能力及數(shù)據(jù)狀態(tài)的一致性。
在完成應(yīng)用破壞、中間件破壞、DataKun組件破壞等等多個(gè)場景的破壞性測試后，我們在本輪更新做了如下優(yōu)化：
·優(yōu)化監(jiān)控告警機(jī)制，出現(xiàn)組件異常時(shí)立即觸發(fā)通知；
·優(yōu)化前端提示，出現(xiàn)故障時(shí)直觀展現(xiàn)報(bào)錯(cuò)，便于用戶定位問題；
·增加重試策略，當(dāng)組件恢復(fù)后系統(tǒng)可以自愈運(yùn)行，減少人工干預(yù)；
·迭代任務(wù)巡檢機(jī)制，在極端情況下也能保障任務(wù)狀態(tài)的一致性。
功能上新，從容應(yīng)對復(fù)雜場景
相較于上一個(gè)LTS版本（R3.8），DataSimba R4.9 LTS共上新142項(xiàng)新功能，優(yōu)化了113項(xiàng)功能，提供了32項(xiàng)問題的修復(fù)補(bǔ)丁，并基于用戶研究進(jìn)一步迭代了交互設(shè)計(jì)。
篇幅所限，本文僅簡單介紹其中3項(xiàng)亮點(diǎn)功能，更詳盡的Release Notes可以向您的客戶成功經(jīng)理、產(chǎn)品技術(shù)顧問了解。
支持多租戶，既安全又集約
DataSimba R4.9支持多租戶，用戶可以在DataSimba的一個(gè)工作空間（Workspace）里，為多個(gè)團(tuán)隊(duì)開設(shè)租戶（Account），提供相互獨(dú)立的空間，實(shí)現(xiàn)資源隔離。
基于多租戶體系，企業(yè)的數(shù)據(jù)團(tuán)隊(duì)將以“平臺”身份服務(wù)更多部門，合理優(yōu)化資源利用，而不再出現(xiàn)多團(tuán)隊(duì)互搶資源的情況，也免去了各團(tuán)隊(duì)自行運(yùn)管數(shù)據(jù)基礎(chǔ)設(shè)施的煩惱。
為匹配多租戶體系，我們采用了雙層身份認(rèn)證、雙層權(quán)限校驗(yàn)、雙層存儲加密，來保證租戶資源的強(qiáng)邏輯隔離與數(shù)據(jù)安全。同時(shí)，通過動態(tài)的權(quán)限管控，DataSimba R4.9支持租戶間數(shù)據(jù)安全共享，而無需數(shù)據(jù)遷移成本。
Task/Job雙層混合調(diào)度，提高執(zhí)行效率及資源利用率
DataSimba R4.9采用Task/Job雙層混合調(diào)度，任務(wù)（Task）與作業(yè)（Job）級別調(diào)度互相配合，以完成任務(wù)調(diào)度及資源分配。
其中，任務(wù)（Task）負(fù)責(zé)決定任務(wù)在可用資源上的調(diào)度順序，控制任務(wù)的調(diào)度周期；作業(yè)（Job）則通過與Quota（空間域里的其中一個(gè)對象）配合，完成底層資源的調(diào)度與優(yōu)化。
在雙層混合調(diào)度體系中，我們加入了“潮汐車道”等調(diào)度策略，可由企業(yè)用戶按需選擇。例如，可以周期性調(diào)整資源，來平衡高峰期、低峰期資源的分配利用，也可以預(yù)留一定資源，確保高優(yōu)先級任務(wù)完成。
配置圖引擎，支持圖數(shù)據(jù)處理與圖算法優(yōu)化
DataSimba R4.9配置了圖引擎（Graph Engine），支持用戶通過DataSimba存儲、管理、分析大規(guī)模的圖數(shù)據(jù)，開發(fā)交互式的圖計(jì)算作業(yè)，以及處理復(fù)雜的圖算法。
以O(shè)neID場景為例，基于奇點(diǎn)云自研的“大規(guī)模多引擎混合調(diào)度技術(shù)”，我們采用了“流批圖一體”架構(gòu)——結(jié)合實(shí)時(shí)計(jì)算、離線計(jì)算、圖計(jì)算三種引擎的能力，批處理的圖計(jì)算結(jié)果對流計(jì)算的結(jié)果進(jìn)行修正，再以API的方式對外（例如對分析云產(chǎn)品）提供服務(wù)。
業(yè)內(nèi)獨(dú)家的技術(shù)架構(gòu)讓奇點(diǎn)云全域OneID方案在計(jì)算性能、復(fù)雜場景計(jì)算及可解釋性上均具優(yōu)勢。其中，圖計(jì)算的高效圖遍歷和關(guān)聯(lián)操作能力有效提高了海量多端用戶融合分析的準(zhǔn)確性。
架構(gòu)升級，讓數(shù)據(jù)模型與應(yīng)用構(gòu)建更簡單
DataSimba R4與R3系列在架構(gòu)上有極大不同。DataSimba R4.9（包括自R4.0以來的所有產(chǎn)品版本）在架構(gòu)上分為3層，自上而下分別為：
- Simba Toolkits（數(shù)據(jù)服務(wù)工具箱）：包含SimbaMetric（指標(biāo)工廠）、SimbaTag（標(biāo)簽工廠）等多種效率工具，內(nèi)置科學(xué)的數(shù)據(jù)工程方法論，幫助數(shù)據(jù)工程師提升數(shù)據(jù)資產(chǎn)研發(fā)效率。
- Simba IDE（數(shù)據(jù)云集成開發(fā)環(huán)境）：提供離線同步、實(shí)時(shí)同步、監(jiān)控告警、資產(chǎn)地圖等功能，滿足從數(shù)據(jù)集成到開發(fā)、運(yùn)維及服務(wù)等全鏈路場景。
- Simba OS（云數(shù)倉內(nèi)核）：根據(jù)“資源抽象，接口統(tǒng)一”的原則，將一系列復(fù)雜的業(yè)務(wù)對象抽象為7個(gè)域、32個(gè)對象，向上支持?jǐn)?shù)據(jù)業(yè)務(wù)。例如，“分級多域”、“多租戶”業(yè)務(wù)數(shù)據(jù)邏輯隔離能力的實(shí)現(xiàn)，就得益于空間域中的工作空間對象、項(xiàng)目對象和項(xiàng)目成員對象；又如，要實(shí)現(xiàn)一個(gè)去中心化的DAG任務(wù)調(diào)度中間層及調(diào)度實(shí)例化，則需要利用任務(wù)域中的作業(yè)對象、任務(wù)對象和實(shí)例對象。
基于全新的架構(gòu)，DataSimba以Simba OS為核心向下封裝多引擎、多依賴、多云、海量多源異構(gòu)數(shù)據(jù)等帶來的復(fù)雜性，并基于統(tǒng)一的平臺，向上（應(yīng)用層）以API的方式提供標(biāo)準(zhǔn)能力，幫助用戶簡化數(shù)據(jù)模型/應(yīng)用的研發(fā)過程。
伴隨架構(gòu)升級，整體后端服務(wù)資源消耗更少、分配更合理，一套新環(huán)境所需的最低服務(wù)資源也進(jìn)一步得到削減。
為什么要升級架構(gòu)？
越來越多企業(yè)客戶正在走向數(shù)字化深水區(qū)，數(shù)據(jù)模型、數(shù)據(jù)應(yīng)用建設(shè)的需求也越來越高頻。DT部門需要從原本“接需求”的角色向“平臺”角色轉(zhuǎn)型，向各個(gè)組織單元提供數(shù)據(jù)能力，適應(yīng)不同業(yè)務(wù)對數(shù)據(jù)使用的要求。
如果不解耦底層建設(shè)與數(shù)據(jù)業(yè)務(wù)、抽象底層能力，不僅難以快速響應(yīng)高頻的需求，重復(fù)造輪子，出現(xiàn)煙囪式建設(shè)，數(shù)據(jù)系統(tǒng)也會伴隨企業(yè)使用而不斷“加重”，擴(kuò)展能力和技術(shù)升級受限。
因此奇點(diǎn)云基于對數(shù)據(jù)全鏈路各環(huán)節(jié)的理解，及過去多年實(shí)踐的幾百個(gè)項(xiàng)目，抽象出了7個(gè)域共32個(gè)對象。詳盡準(zhǔn)確的對象加上對象之間的關(guān)聯(lián)關(guān)系，構(gòu)成了Simba OS。Simba OS以簡單、標(biāo)準(zhǔn)的RESTful API對外提供能力，從而解耦復(fù)雜的底層體系與多變的上層業(yè)務(wù)，來應(yīng)對不同環(huán)境、不同數(shù)據(jù)業(yè)務(wù)場景的需求。
地雷介紹，對象的屬性和行為可以被繼承、更新、擴(kuò)展及復(fù)用。每當(dāng)需要支持一種新的數(shù)據(jù)業(yè)務(wù)場景，DataSimba的用戶都可以像拼樂高積木一樣，基于Simba OS快速搭建數(shù)據(jù)模型/應(yīng)用，而規(guī)避底層重復(fù)建設(shè)、定義不一致、大數(shù)據(jù)引擎及IaaS對接難度高等問題。
“其實(shí)，我們的指標(biāo)工廠SimbaMetric、標(biāo)簽工廠SimbaTag、數(shù)據(jù)安全引擎DataBlack就是基于Simba OS‘搭建’出來的，與DataSimba體系天然打通，且能同步享受DataSimba底層所有的能力升級。”
目前，DataSimbaR4系列已在數(shù)十家企業(yè)級客戶得到使用，其中不乏客戶數(shù)據(jù)團(tuán)隊(duì)基于Simba OS自建數(shù)據(jù)應(yīng)用的案例。
期待成為您的理想選擇！
