當(dāng)前,在全球企業(yè)“上云”浪潮熱度不減的背景下,企業(yè)紛紛將目光聚焦智能升級(jí),衍生數(shù)據(jù)量因此面臨爆發(fā)式增長(zhǎng),對(duì)數(shù)據(jù)處理、人工智能等業(yè)務(wù)需求也日趨迫切。新的議題由此浮出水面:在云端,企業(yè)如何能夠在充分利用云計(jì)算特性的同時(shí),實(shí)現(xiàn)高效的大數(shù)據(jù)分析、計(jì)算、并充分挖掘建立數(shù)據(jù)的智能模型?
近日,Mobvista匯量科技的新一代大數(shù)據(jù)智能平臺(tái) EnginePlus攜手華為云,實(shí)現(xiàn)產(chǎn)品技術(shù)層面的深度集成,從而賦能更多云端用戶、助力其業(yè)務(wù)增長(zhǎng)。
▲EnginePlus與華為云實(shí)現(xiàn)深度集成
技術(shù)深度集成 為用戶提供一站式服務(wù)
據(jù)了解,EnginePlus將大數(shù)據(jù)與云計(jì)算、人工智能等信息技術(shù)融合創(chuàng)新,實(shí)現(xiàn)了數(shù)據(jù)攝入、數(shù)據(jù)計(jì)算、模型訓(xùn)練、在線預(yù)測(cè)的一站式閉環(huán);而華為云則將華為30多年在ICT領(lǐng)域的技術(shù)積累和產(chǎn)品解決方案開放給客戶,致力于提供穩(wěn)定可靠、安全可信、可持續(xù)創(chuàng)新的云服務(wù)。
此次合作中,EnginePlus 與華為云進(jìn)行了深度集成,包括在華為云 CCE 容器引擎之上構(gòu)建的彈性統(tǒng)一計(jì)算引擎,在華為云 OBS 對(duì)象存儲(chǔ)之上構(gòu)建的湖倉(cāng)一體數(shù)據(jù)框架 StarLake,以及在離線統(tǒng)一的 MindAlpha AI 框架。
EnginePlus 在華為云上實(shí)現(xiàn)了高彈性、高性能、計(jì)算存儲(chǔ)分離的架構(gòu),并能夠?qū)崿F(xiàn)便捷、快速的部署。牽手華為云后,EnginePlus 將以其云原生、一站式數(shù)據(jù)智能的服務(wù),賦能華為云全球客戶,為其提供從數(shù)據(jù)分析到智能模型決策的一站式服務(wù)。
EnginePlus:大數(shù)據(jù) + AI + 云原生
記者了解到,EnginePlus聚焦大數(shù)據(jù) + AI + 云原生的“三板斧”,為客戶提供面向多種業(yè)務(wù)場(chǎng)景的實(shí)時(shí)數(shù)據(jù)湖框架 StarLake、機(jī)器學(xué)習(xí)框架 MindAlpha 等自主研發(fā)的開源工具,并能夠與 Spark 計(jì)算框架深度集成,從而賦能客戶實(shí)現(xiàn)更加高效便捷的數(shù)據(jù)智能升級(jí)。
· 自研數(shù)據(jù)湖框架 StarLake
據(jù)介紹,云原生的數(shù)據(jù)分析架構(gòu),經(jīng)歷了從傳統(tǒng)數(shù)倉(cāng),到數(shù)據(jù)湖,再到湖倉(cāng)一體的演進(jìn)。EnginePlus團(tuán)隊(duì)就此進(jìn)行了最前沿的數(shù)據(jù)分析架構(gòu)實(shí)踐,自研并開源了數(shù)據(jù)湖框架 StarLake,實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的實(shí)時(shí)攝入和更新,高效構(gòu)建湖倉(cāng)一體化分析平臺(tái)。
相比開源同類數(shù)據(jù)湖框架,StarLake 具有行列 upsert 功能、高并發(fā)入湖、元數(shù)據(jù)管理強(qiáng)拓展性、對(duì)象儲(chǔ)存 IO 性能深度優(yōu)化等特點(diǎn),能夠幫助開發(fā)者更好地面對(duì)上云和數(shù)據(jù)處理過(guò)程中的挑戰(zhàn)。
同時(shí),EnginePlus 整合了云原生計(jì)算平臺(tái) Spark on K8s,能提供極速資源伸縮,滿足企業(yè)超大規(guī)模數(shù)據(jù)請(qǐng)求與高效彈性的需求。此外,StarLake還可無(wú)縫對(duì)接匯量科技自研的開源機(jī)器學(xué)習(xí)框架 MindAlpha ,對(duì)數(shù)據(jù)進(jìn)行人工智能建模。
·自研機(jī)器學(xué)習(xí)框架MindAlpha
除了數(shù)據(jù)湖外,對(duì)數(shù)據(jù)進(jìn)行人工智能建模,更是挖掘數(shù)據(jù)背后價(jià)值、賦能業(yè)務(wù)的一條重要途徑。
EnginePlus團(tuán)隊(duì)自研并開源了機(jī)器學(xué)習(xí)框架 MindAlpha,能夠輕松處理超大規(guī)模離散特征,并與 EnginePlus 平臺(tái)之上的 Spark on k8s、StarLake 無(wú)縫結(jié)合,提供數(shù)據(jù)智能升級(jí)的一體化服務(wù)和一站式的高效體驗(yàn)。
據(jù)悉,MindAlpha 的開源 Parameter Server SDK 支持千億級(jí)大規(guī)模稀疏離散特征,與PyTorch、Spark MLLib 無(wú)縫銜接,特征處理與模型推理邏輯和參數(shù)能全自動(dòng)導(dǎo)出至線上 Serving 服務(wù)。其實(shí)時(shí)特征達(dá)到毫秒級(jí)延遲水平,真正做到實(shí)時(shí)反饋,快速捕捉用戶行為。
同時(shí),其高性能在線 Serving 能進(jìn)行模型橫向切分,支持萬(wàn)億參數(shù),具有低延遲、自動(dòng)彈性伸縮的特性,能進(jìn)行CPU、GPU 異構(gòu)混布調(diào)度和負(fù)載均衡。
·云原生:無(wú)縫適配 高效部署
據(jù)了解,云原生架構(gòu)具備高性能、高可擴(kuò)展、一致性、符合標(biāo)準(zhǔn)、容錯(cuò)、易于管理和多云支持等特性,EnginePlus基于云原生架構(gòu),在計(jì)算存儲(chǔ)分離的背景下,能針對(duì)對(duì)象存儲(chǔ)系統(tǒng)專門優(yōu)化,其所有組件也均可實(shí)現(xiàn)彈性伸縮。
對(duì)于華為云用戶來(lái)說(shuō),EnginePlus能夠無(wú)縫適配華為云的使用環(huán)境、支持一鍵快速部署,可有效提升企業(yè)效率、大幅度降低企業(yè)構(gòu)建系統(tǒng)和運(yùn)維的成本。
打造“SaaS工具生態(tài)” 賦能更多企業(yè)
據(jù)了解,2019 年,Mobvista匯量科技提出“SaaS 工具生態(tài)”戰(zhàn)略:通過(guò)構(gòu)建更完善的產(chǎn)品矩陣,覆蓋開發(fā)者由小到大發(fā)展過(guò)程中,從統(tǒng)計(jì)分析、用戶增長(zhǎng)和商業(yè)化到云成本優(yōu)化等不同階段的核心場(chǎng)景。脫胎于匯量科技自身業(yè)務(wù)實(shí)踐的EnginePlus,作為“SaaS 工具生態(tài)”的重要組成部分,也將與華為云共享“技術(shù)外溢”成果,從而賦能更多用戶,助力企業(yè)的數(shù)字化轉(zhuǎn)型之路。
