11月20日，2020年“AWS CIO論壇”在深圳舉行，匯量科技（Mobvista）聯(lián)合創(chuàng)始人兼總裁曹曉歡應(yīng)邀出席論壇并發(fā)表精彩演講。曹曉歡在演講中表示，“創(chuàng)新”與“節(jié)儉”不僅是Amazon文化的重要組成部分，其實(shí)也是匯量科技從創(chuàng)立以來一直堅(jiān)持的理念，正是由于文化上的契合讓匯量科技與AWS攜手至今。多年的業(yè)務(wù)發(fā)展中，匯量科技一直在探索快速創(chuàng)新的同時如何盡可能降低成本，同樣也希望能幫助到更多企業(yè)更高效的使用云。面向未來，匯量科技將由技術(shù)創(chuàng)新者轉(zhuǎn)變?yōu)榧夹g(shù)輸出者，為客戶創(chuàng)造更多的價值。
曹曉歡介紹，“性能”和“成本”是過去幾年困擾匯量科技業(yè)務(wù)增長的兩大挑戰(zhàn)。由于匯量科技在全球市場實(shí)現(xiàn)端到端毫秒級數(shù)據(jù)延遲的同時需嚴(yán)格控制每次請求處理的服務(wù)器成本， 因此“稍有不慎就會導(dǎo)致虧損”。為了解決這兩大難題，匯量科技始終堅(jiān)持不斷創(chuàng)新，自研開發(fā)了大數(shù)據(jù)機(jī)器學(xué)習(xí)平臺MindAlpha與基于“云原生”的大型彈性集群管理平臺SpotMax。
大數(shù)據(jù)機(jī)器學(xué)習(xí)平臺成倍提升效率
如何通過端與端之間的超低延遲實(shí)現(xiàn)實(shí)時預(yù)測和個性化推薦，是匯量科技身處程序化廣告行業(yè)的第一個挑戰(zhàn)。程序化廣告要求每一個廣告請求背后均可實(shí)現(xiàn)復(fù)雜的算法預(yù)測，同時市場關(guān)注熱點(diǎn)的快速變化也要求系統(tǒng)有能力實(shí)時捕捉用戶的興趣變化，才能滿足廣告收益最大化的訴求。作為第三方平臺，匯量科技面臨著極大的數(shù)據(jù)稀疏性和維度復(fù)雜性的考驗(yàn)。
為了能夠在算法性能的優(yōu)化上具備追求極致的最大空間，匯量科技搭建了一套完善的一站式大數(shù)據(jù)機(jī)器學(xué)習(xí)平臺MindAlpha。這一平臺為匯量科技的算法工程師提供了端到端的自動化開發(fā)體驗(yàn)，能完成日均超過兩萬個的數(shù)據(jù)分析和模型訓(xùn)練作業(yè)，拓寬了產(chǎn)品運(yùn)營的能力。同時，通過進(jìn)行大規(guī)模自適應(yīng)的在線學(xué)習(xí)，匯量科技能夠釋放出50%以上的人力投入到新的更有價值的工作中。曹曉歡強(qiáng)調(diào)“讓數(shù)據(jù)流轉(zhuǎn)起來，就能讓效率成倍提升。”
擁抱“云原生”，探索極致成本管理
效率成倍提升后，快速激增的“成本”成為了匯量科技面臨的又一挑戰(zhàn)。曹曉歡坦言，隨著廣告請求數(shù)量和可觸達(dá)獨(dú)立設(shè)備的增長，匯量科技的業(yè)務(wù)需要更多的服務(wù)器算力進(jìn)行承載，原本按峰值需求采購服務(wù)器算力的模式，會導(dǎo)致峰值之外的大量算力被浪費(fèi)；而在1000億次的日均廣告請求和10億級的設(shè)備覆蓋下，平臺仍需對單次廣告請求做出毫秒級的精準(zhǔn)預(yù)估和出價回應(yīng)，同樣需要昂貴的計(jì)算集群支撐。
如何根據(jù)應(yīng)用的實(shí)際需求彈性盡可能使用便宜的算力資源，匯量科技選擇以“云原生”切入。根據(jù)云原生計(jì)算基金會的最新定義，云原生的目標(biāo)即為構(gòu)建和運(yùn)行可彈性擴(kuò)展的應(yīng)用，這與匯量科技的彈性成本需求不謀而合。基于“云原生”，匯量科技進(jìn)行了大量的創(chuàng)新，構(gòu)建了云原生大型彈性集群管理平臺SpotMax。通過SpotMax，匯量科技的單位廣告請求成本大幅降低了65%。曹曉歡坦言“離開SpotMax，匯量科技會是一家巨額虧損的企業(yè)。”
由技術(shù)創(chuàng)新者成為技術(shù)輸出者
事實(shí)上，與彼時匯量科技一樣面臨成本困擾的企業(yè)并不在少數(shù)。專業(yè)咨詢機(jī)構(gòu)RightScale的一份調(diào)研報告顯示，當(dāng)下的企業(yè)級用戶在云計(jì)算支出一項(xiàng)的浪費(fèi)高達(dá)30%-45%。
曹曉歡表示，如今大部分企業(yè)仍通過按需實(shí)例模式使用云端資源，一定程度上導(dǎo)致了用云成本過高。目前，云商有三種收費(fèi)模式：按需實(shí)例、預(yù)留實(shí)例與Spot實(shí)例，三種模式的費(fèi)用從高到低。 “SpotMax的最核心價值就是讓企業(yè)用戶更放心地使用費(fèi)用最低的Spot實(shí)例降低成本，而無需擔(dān)心穩(wěn)定性受影響。”
SpotMax可以根據(jù)用戶集群的特點(diǎn)，按照成本優(yōu)先、可用性優(yōu)先、平衡部署三種模式，自動化地在AWS全球各地的數(shù)據(jù)中心調(diào)度那些最便宜和最不可能被中斷的實(shí)例機(jī)型。SpotMax會統(tǒng)計(jì)過去中斷的歷史數(shù)據(jù)和實(shí)時分析目前的市場供需情況，來預(yù)測不穩(wěn)定的Spot實(shí)例，做到對各個可用區(qū)中的各種類型的實(shí)例機(jī)型進(jìn)行市場評分和中斷管理。如下圖顯示：綠色是評分高的可用區(qū)和實(shí)例，企業(yè)可大膽使用，紅色是評分低的可用區(qū)和實(shí)例，企業(yè)盡量不要使用。在中斷風(fēng)險增大時或收到中斷通知時通過SpotMax可提前觸發(fā)Spot實(shí)例更換 ，并確保工作負(fù)載的連續(xù)可用性。
此前SpotMax已對外實(shí)現(xiàn)商業(yè)化，服務(wù)涉及不同領(lǐng)域，包含游戲發(fā)行、程序化廣告、實(shí)時分析引擎、游戲數(shù)據(jù)分析等平臺。經(jīng)實(shí)踐，目前SpotMax可為企業(yè)客戶節(jié)省的單位成本平均在40%至65%。
曹曉歡強(qiáng)調(diào)，云原生是企業(yè)數(shù)字化轉(zhuǎn)型的必經(jīng)之路，特別是在數(shù)據(jù)爆炸性增長、云端規(guī)模和復(fù)雜度不斷提升的今天，“低成本的數(shù)據(jù)處理已經(jīng)成為了云原生的基本訴求。”因此，匯量科技下一階段的目標(biāo)是“由技術(shù)的創(chuàng)新者成為技術(shù)的輸出者”，將從互聯(lián)網(wǎng)“技術(shù)外溢”效應(yīng)的結(jié)果角度，通過技術(shù)開放，將多年來沉淀的技術(shù)能力形成面向企業(yè)需求的技術(shù)產(chǎn)品與解決方案，加速各行業(yè)在數(shù)字化時代的轉(zhuǎn)型，降低企業(yè)客戶轉(zhuǎn)型的復(fù)雜度。而SpotMax將是匯量科技 “技術(shù)外溢”的重要品牌。
