“只要有足夠多的眼睛,就可以讓所有問題浮出水面。”
在開源社區(qū),以開源理念的發(fā)起者之一、Linux創(chuàng)始人林納斯·托瓦茲名字來命名的林納斯定律為不少開發(fā)者所共鳴。也正是這種共創(chuàng)共享的精神內(nèi)核,讓開源自1988年發(fā)展至今,并逐步成為全球IT軟件的重要組成。
根據(jù)全球最大開源代碼托管平臺 GitHub 年度報(bào)告數(shù)據(jù)顯示,截至 2019 年 GitHub 托管倉庫已有 1.4 億,2019 年新增倉庫 400 萬個(gè),創(chuàng)建第一個(gè)項(xiàng)目的用戶比 2018 年增加44%,130 萬開發(fā)者對開源做出首次貢獻(xiàn)。SourceClear 調(diào)查報(bào)告指出開源項(xiàng)目已呈現(xiàn)指數(shù)級增長趨勢,2026 年預(yù)計(jì)超過 3 億。
在騰訊云,也有這樣一支專門面向開源的小分隊(duì):他們深耕云計(jì)算的最根本技術(shù)之一——虛擬化,并始終以擁抱開源、回饋開源作為使命。
10月29日,在全球虛擬化頂級技術(shù)峰會(huì)KVM Forum上,2020年全球企業(yè)KVM開源貢獻(xiàn)榜正式公布,騰訊云再度榮登該榜,其中兩項(xiàng)技術(shù)方案被評為KVM2020年度核心突破。騰訊云因此也成為國內(nèi)唯一連續(xù)四次登榜的云服務(wù)商。
騰訊云兩項(xiàng)技術(shù)方案獲評KVM2020年度核心突破
不止于此,騰訊云目前在KVM開源社區(qū)已貢獻(xiàn)超過170個(gè)patch,超過20個(gè)技術(shù)特性,其中8個(gè)被評為KVM年度核心突破,貢獻(xiàn)國內(nèi)排名第一。也正因?yàn)樵陂_源領(lǐng)域的突出貢獻(xiàn),騰訊云已經(jīng)累計(jì)7次受邀在KVM Forum發(fā)表演講。
團(tuán)隊(duì)成員說:“之前中國人一直被開源社區(qū)詬病,認(rèn)為中國人總索取,不貢獻(xiàn)。我們希望用行動(dòng)說話,為開源社區(qū)貢獻(xiàn)真正硬核的好東西,慢慢改變開源社區(qū)對中國的偏見。”
探索無人區(qū)
KVM是當(dāng)前云計(jì)算中計(jì)算虛擬化的主流技術(shù)。云服務(wù)商通過KVM對物理服務(wù)器進(jìn)行虛擬化后生產(chǎn)出云服務(wù)器,用戶就能從虛擬資源池中按需購買不同規(guī)格的云服務(wù)器產(chǎn)品,進(jìn)而獲取對應(yīng)的計(jì)算能力。
然而,當(dāng)時(shí)間回流至2013年,KVM卻并不是云計(jì)算的“真命天子”。
彼時(shí),騰訊云剛剛從服務(wù)騰訊開放平臺上的合作伙伴升級為面向社會(huì)全面開放。騰訊云虛擬化技術(shù)團(tuán)隊(duì)正在思考,采用什么樣的技術(shù)棧,能夠保障好更大規(guī)模云上用戶業(yè)務(wù)安全性、連續(xù)性和穩(wěn)定性。
業(yè)界當(dāng)時(shí)最主流的虛擬化技術(shù)是Xen,由劍橋大學(xué)開發(fā)。不管其他云服務(wù)商,還是騰訊內(nèi)部,Xen都是計(jì)算虛擬化的不二之選。可是,Xen的痛點(diǎn)在于,代碼過于復(fù)雜,當(dāng)規(guī)模達(dá)到一定程度后,出問題的幾率倍增,且難以把控,最終極有可能給云上用戶帶來損失。
KVM更像是后起之秀。代碼簡單清晰,從原理上分析相對Xen具有更好的技術(shù)前瞻性。但問題是,它僅有一個(gè)初級的社區(qū)開源版本,而尚未作為一個(gè)主流的技術(shù)棧為業(yè)界所驗(yàn)證。
是跟隨主流還是探索無人區(qū),需要技術(shù)團(tuán)隊(duì)迅速做出抉擇。
經(jīng)過充分的探討,騰訊云虛擬化技術(shù)團(tuán)隊(duì)的選擇是KVM。“面對產(chǎn)業(yè)數(shù)字化的契機(jī),云計(jì)算作為產(chǎn)業(yè)互聯(lián)網(wǎng)的底層基石,未來一定有巨大的成長空間。Xen大概率不能滿足未來大規(guī)模應(yīng)用場景下的技術(shù)需要,探索KVM雖然相對來說更加艱難,但這是一條必由之路。”騰訊云資深虛擬化技術(shù)專家馬文霜回憶起當(dāng)時(shí)的決策過程。
但為了穩(wěn)妥,團(tuán)隊(duì)最開始還只是拿出5%的機(jī)器作為KVM的技術(shù)試驗(yàn)場,小步快跑。
試驗(yàn)總會(huì)充滿波折。很快,團(tuán)隊(duì)就經(jīng)歷了一次面積較大的KVM 虛擬機(jī)宕機(jī)事故。好在經(jīng)過周密的檢查,發(fā)現(xiàn)這個(gè)事故源自于KVM 開源版本里一個(gè)小錯(cuò)誤,改掉就可以恢復(fù)正常。
隨后的過程雖然也是問題不斷,但經(jīng)過團(tuán)隊(duì)的努力,一個(gè)個(gè)難關(guān)逐步被攻克。團(tuán)隊(duì)的技術(shù)也在不斷進(jìn)化,包括重構(gòu)了整套技術(shù)邏輯,以及研究出基于KVM的熱升級技術(shù),能夠在用戶無感知的前提下,快速處理一些底層故障。
技術(shù)團(tuán)隊(duì)合影
這至少證明了,KVM這條技術(shù)路線能走通。2014年起,騰訊云云服務(wù)器CVM已全部基于KVM技術(shù)生產(chǎn)。
值得一提的是,2015年,其他云服務(wù)商因?yàn)楦惺艿?Xen 的局限性,也開始將虛擬化技術(shù)從 Xen 切換到 KVM。此時(shí),騰訊云在KVM技術(shù)棧上已經(jīng)積累兩年。
從開源中來,到開源中去
獨(dú)行快,眾行遠(yuǎn)。
KVM運(yùn)轉(zhuǎn)起來不代表一勞永逸。初級開源版本沒有經(jīng)過集群驗(yàn)證和海量業(yè)務(wù)測試,也不能把所有代碼路徑跑到。在真正的業(yè)務(wù)應(yīng)用過程中,需要踩的坑超出想象。
如何在踩坑中讓KVM快速成熟起來?騰訊云虛擬化技術(shù)團(tuán)隊(duì)的答案是開源——借助騰訊的場景把KVM用起來,發(fā)現(xiàn)和解決問題,然后把方案開源,從而帶動(dòng)更多開發(fā)者關(guān)注,更多人發(fā)現(xiàn)問題,更多人解決問題,最終實(shí)現(xiàn)KVM技術(shù)演進(jìn)的利益共享……
2014年底,一個(gè)棘手的問題浮現(xiàn)出來。一些大型游戲客戶在使用KVM生產(chǎn)出來的云服務(wù)器時(shí),經(jīng)常出現(xiàn)CPU占用率高,抖動(dòng)很大的情況,用戶能感到明顯的掉幀。
看代碼,復(fù)現(xiàn)問題,技術(shù)團(tuán)隊(duì)發(fā)現(xiàn)了中間的規(guī)律——游戲類業(yè)務(wù)需要關(guān)聯(lián)KVM底層的定時(shí)器,游戲人數(shù)達(dá)到一定量的時(shí)候,因?yàn)橐恍┰驎?huì)導(dǎo)致定時(shí)器異常。同時(shí),技術(shù)團(tuán)隊(duì)發(fā)現(xiàn),出現(xiàn)這個(gè)問題是因?yàn)镵VM架構(gòu)中時(shí)間戳計(jì)數(shù)器的邏輯有bug。技術(shù)團(tuán)隊(duì)采取現(xiàn)網(wǎng)修復(fù)的方式解決了這個(gè)問題。
問題得到解決后,技術(shù)團(tuán)隊(duì)迅速將bug解決的過程寫成一個(gè)patch提交給社區(qū),經(jīng)過一系列嚴(yán)格評估,官方認(rèn)可了由騰訊云團(tuán)隊(duì)貢獻(xiàn)的第一個(gè)patch。
KVM社區(qū)確認(rèn)騰訊云首個(gè)patch貢獻(xiàn)的郵件
后來,類似的貢獻(xiàn)還有,KVM架構(gòu)中irq路由表的bug修復(fù),解決大存儲高負(fù)載的場景中虛擬機(jī)出現(xiàn)惡性宕機(jī)……
2015年,更大的挑戰(zhàn)爆發(fā)。因?yàn)閮?nèi)存存在批次性質(zhì)量缺陷,基于KVM生產(chǎn)的云服務(wù)器故障率飆升。廠商的解決方案是更換內(nèi)存,但換內(nèi)存意味著物理服務(wù)器需要關(guān)機(jī)重啟。這對于客戶尤其是大量的游戲客戶來說,顯然無法接受。
能不能把虛擬機(jī)環(huán)境在運(yùn)行態(tài)中直接搬遷至健康的服務(wù)器上?KVM架構(gòu)中的熱遷移技術(shù)設(shè)想給了技術(shù)團(tuán)隊(duì)啟發(fā)。可是問題在于,這個(gè)技術(shù)存在較大的環(huán)境依賴,需要結(jié)合業(yè)務(wù)負(fù)載、硬件代次等一系列復(fù)雜的因素做技術(shù)優(yōu)化,而且沒有實(shí)踐先例。
“沒有退路可言,只有死磕。”如今的騰訊云虛擬化技術(shù)負(fù)責(zé)人陳立東,這樣形容當(dāng)時(shí)的壓力。
沒日沒夜的幾天里,技術(shù)團(tuán)隊(duì)不斷研究熱遷移的技術(shù)原理,從提升遷移成功率和服務(wù)可用性兩個(gè)維度推理技術(shù)方案。終于,在解決了幾個(gè)關(guān)鍵技術(shù)卡點(diǎn)后,團(tuán)隊(duì)終于找到了一種能夠?qū)崿F(xiàn)的方案。騰訊云也因此成為第一個(gè)大規(guī)模運(yùn)用熱遷移技術(shù),解決硬件批次性故障的云廠商。
衍生問題隨之而來。這個(gè)可能會(huì)為騰訊云帶來至少一定時(shí)間內(nèi)競爭優(yōu)勢的技術(shù)方案,是否還要第一時(shí)間開源?團(tuán)隊(duì)出現(xiàn)了一些分歧的聲音。
“開源應(yīng)該是一種一以貫之的思想。如果我們這次的熱遷移技術(shù)方案不開源,也許能夠獲得一時(shí)的競爭優(yōu)勢,但這就會(huì)讓我們一直倡導(dǎo)的開源價(jià)值被摧毀,這并不利于KVM技術(shù)的長遠(yuǎn)發(fā)展。”在騰訊云副總裁劉穎的開導(dǎo)下,技術(shù)團(tuán)隊(duì)很快達(dá)成一致,將熱遷移技術(shù)方案貢獻(xiàn)到社區(qū)。
這個(gè)突破性的貢獻(xiàn)也為騰訊云在社區(qū)贏得了廣泛贊譽(yù)。隨后的2017年,憑借在這一領(lǐng)域的持續(xù)貢獻(xiàn),騰訊云受邀在KVM Forum上發(fā)表主題演講,這也是國內(nèi)云廠商代表中的首次。
成立專門團(tuán)隊(duì)
2016年底,李萬鵬加入騰訊云,身份是高級工程師。這個(gè)職責(zé)需要承擔(dān)大量的業(yè)務(wù)開發(fā)工作。
因?yàn)閷﹂_源有著狂熱愛好,他每天早上五點(diǎn)起床,利用上班前的時(shí)間和周末以及節(jié)假日的時(shí)間研究KVM開源相關(guān)的項(xiàng)目。
“本職工作的壓力還是很大,為了避免耽誤工作,只能抽業(yè)余時(shí)間做一些bugfix的工作,雖然價(jià)值相對低一點(diǎn),但也算是對愛好的一種保持吧,這就是騰訊的‘工程師文化’。”與李萬鵬保持相同愛好的還有幾位同事。
無心插柳柳成蔭。李萬鵬和幾個(gè)同事在業(yè)余愛好上的堅(jiān)持,卻讓騰訊云在2017年第一次登上了KVM全球企業(yè)開源貢獻(xiàn)榜,這也是榜單上首次出現(xiàn)中國云服務(wù)商身影。
2017年,騰訊云首次登上KVM全球企業(yè)開源貢獻(xiàn)榜
登榜的消息很快傳到了騰訊公司高級執(zhí)行副總裁湯道生那里,他對團(tuán)隊(duì)提出了表揚(yáng)和鼓勵(lì)。
做出影響力,并得到了領(lǐng)導(dǎo)的肯定,也讓技術(shù)團(tuán)隊(duì)更加堅(jiān)定,在開源領(lǐng)域的持續(xù)投入很值得。“從自身角度而言能提升騰訊云的技術(shù)影響力,往大的價(jià)值上說也是推動(dòng)技術(shù)進(jìn)步的一個(gè)很好的方式。尤其是對KVM這樣一個(gè)云計(jì)算的關(guān)鍵技術(shù),騰訊云應(yīng)該有這樣的擔(dān)當(dāng)。”
這樣的想法得到了支持。領(lǐng)導(dǎo)決定,成立一個(gè)專注開源的虛擬團(tuán)隊(duì),虛擬團(tuán)隊(duì)成員日常工作量減半,留下精力更好地投入到KVM開源方面的工作當(dāng)中。
“虛擬化和內(nèi)核的研究還是有很高的門檻,要想在開源這個(gè)領(lǐng)域做出成績,需要更多的人力投入。之前業(yè)余時(shí)間做,更多就是研究怎么修復(fù)bug,成立一個(gè)專門的團(tuán)隊(duì),大家有機(jī)會(huì)攻克一些關(guān)鍵特性。”李萬鵬說。
2018年開始,騰訊云陸續(xù)向社區(qū)貢獻(xiàn)技術(shù)特性。
那一年,騰訊云提出的PV TLB shootdown、PV IPI方案,對TLB刷新以及IPI進(jìn)行優(yōu)化,這些方案能夠提升大規(guī)格配置虛擬機(jī)的性能,降低虛擬化層損耗,使得部分應(yīng)用場景性能提升達(dá)到130%~150%,被列入了當(dāng)年核心突破。
2018年,騰訊云提交的貢獻(xiàn)被列為核心突破
2019年,騰訊云Yield IPI、C-state MSRs、Exitless Timers方案再次對IPI和Timer進(jìn)行進(jìn)一步優(yōu)化,3個(gè)方案再次被評為2019年度核心突破。值得一提的是,2019年騰訊云還推出35ms內(nèi)啟動(dòng)一臺虛擬機(jī)的輕量級虛擬化技術(shù),創(chuàng)造了業(yè)界目前能最快啟動(dòng)一臺虛擬機(jī)的記錄。
2019年,李萬鵬受邀參加KVM大會(huì)演講
團(tuán)隊(duì)也吸引了越來越多的人加入,同樣熱愛開源的李海偉就是其中之一。
“業(yè)界做開源通常都是零散的組織,像騰訊云一樣專門有虛擬團(tuán)隊(duì)的并不多,這正是吸引我的原因。 ”李海偉表示,專門的組織最大的好處是能夠建立好的氛圍,成員傳幫帶,大家的視野也可以更廣,而且能有比較充裕的時(shí)間和精力去做一些高價(jià)值的技術(shù)突破。
2019年8月,這個(gè)組織更進(jìn)一步。騰訊云產(chǎn)品團(tuán)隊(duì)的架構(gòu)調(diào)整時(shí)一封專門的郵件,將李萬鵬、李海偉等劃在了一個(gè)部門,部門職責(zé)是:1.將經(jīng)過業(yè)務(wù)實(shí)踐驗(yàn)證的技術(shù)方案持續(xù)貢獻(xiàn)到社區(qū);2.將社區(qū)里好的技術(shù)特性落地到業(yè)務(wù)中實(shí)踐驗(yàn)證;3.探索KVM技術(shù)新方向和難點(diǎn)問題的攻堅(jiān)……
自此,KVM開源團(tuán)隊(duì),成為了一個(gè)全職部門。
瞄準(zhǔn)行業(yè)最痛的問題
2020年,針對IPI(處理器中斷)和Timer(定時(shí)器)這兩個(gè)業(yè)務(wù)場景中出現(xiàn)頻次最多、性能影響最大以及最難克服的難題,騰訊云提出了快速處理的框架, 繞過虛擬化開銷,使得IPI和Timer處理的性能提升分別有30%和16.5%,再次被評為年度KVM核心突破。
除此之外,針對大規(guī)格虛擬機(jī)(多CPU和大內(nèi)存)場景中性能下降明顯的問題,騰訊云經(jīng)過深入研究和探索,自主設(shè)計(jì)了完全支持CPU并行化的vMMU方案,克服了KVM原有設(shè)計(jì)中CPU執(zhí)行被迫串行化帶來的性能損失,實(shí)現(xiàn)了虛擬機(jī)內(nèi)存管理機(jī)制的架構(gòu)升級。目前,該方案已經(jīng)在騰訊云穩(wěn)定運(yùn)行,并已經(jīng)貢獻(xiàn)給開源社區(qū)。
另外,針對操作系統(tǒng)中元數(shù)據(jù)對內(nèi)存資源占用過高的問題,騰訊云設(shè)計(jì)了全新的文件系統(tǒng)Dmemfs(Direct Memory File System), 可以直接管理部分系統(tǒng)預(yù)留的虛擬機(jī)內(nèi)存服務(wù),提高系統(tǒng)的資源利用率降低平臺成本。這個(gè)方案不僅提高了系統(tǒng)的資源利用率, 能夠降低平臺成本并最終讓利于用戶,同時(shí)也給系統(tǒng)開銷降低提供了一種新的思路。目前,這一方案也被貢獻(xiàn)到了開源社區(qū)。
“騰訊云現(xiàn)階段在KVM開源方面聚焦的就是行業(yè)最痛點(diǎn)的問題,一方面通過持續(xù)創(chuàng)新解決騰訊云線上遇到的各種挑戰(zhàn)并將產(chǎn)出反饋給社區(qū),另一方面探索云計(jì)算領(lǐng)域的新技術(shù),做好前沿技術(shù)的預(yù)演和積累,堅(jiān)定不移地持續(xù)為虛擬化開源社區(qū)做出貢獻(xiàn)。”陳立東表示。
另一個(gè)更大范圍的數(shù)據(jù)是,截至2020年3月,騰訊共對外開源110個(gè)項(xiàng)目,包含騰訊云、微信、大數(shù)據(jù)、游戲、AI、安全等領(lǐng)域,并覆蓋所有BG(事業(yè)群)。
騰訊累計(jì)在GitHub獲得了約32萬Star(代表項(xiàng)目受歡迎程度),在GitHub全球開源企業(yè)Star數(shù)排名中位居全球前十。目前,騰訊已加入Linux、Apache等9大開源基金會(huì),深度合作成為最高級別會(huì)員,并向開源基金會(huì)捐贈(zèng)多個(gè)優(yōu)質(zhì)開源項(xiàng)目。
“生于開源,長于企業(yè),反哺開源,騰訊云希望實(shí)現(xiàn)這個(gè)良性循環(huán)。”劉穎說。
