在9月16日召開的“2022 OSCAR開源產業大會”上,中國信息通信研究院發布了一系列開源研究成果和開源表彰,網易數帆發起的開源項目Apache Kyuubi榮獲“OSCAR尖峰開源項目及開源社區”,有數大數據基礎平臺NDH榮獲“OSCAR尖峰開源技術創新(二次開發)”。
此外,網易數帆發起的云原生開源項目Slime和Curve分別獲得了“可信開源社區共同體(TWOS)”和“TWOS 銀河計劃成員”的授牌。
“OSCAR開源尖峰案例”評選旨在為開源產業發展立標桿、樹典范,已開展多年,可謂中國開源領域的奧斯卡,可信開源社區則致力于推動開源社區發展和落地應用。網易數帆獲得權威評選的認可,再次證明了公司構建的開放式大數據架構的先進性,及踐行“架構開放,內核開源”理念的決心。
Apache Kyuubi:社區成熟,畢業可期
Kyuubi作為一個封裝SparkSQL的服務誕生,將多租戶、高可用和分布式等企業級特性引入開源大數據的世界,因其實用性受到了社區用戶的關注。2021年6月,Kyuubi項目進入Apache軟件基金會孵化,并在Apache Way的指引下實現了更快的發展速度。依托本身的架構設計,Apache Kyuubi快速迭代,在Spark之外完成了Flink 、Trino(Presto)、Hive 等主流計算框架的支持,成為一個面向Serverless SQL on Lakehouse的服務,支持更加豐富的大數據場景應用,并被網易、阿里云、騰訊云、小米、華泰證券、廣發證券、丁香園、eBay、T3出行、攜程、愛奇藝、嗶哩嗶哩、womply、Houzz、kt NexR等國內外近百家企業采用。
在網易數帆的開放式大數據架構中,Apache Kyuubi被視為統一SQL網關,用以屏蔽整個體系中不同存儲、計算/查詢引擎的差異,為數據中臺提供支撐。
Apache Kyuubi的演進得益于社區的成熟,經過不到15個月的孵化,社區已經擁有93位代碼貢獻者,其中來自網易外部的貢獻者占比超過了80%,充分體現了社區驅動的力量。最近,Apache Kyuubi被中國開源軟件推進聯盟主編的《2022中國開源發展藍皮書》和InfoQ研究院編撰的《中國開源發展研究分析2022》列為中國開源大數據基礎設施的代表。而今,在整個社區堅持不懈的努力下,Kyuubi從Apache基金會畢業可期,成為基金會頂級項目的目標不再遙遠。
對于Apache Kyuubi的項目表現和社區發展態勢,OSCAR評委專家均給予高度認可。
NDH:我左Spark,右Impala,Kyuubi在上面
作為一款企業級大數據基礎平臺,網易數帆有數大數據基礎平臺NDH的核心特點,一是兼容并增強Hadoop體系組件,二是完全自主掌握核心代碼,這對于企業從原有大數據平臺平滑遷移、滿足自主可控要求來說都很重要。更為重要的是,有數大數據基礎平臺NDH基于最新開源技術打造,在業務支撐能力及性能上有更加出色的表現。
有數大數據基礎平臺NDH內置多種存儲計算引擎,并在Hadoop、Spark、Impala等多個核心組件做了功能及性能增強(例如在Impala上實現虛擬數倉特性),還新增了智能運維和任務治理能力,支持企業級安全管控。這些能力的增強正是大規模生產落地的結晶,獲得了評委專家的肯定。
有數大數據基礎平臺NDH原本作為網易數帆數據中臺的底座提供,因市場需求,于今年6月作為單獨的產品發布,此舉也曾引發業界熱議——網易數帆為何進軍這門“不好的生意”。然而,這款產品在Impala和Kyuubi方面的積累和優勢讓從業者印象深刻。目前,有數大數據基礎平臺NDH已應用于銀行、證券、流通、制造等行業三百多家企業客戶生產環境。
Slime和Curve:持續完善開源云原生基礎設施
Apache Kyuubi和有數大數據基礎平臺NDH是網易數帆開放式大數據架構的開源項目和商業產品代表,Slime和Curve則是網易數帆開源云原生基礎設施的兩大支柱,分別填補了服務網格智能管理和國產高性能云原生存儲的空白。因其生態定位、架構設計的獨特性以及社區發展前景,Slime社區和Curve社區分別受邀成為可信開源社區共同體(TWOS)成員和TWOS 銀河計劃成員,針對項目質量、社區發展、商業模式等話題加強開源社區之間的交流協作,不僅完善開源云原生基礎設施生態,也助推國內開源產業健康、快速發展。
未來,網易數帆將繼續秉承開放式思維擁抱開源,以扎實的產品實力和先進的技術實力為后盾,團結社區合作伙伴,持續為開源生態建設貢獻力量。