作者 | 蔡芳芳
采訪嘉賓 | 劉京娟、賈揚(yáng)清、王峰
作為開源大數(shù)據(jù)項(xiàng)目的發(fā)端，Hadoop 興起至今已經(jīng)超過(guò)十五年。在過(guò)去這十?dāng)?shù)年里，開源大數(shù)據(jù)領(lǐng)域飛速發(fā)展，我們見證了多元化技術(shù)的興起和變遷。
為了從代碼托管平臺(tái)匯聚的海量數(shù)據(jù)里，通過(guò)數(shù)據(jù)處理和可視化的方式，深刻洞察開源大數(shù)據(jù)技術(shù)的過(guò)去、現(xiàn)在和未來(lái)，并為企業(yè)和開發(fā)者在開源大數(shù)據(jù)技術(shù)領(lǐng)域的應(yīng)用、學(xué)習(xí)、選型和技術(shù)研發(fā)等方面提供有益參考，開放原子開源基金會(huì)、X-Lab 開放實(shí)驗(yàn)室、阿里巴巴開源委員會(huì)共同發(fā)起了「2022 開源大數(shù)據(jù)熱力報(bào)告」項(xiàng)目。
報(bào)告從 Hadoop 發(fā)展的第 10 年，即 2015 年起，收集相關(guān)公開數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，研究開源大數(shù)據(jù)進(jìn)入新階段后的技術(shù)趨勢(shì)，以及開源社區(qū)的運(yùn)作模式對(duì)技術(shù)走向的助推作用。
經(jīng)過(guò)對(duì)最活躍的 102 個(gè)開源大數(shù)據(jù)項(xiàng)目進(jìn)行研究，報(bào)告發(fā)現(xiàn)：每隔 40 個(gè)月，開源項(xiàng)目熱力值就會(huì)翻一倍，技術(shù)完成一輪更新迭代。在過(guò)去 8 年里，共發(fā)生了 5 次較大規(guī)模的技術(shù)熱力躍遷，多元化、一體化、云原生成為當(dāng)前開源大數(shù)據(jù)發(fā)展趨勢(shì)的最顯著特征。
開放原子開源基金會(huì)副秘書長(zhǎng)劉京娟表示，報(bào)告希望重點(diǎn)對(duì)如下人群有所幫助：
（1）從事大數(shù)據(jù)技術(shù)研發(fā)的企業(yè)和開發(fā)者。他們可以通過(guò)報(bào)告，了解大數(shù)據(jù)技術(shù)的發(fā)展趨勢(shì)，從而指引學(xué)習(xí)方向并提升自身的技能，從技術(shù)活躍度的角度為應(yīng)用開發(fā)的技術(shù)選型提供一定的參考。
（2）有志于為開源項(xiàng)目貢獻(xiàn)代碼的開發(fā)者。開源大數(shù)據(jù)細(xì)分領(lǐng)域眾多、百花齊放，但也存在一些相對(duì)薄弱的環(huán)節(jié)，比如數(shù)據(jù)安全和數(shù)據(jù)管理等，開發(fā)者可以從多個(gè)細(xì)分領(lǐng)域切入，幫助這些領(lǐng)域更好地發(fā)展。
（3）開源大數(shù)據(jù)項(xiàng)目的運(yùn)營(yíng)者或者維護(hù)者。他們能夠從優(yōu)秀項(xiàng)目的熱力發(fā)展趨勢(shì)中，獲取經(jīng)驗(yàn)和規(guī)律，從而用更成熟的方式運(yùn)營(yíng)開源項(xiàng)目。
對(duì)于大數(shù)據(jù)從業(yè)者們來(lái)說(shuō)，開源大數(shù)據(jù)項(xiàng)目熱力遷徙背后的技術(shù)發(fā)展邏輯是怎樣的？大家應(yīng)該如何應(yīng)對(duì)新技術(shù)趨勢(shì)帶來(lái)的挑戰(zhàn)？針對(duì)這些問(wèn)題，近日 InfoQ 與阿里巴巴集團(tuán)副總裁、阿里巴巴開源委員會(huì)主席、阿里云計(jì)算平臺(tái)事業(yè)部負(fù)責(zé)人賈揚(yáng)清，Apache Flink 中文社區(qū)發(fā)起人、阿里巴巴開源大數(shù)據(jù)平臺(tái)負(fù)責(zé)人王峰（花名莫問(wèn)）聊了聊。
用戶需求多樣化推動(dòng)技術(shù)多元化
以 Hadoop 為核心的開源大數(shù)據(jù)體系，從 2015 年開始轉(zhuǎn)變?yōu)槎嘣夹g(shù)并行發(fā)展。
一方面，原有 Hadoop 體系的產(chǎn)品迭代趨于穩(wěn)定。部分 Hadoop 生態(tài)項(xiàng)目（如 HDFS）成為其他新興技術(shù)的基礎(chǔ)依賴，一些常見的開源大數(shù)據(jù)組件組合，比如 Flink+Kafka、Spark+HDFS 等，經(jīng)過(guò)開源生態(tài)市場(chǎng)的檢驗(yàn)，比較成熟也容易上手，已經(jīng)成為相對(duì)固定的標(biāo)準(zhǔn)化選擇。
另一方面，開發(fā)者的熱情分別涌向「搜索與分析」、「流處理」、「數(shù)據(jù)可視化」、「交互式分析」、「DataOps」、「數(shù)據(jù)湖」六大技術(shù)熱點(diǎn)領(lǐng)域，每個(gè)熱點(diǎn)領(lǐng)域集中解決某個(gè)特定場(chǎng)景問(wèn)題。
報(bào)告呈現(xiàn)出的熱點(diǎn)領(lǐng)域熱力躍遷（熱力值大幅度跳變）情況與此相符：「數(shù)據(jù)可視化」在 2016 和 2021 年經(jīng)歷了兩次熱力躍遷，「搜索與分析」和「流處理」 在 2019 年熱力躍遷， 「交互式分析」和 「DataOps」從 2018 年和 2021 年經(jīng)歷了兩次熱力躍遷、 「數(shù)據(jù)湖」在 2020 年熱力躍遷。
這也呼應(yīng)了大數(shù)據(jù)應(yīng)用場(chǎng)景和規(guī)模變化的趨勢(shì)：從上層數(shù)據(jù)可視化應(yīng)用普及，到數(shù)據(jù)處理技術(shù)升級(jí)，再到數(shù)據(jù)存儲(chǔ)和管理的結(jié)構(gòu)性演變，最終，數(shù)據(jù)基礎(chǔ)設(shè)施能力的提升又反過(guò)來(lái)推動(dòng)上層應(yīng)用技術(shù)革新。
賈揚(yáng)清認(rèn)為，熱力躍遷背后體現(xiàn)了技術(shù)發(fā)展是一個(gè)螺旋上升的過(guò)程，用戶側(cè)需求推進(jìn)技術(shù)往前一步之后，就需要系統(tǒng)側(cè)再往前一步，以實(shí)現(xiàn)更好的可擴(kuò)展性、更低的成本和更高的靈活性；當(dāng)系統(tǒng)側(cè)達(dá)到了一個(gè)能夠承載更大規(guī)模數(shù)據(jù)計(jì)算處理分析的狀態(tài)，大家又會(huì)開始尋求是不是可以把用戶側(cè)或業(yè)務(wù)側(cè)的數(shù)據(jù)分析、可視化等做得更好。比如，流行的開源大數(shù)據(jù)可視化工具 Apache Superset，其背后的商業(yè)公司 Preset 最近就在 BI 方面做新的探索。
相比已經(jīng)趨于穩(wěn)定的原 Hadoop 體系，新場(chǎng)景之下，如數(shù)據(jù)治理分析、流式計(jì)算 +OLAP、數(shù)據(jù)湖等，開源大數(shù)據(jù)組件仍然在不斷推陳出新，未來(lái)存在比較多變數(shù)。
隨著這些后起的大數(shù)據(jù)開源組件越來(lái)越龐雜，開發(fā)者們駕馭開源數(shù)據(jù)平臺(tái)的難度也與日俱增。這其實(shí)給想要利用開源組件構(gòu)建企業(yè)級(jí)大數(shù)據(jù)平臺(tái)的企業(yè)帶來(lái)了相當(dāng)大的挑戰(zhàn)。
首先，大部分業(yè)務(wù)場(chǎng)景都需要多個(gè)大數(shù)據(jù)組件互相配合使用，這就要求技術(shù)團(tuán)隊(duì)同時(shí)掌握很多不同的大數(shù)據(jù)組件，并且要能融會(huì)貫通、知道如何將這些組件更好地組合到一起。但大部分中小公司或傳統(tǒng)企業(yè)并沒(méi)有足夠的大數(shù)據(jù)基礎(chǔ)人才。因此企業(yè)可能需要一個(gè)比較專業(yè)的大數(shù)據(jù)團(tuán)隊(duì)，為他們提供設(shè)計(jì)、咨詢以及指導(dǎo)，讓他們能夠把開源大數(shù)據(jù)的組件串聯(lián)在一起形成一整套解決方案。
其次，當(dāng)業(yè)務(wù)規(guī)模增大，企業(yè)對(duì)大數(shù)據(jù)平臺(tái)的穩(wěn)定性、安全性和高可用能力的要求也會(huì)隨之提高，必然會(huì)增加構(gòu)建大數(shù)據(jù)平臺(tái)的復(fù)雜性。比如系統(tǒng)出現(xiàn)問(wèn)題時(shí)，到底問(wèn)題在哪里，怎么去診斷、分析、報(bào)警，做到實(shí)時(shí)可觀測(cè)，這些配套能力都是開源大數(shù)據(jù)組件本身不具備的。這需要在開源生態(tài)上做出配套的工具或產(chǎn)品，幫助企業(yè)更好的發(fā)現(xiàn)問(wèn)題、定位問(wèn)題和解決問(wèn)題。
以上挑戰(zhàn)，在賈揚(yáng)清和王峰看來(lái)，都可以通過(guò)云上標(biāo)準(zhǔn)化產(chǎn)品在一定程度上解決掉。但從另一個(gè)角度來(lái)看，云本身其實(shí)也給大數(shù)據(jù)技術(shù)棧帶來(lái)了一些新的挑戰(zhàn)。
云原生帶來(lái)的變化和挑戰(zhàn)
報(bào)告顯示，2015 年后出現(xiàn)的新項(xiàng)目，無(wú)一例外均在云原生方向進(jìn)行了積極的技術(shù)布局。Plusar、 DolphinScheduler、JuiceFS、Celeborn、Arctic 等誕生于云原生時(shí)代的開源項(xiàng)目如雨后春筍般破土成長(zhǎng)。這些新項(xiàng)目在 2022 年的熱力值占比已經(jīng)達(dá)到 51%，其中，數(shù)據(jù)集成、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)開發(fā)與管理等領(lǐng)域都發(fā)生了非常大的項(xiàng)目更迭，新項(xiàng)目熱力值占比已經(jīng)超過(guò)了 80%。從 2020 年開始， Spark、 Kafka、Flink 等主流項(xiàng)目也陸續(xù)正式支持 Kube.NETes。
云原生趨勢(shì)下，開源大數(shù)據(jù)技術(shù)棧正處于重構(gòu)之中。其中數(shù)據(jù)集成領(lǐng)域的重構(gòu)相比其他細(xì)分領(lǐng)域走得更快一些。
隨著云端多樣化數(shù)據(jù)收集需求的爆發(fā)，以及下游數(shù)據(jù)分析邏輯的變化，數(shù)據(jù)集成從“勞動(dòng)密集型”ETL 工具演進(jìn)到靈活高效易用的“數(shù)據(jù)加工流水線”。傳統(tǒng)數(shù)據(jù)集成工具 Flume、 Camel 處于平穩(wěn)維護(hù)狀態(tài)， Sqoop 已于 2021 年從 Apache 基金會(huì)退役。與云原生結(jié)合更緊密的 Airbyte、Flink CDC、 SeaTunnel、 InLong 等項(xiàng)目飛速發(fā)展。
在報(bào)告的熱力趨勢(shì)中可以看到，云原生數(shù)據(jù)集成在 2018 年超越了傳統(tǒng)數(shù)據(jù)集成，從 2019 年開始，這一演進(jìn)歷程加速，熱力值逐年翻倍。不少新孵化的項(xiàng)目熱力值年均復(fù)合增長(zhǎng)率超過(guò) 100%，增長(zhǎng)勢(shì)頭強(qiáng)勁。
過(guò)去幾年，數(shù)據(jù)源和數(shù)據(jù)存儲(chǔ)逐步遷移到云端，更多元化的計(jì)算負(fù)載也運(yùn)行到了云端。云底座實(shí)際上改變了開源大數(shù)據(jù)的很多前提，作為這場(chǎng)變革的親歷者，王峰感觸頗深。
十多年前，王峰就參與了基于 Hadoop 做大數(shù)據(jù)開發(fā)的工作，當(dāng)時(shí)他還是比較初級(jí)的工程師，大部分工作還基于本地機(jī)器，需要考慮的問(wèn)題包括選擇什么機(jī)型、多大磁盤、磁盤大還是內(nèi)存大等。
如今，大數(shù)據(jù)的底座變成了云上的虛擬機(jī)、容器、對(duì)象存儲(chǔ)、云存儲(chǔ)，所有開源項(xiàng)目從一開始就要考慮彈性架構(gòu)、要考慮如何具備很好的可觀測(cè)性、要考慮怎么跟 Kubernetes 等云原生生態(tài)天然對(duì)接，等等，這些問(wèn)題已經(jīng)存在于大家的潛意識(shí)里，改變了很多開源項(xiàng)目在初始階段的預(yù)期。
同時(shí)在云上運(yùn)行之后，數(shù)據(jù)架構(gòu)也會(huì)發(fā)生變化。比如計(jì)算與存儲(chǔ)分離已經(jīng)成為大數(shù)據(jù)平臺(tái)的標(biāo)準(zhǔn)架構(gòu)，是現(xiàn)在大家默認(rèn)一定要考慮的問(wèn)題，因此不管是什么大數(shù)據(jù)組件（Flink、Hive、Presto 等等），在做數(shù)據(jù) Shuffle 的時(shí)候都要考慮到不能再依賴本機(jī)、不能假設(shè)會(huì)有本地磁盤，因?yàn)樵谠粕蠙C(jī)器是必定會(huì)遷移的。這就需要一個(gè)通用的 shuffle 服務(wù)來(lái)協(xié)助完成這項(xiàng)工作，把云上資源模型變化考慮進(jìn)去做自適應(yīng)地調(diào)度。前不久阿里捐獻(xiàn)給 Apache 基金會(huì)的開源項(xiàng)目 Celeborn，做的就是幫助計(jì)算引擎提升數(shù)據(jù) shuffle 性能的工作。
技術(shù)層面，云給原有的開源大數(shù)據(jù)體系帶來(lái)的挑戰(zhàn)不止于此。比如調(diào)度基礎(chǔ)，以前大家都默認(rèn)在 Hadoop 上做資源管理和調(diào)度，上云之后大家則都擁抱 Kubernetes 生態(tài)，基于 Kubernetes 來(lái)做編排和調(diào)度。但 Kubernetes 作為在線調(diào)度服務(wù)，調(diào)度大規(guī)模數(shù)據(jù)計(jì)算任務(wù)存在瓶頸，阿里內(nèi)部本身對(duì) Kubernetes 做了非常多改進(jìn)。
另外，比如云存儲(chǔ)雖然優(yōu)勢(shì)多多，但也存在傳輸帶寬、數(shù)據(jù) locality 方面的缺陷。一些后起的開源項(xiàng)目如 JuiceFS、Alluxio 等，就是為了解決云存儲(chǔ)加速的問(wèn)題而生，阿里云 EMR 上的大數(shù)據(jù)存儲(chǔ)加速服務(wù) JindoData 也在做這方面的工作。王峰表示，開源大數(shù)據(jù)體系還在不斷進(jìn)化，仍需要走一段路，才能真正與云原生徹底結(jié)合。
大數(shù)據(jù)從業(yè)者如何面向未來(lái)發(fā)展？
作為技術(shù)創(chuàng)新的實(shí)驗(yàn)場(chǎng)，云原生帶來(lái)了更靈活的資源彈性和更低的存儲(chǔ)、運(yùn)維成本，讓很多企業(yè)可以更大膽地在云上做一些嘗試，提升了大家試錯(cuò)、試新的意愿，自然也更有利于創(chuàng)新技術(shù)或軟件的成功。賈揚(yáng)清觀察到，海外有很多新軟件或新引擎會(huì)走“先吸引用戶、然后把用戶轉(zhuǎn)化為客戶”的路。在他看來(lái)，這將來(lái)在國(guó)內(nèi)可能也會(huì)成為一個(gè)趨勢(shì)，因?yàn)樵拼_實(shí)提供了一個(gè)很好的資源以及軟件分發(fā)環(huán)境。
不過(guò)云只是給了大家一把很好的錘子，如果一個(gè)人能力不強(qiáng)，用的時(shí)候也可能會(huì)砸到自己的腳。比如，由于用戶在云上獲得資源更加容易，可能就會(huì)比較隨意地進(jìn)行數(shù)據(jù)存儲(chǔ)和計(jì)算，進(jìn)而造成浪費(fèi)。因此從業(yè)務(wù)角度，云服務(wù)商與用戶其實(shí)是一體的，云服務(wù)商在大規(guī)模開源數(shù)據(jù)體系之上，需要根據(jù)企業(yè)的需求做更多數(shù)據(jù)治理方面的工作，幫助用戶用好云這把錘子，避免資源浪費(fèi)。賈揚(yáng)清表示，如何更有效地使用云平臺(tái)、云資源已經(jīng)成為企業(yè)越來(lái)越關(guān)注的需求，現(xiàn)在主要是企業(yè)級(jí)軟件在做這方面的工作，將來(lái)可能會(huì)有更多開源工具出現(xiàn)。
暢享未來(lái)的數(shù)據(jù)工程趨勢(shì)，賈揚(yáng)清認(rèn)為有三個(gè)方向是大數(shù)據(jù)從業(yè)者可以重點(diǎn)關(guān)注的。首先是云化，即用云來(lái)解決系統(tǒng)架構(gòu)的問(wèn)題，涵蓋了離線實(shí)時(shí)一體化、大數(shù)據(jù) AI 一體化、流批一體化、湖倉(cāng)一體化四個(gè)層面。現(xiàn)在不管是開源項(xiàng)目還是閉源產(chǎn)品其實(shí)都在朝著更加一體化的方向發(fā)展，F(xiàn)link 社區(qū)新的子項(xiàng)目 TableStore 也是在這個(gè)方向上做的一個(gè)探索，追根究底是為了在一定程度上降低大數(shù)據(jù)技術(shù)棧的復(fù)雜度，未來(lái)計(jì)算引擎可能也會(huì)更多地跟數(shù)據(jù)治理、數(shù)據(jù)編排工具結(jié)合成為一體化的數(shù)據(jù)解決方案。
其次是上層數(shù)據(jù)應(yīng)用會(huì)變得更加簡(jiǎn)單，從長(zhǎng)遠(yuǎn)來(lái)看，對(duì)于最終用戶，所有的數(shù)據(jù)都可以使用通用的 SQL 方式進(jìn)行分析。最后，將來(lái)會(huì)有更多的生態(tài)發(fā)展起來(lái)，無(wú)論是阿里云的 Flink、EMR 還是海外的 Databricks、Snowflake、Bigquery 都還只是工具平臺(tái)，在這些數(shù)據(jù)平臺(tái)之上需要有更多類似于 Saleforce 的企業(yè)來(lái)做出更豐富的垂直解決方案，最終形成更加繁榮的數(shù)據(jù)生態(tài)，當(dāng)然前提是數(shù)據(jù)平臺(tái)先做好標(biāo)準(zhǔn)化。
王峰同樣很看好數(shù)據(jù)生態(tài)未來(lái)的發(fā)展，尤其對(duì)于開源大數(shù)據(jù)來(lái)說(shuō)，生態(tài)更加關(guān)鍵。現(xiàn)在歐美很多數(shù)據(jù)領(lǐng)域的公司，雖然各有特色，但相互之間也能形成協(xié)同，這樣大家就會(huì)處于一個(gè)良性的競(jìng)爭(zhēng)狀態(tài)。王峰認(rèn)為，這有助于推進(jìn)各廠商的產(chǎn)品走向標(biāo)準(zhǔn)化，能夠給用戶和客戶帶來(lái)很多好處。從整個(gè)應(yīng)用市場(chǎng)的角度來(lái)說(shuō)，形成標(biāo)準(zhǔn)化之后，各方能夠比較低成本地去接入這個(gè)數(shù)據(jù)工程生態(tài)，反過(guò)來(lái)可以一起把整個(gè)市場(chǎng)蛋糕做大。
身處快速發(fā)展的數(shù)據(jù)工程領(lǐng)域，大數(shù)據(jù)從業(yè)者如何面向未來(lái)發(fā)展？將來(lái)崗位角色、職責(zé)是否會(huì)發(fā)生變化？
賈揚(yáng)清認(rèn)為，系統(tǒng)工程師、數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家這些角色未來(lái)會(huì)繼續(xù)存在。但云已經(jīng)解決了很多系統(tǒng)問(wèn)題，所以越來(lái)越多工程師角色會(huì)開始往上層業(yè)務(wù)走。偏系統(tǒng)搭建的底層工作，即系統(tǒng)工程師角色，可能會(huì)更多聚集在提供標(biāo)準(zhǔn)化服務(wù)的云數(shù)據(jù)服務(wù)商、數(shù)據(jù)引擎服務(wù)商等，其他企業(yè)則會(huì)更加關(guān)注業(yè)務(wù)本身，把人力更多投入在偏數(shù)據(jù)科學(xué)以及上層業(yè)務(wù)里，不再需要那么多系統(tǒng)工程師。這是社會(huì)分工精細(xì)化的必然結(jié)果。
對(duì)于數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師，他們的職責(zé)會(huì)更多地偏重于利用數(shù)據(jù)實(shí)現(xiàn)業(yè)務(wù)價(jià)值，包括根據(jù)業(yè)務(wù)需求做數(shù)據(jù)建模、數(shù)據(jù)治理等工作，不用再像以前一樣去解底層系統(tǒng)和運(yùn)維等問(wèn)題，因?yàn)檫@些問(wèn)題已經(jīng)被系統(tǒng)工程師、被云解得很好了。
想了解更多大數(shù)據(jù)領(lǐng)域的最新前沿技術(shù)動(dòng)態(tài)？好奇頭部企業(yè)正在實(shí)時(shí)計(jì)算、數(shù)據(jù)湖、數(shù)據(jù)治理等熱門方向做哪些探索和實(shí)踐？歡迎關(guān)注 Flink Forward Asia 2022，一場(chǎng)專屬于大數(shù)據(jù)從業(yè)者的技術(shù)盛宴！
Flink Forward Asia（簡(jiǎn)稱 FFA） 是由 Apache 官方授權(quán)、阿里云承辦的 Apache Flink 社區(qū)官方技術(shù)大會(huì)，今年將采用線上直播方式，廣大開發(fā)者足不出戶就可以在線觀看來(lái)自阿里巴巴、字節(jié)跳動(dòng)、快手、美團(tuán)、華為、Shopee、運(yùn)滿滿、米哈游、蔚來(lái)汽車、集度汽車、菜鳥、網(wǎng)易等全球 40+ 行業(yè)一線廠商，圍繞 Flink 核心技術(shù)、行業(yè)實(shí)踐、平臺(tái)建設(shè)、實(shí)時(shí)風(fēng)控、實(shí)時(shí)湖倉(cāng)、數(shù)據(jù)集成等多個(gè)時(shí)下熱門方向的技術(shù)創(chuàng)新和實(shí)踐分享。
