作為云計算的下一個迭代，Serverless 可以使開發(fā)者更專注于構(gòu)建產(chǎn)品中的應(yīng)用，而無需考慮底層堆棧問題。伴隨著近年來相關(guān)技術(shù)成熟度的增加，市場對 Serverless 的接受程度也變得越來越高。可以說時至今日，Serverless 已邁入了向成熟穩(wěn)定方向發(fā)展的高速軌道。
作為一款火山引擎推出的云原生數(shù)據(jù)倉庫，ByteHouse 基于開源 ClickHouse 構(gòu)建，并在字節(jié)跳動內(nèi)外部場景的檢驗下，對 OLAP 引擎能力、性能、運維、架構(gòu)進一步升級。除此之外，ByteHouse 也在 Serverless 方向探索，基于 cloud-native 云原生的理念構(gòu)建了全新一代的數(shù)據(jù)倉庫，架構(gòu)上進行了三層解耦，期望在 Serverless 的加持下，提供更穩(wěn)定、可靠、可信的分析服務(wù)，讓開發(fā)人員時間精力從基礎(chǔ)設(shè)施運維優(yōu)化上解放，更聚焦在核心業(yè)務(wù)功能中。
然而，在 OLAP 領(lǐng)域的 Serverless 技術(shù)實現(xiàn)上，仍然存在一些技術(shù)難點。
OLAP 數(shù)據(jù)分析涉及到存儲、網(wǎng)絡(luò)、操作系統(tǒng)、數(shù)據(jù)庫、AI 等 IT 領(lǐng)域幾乎全棧的技術(shù)點，需要廠商做持續(xù)的、高成本的研發(fā)投入。而且這些投入短期內(nèi)難見市場回報，一旦中途停頓則意味著前期的投入全都“打水漂”。
其次，雖然已經(jīng)有幾款商用的 Serverless 架構(gòu)的數(shù)據(jù)倉庫，但是其提供的算力規(guī)模很難支撐中大型規(guī)模的數(shù)據(jù)倉庫或者分析平臺的需求。也就是說，Serverless 架構(gòu)的數(shù)據(jù)倉庫還需要在算力上做進一步的提升。
Serverless 的規(guī)模化應(yīng)用還面臨服務(wù)標準化的問題。沒有標準化的規(guī)范會導(dǎo)致用戶被平臺鎖定，無法實現(xiàn)應(yīng)用的平移、無縫搬遷。因此，為了推動 Serverless 的規(guī)模化應(yīng)用，需要有與之配套的標準和規(guī)范體系。
為了更好解決以上難點，火山引擎ByteHouse逐步向 Serverless 架構(gòu)演進，并針對存儲層、中間層以及云服務(wù)層進行三層架構(gòu)解耦。
ByteHouse向 Serverless演進的技術(shù)架構(gòu)
在存儲層的設(shè)計中，ByteHouse實現(xiàn)了Serverless化、彈性伸縮、容量無限擴展。為提升存算分離架構(gòu)下的性能問題，ByteHouse針對HDFS語義優(yōu)化，讓帶寬僅增加10%的情況下，延遲減少3倍，并在網(wǎng)絡(luò)通信上， 采用連接復(fù)用、RDMA、傳輸壓縮等技術(shù)，大幅緩解了網(wǎng)絡(luò)放大問題。
在中間層，ByteHouse通過按讀寫進行隔離、按應(yīng)用類別進行隔離等方式實現(xiàn)負載隔離，在滿足用戶基本需求的情況下，實現(xiàn)架構(gòu)逐步向Serverless演進。
在上層的cloud services 云服務(wù)層，ByteHouse提供集中化的catalog 元數(shù)據(jù)服務(wù)、集群管理服務(wù)等，讓元數(shù)據(jù)從計算層解耦，實現(xiàn)了無狀態(tài)化，獲得秒級的彈性伸縮和啟停能力。
Serverless 在 OLAP 領(lǐng)域的應(yīng)用依然面臨一些挑戰(zhàn)，但隨著技術(shù)的不斷演進和迭代，標準化的規(guī)范體系的建立和完善，ByteHouse將持續(xù)探索和應(yīng)用Serverless架構(gòu)優(yōu)勢，為行業(yè)和用戶提供更優(yōu)質(zhì)的數(shù)據(jù)分析服務(wù)。(作者：楊博帆)
