Curve社區(qū)簽署阿里巴巴開(kāi)源CLA(Contribution License Agreement, 貢獻(xiàn)許可協(xié)議), 正式與阿里云PolarDB 開(kāi)源數(shù)據(jù)庫(kù)社區(qū)牽手，成為繼 CurveFS 發(fā)布之后，Curve 開(kāi)源項(xiàng)目發(fā)展的又一里程碑。
在3月2日的開(kāi)源 PolarDB 企業(yè)級(jí)架構(gòu)發(fā)布會(huì)上，阿里云對(duì) PolarDB for PostgreSQL 的存儲(chǔ)計(jì)算分離等架構(gòu)設(shè)計(jì)進(jìn)行了全面解讀，作為 PolarDB 技術(shù)合作伙伴，Curve 為 PolarDB for PostgreSQL 提供分布式共享存儲(chǔ)，其強(qiáng)大的性能表現(xiàn)引發(fā)了社區(qū)的注意。
這也表明，作為網(wǎng)易數(shù)帆自研開(kāi)源的第二款基礎(chǔ)軟件產(chǎn)品，Curve 正朝著高性能、易運(yùn)維、全場(chǎng)景支持的云原生軟件定義存儲(chǔ)系統(tǒng)這一目標(biāo)穩(wěn)步演進(jìn)。
打造性能最強(qiáng)開(kāi)源分布式共享存儲(chǔ)
作為一款云原生分布式數(shù)據(jù)庫(kù)產(chǎn)品，PolarDB for PostgreSQL 采用基于共享存儲(chǔ)（Shared-Storage）的存算分離架構(gòu)，以大幅提升資源利用率與性能，實(shí)現(xiàn)快速?gòu)椥詰?yīng)對(duì)突發(fā)業(yè)務(wù)負(fù)載的場(chǎng)景。數(shù)據(jù)存于“遠(yuǎn)端存儲(chǔ)”的 Shared-Storage 共享方式，利于彈性的同時(shí)，也帶來(lái)了網(wǎng)絡(luò)和共享存儲(chǔ)的挑戰(zhàn)，因而必須突破 I/O 限制以確保業(yè)務(wù)所需的性能。
在 On-Premise（本地部署）環(huán)境下，開(kāi)源存儲(chǔ)是首選，然而能滿足數(shù)據(jù)庫(kù)性能需求的開(kāi)源存儲(chǔ)并不多。“我們嘗試過(guò)多款（開(kāi)源存儲(chǔ)）軟件作為分布式共享存儲(chǔ)，Curve 的測(cè)試結(jié)果讓我們眼前一亮。”PolarDB for PostgreSQL 研發(fā)負(fù)責(zé)人明虛表示。
Curve 當(dāng)前由 CurveBS 和 CurveFS 兩個(gè)子項(xiàng)目構(gòu)成，分別提供塊存儲(chǔ)和文件存儲(chǔ)兩種能力。用做共享存儲(chǔ)的正是 CurveBS，開(kāi)源之初 CurveBS 就提供了遠(yuǎn)優(yōu)于某主流開(kāi)源分布式塊存儲(chǔ)的性能，經(jīng)過(guò)社區(qū)一年多的的迭代，CurveBS 性能和穩(wěn)定性愈發(fā)成熟。
在 Curve 社區(qū)和 PolarDB 社區(qū)針對(duì) PolarDB for PostgreSQL 場(chǎng)景的聯(lián)合測(cè)試中，無(wú)論 benchmarkSQL 還是pgbench，Curve 再次全面領(lǐng)先于該開(kāi)源分布式塊存儲(chǔ)。同等硬件配置及數(shù)據(jù)庫(kù)負(fù)載壓力下，benchmarkSQL 測(cè)試中 Curve tpmC （每分鐘事務(wù)數(shù)）領(lǐng)先高達(dá) 39%，pgbench 測(cè)試中 Curve 延遲降低多達(dá) 21%，TPS 領(lǐng)先高達(dá) 26%。
Curve 的高性能得益于其采用了 chunkfilepool、條帶化設(shè)計(jì)、Raft 等先進(jìn)的技術(shù)架構(gòu)。chunkfilepool 支持集群初始化時(shí)創(chuàng)建指定大小的文件，降低 I/O 過(guò)程中文件元數(shù)據(jù)更新的開(kāi)銷，從而降低 I/O 延遲。條帶化設(shè)計(jì)則支持在 Curve 客戶端進(jìn)行分片，以提高 I/O 的并發(fā)度和打散度，讓更多節(jié)點(diǎn)參與 I/O 處理，提升 I/O 帶寬。而 Raft 一致性實(shí)現(xiàn)相對(duì)前述開(kāi)源存儲(chǔ)系統(tǒng)的強(qiáng)一致性來(lái)說(shuō)，也縮短了長(zhǎng)尾效應(yīng)，因而縮短了 I/O 時(shí)延。
此外，Curve 通過(guò)支持 PFS（PolarDB的分布式文件系統(tǒng)），使得云原生數(shù)據(jù)庫(kù)更容易使用 Curve 分布式存儲(chǔ)，并獲取更好的性能。
未來(lái)，Curve 社區(qū)還將從 braft 的 multi raft 改進(jìn)、大 I/O 的性能優(yōu)化、RDMA、io_uring 等方面著手，繼續(xù)性能優(yōu)化的工作。
踐行開(kāi)源云原生軟件定義存儲(chǔ)
對(duì) PolarDB for PostgreSQL 的良好支持，也體現(xiàn)了 Curve 對(duì)承載云原生工作負(fù)載的態(tài)度和進(jìn)展。在當(dāng)前數(shù)字化轉(zhuǎn)型背景下，越來(lái)越多的企業(yè)通過(guò)軟件重新定義了自己，云原生則是強(qiáng)化企業(yè)軟件能力的重要武器——根據(jù) CNCF 2020 全球云原生市場(chǎng)調(diào)查，該項(xiàng)技術(shù)已被 92% 受訪者在生產(chǎn)中使用。
在存儲(chǔ)基礎(chǔ)設(shè)施層，Curve 社區(qū)認(rèn)為，不同于傳統(tǒng)云存儲(chǔ)資源的黑盒，云原生存儲(chǔ)上一切存儲(chǔ)資源應(yīng)該都是白盒，所有云原生應(yīng)用都可以不做修改無(wú)縫使用。
基于此，云原生存儲(chǔ)對(duì)上層云原生應(yīng)用提供無(wú)縫的業(yè)務(wù)接口（POSIX接口、塊存儲(chǔ)接口、對(duì)象存儲(chǔ)接口、HDFS接口等等），對(duì)下層云操作系統(tǒng)屏蔽云存儲(chǔ)資源細(xì)節(jié)，對(duì)云原生應(yīng)用的開(kāi)發(fā)運(yùn)維人員提供自定義存儲(chǔ)類型、存儲(chǔ)資源池（跨云）、數(shù)據(jù)生命周期管理、數(shù)據(jù)可靠性可用性策略等等。
在 Curve Roadmap 中可以看到，這個(gè)開(kāi)源社區(qū)正往這些方向努力。例如，支持云原生部署、運(yùn)維、使用，已經(jīng)是 Curve 的一個(gè)關(guān)鍵特性。事實(shí)上，Curve 架構(gòu)簡(jiǎn)單、運(yùn)維部署靈活的特點(diǎn)，也是其吸引 PolarDB 的又一重要因素。
