據(jù)IDC數(shù)據(jù)統(tǒng)計，2022年中國大數(shù)據(jù)市場總體IT投資規(guī)模約170億美元，并在2026年增至364.9億美元，實現(xiàn)規(guī)模翻倍，與全球總規(guī)模相比，中國市場在五年預(yù)測期內(nèi)占比持續(xù)增高。湖倉一體作為核心數(shù)據(jù)管理架構(gòu)，將對企業(yè)的海量多模數(shù)據(jù)管理和價值挖掘產(chǎn)生重要影響。
在數(shù)字化轉(zhuǎn)型加速的當(dāng)下，數(shù)據(jù)已成為企業(yè)最核心的資產(chǎn)之一，因為它既是高效生產(chǎn)的基礎(chǔ)，又是經(jīng)營決策的重要依據(jù)。在此背景下，金山云基于自身在存儲方面十多年的積淀，升級了對象存儲KS3-HDFS數(shù)據(jù)湖存儲服務(wù)。KS3-HDFS服務(wù)是一款基于對象存儲的數(shù)據(jù)湖訪問加速產(chǎn)品，兼容HDFS協(xié)議，能夠提供統(tǒng)一元數(shù)據(jù)管理能力，主要面向大數(shù)據(jù)生態(tài)等高吞吐、低延時計算分析場景，提供存儲加速服務(wù)，解決用戶在大數(shù)據(jù)場景下的本地存儲成本過高、資源耦合、彈性不足等痛點。
除原有的S3協(xié)議外，KS3-HDFS數(shù)據(jù)湖存儲還支持HDFS協(xié)議。這樣一來，用戶無需對現(xiàn)有的大數(shù)據(jù)分析應(yīng)用做任何修改，即可像在原生HDFS中那樣管理和訪問數(shù)據(jù)。在支持常見目錄語義的基礎(chǔ)上，KS3-HDFS數(shù)據(jù)湖存儲還優(yōu)化了常見讀操作List、Head，使得訪問帶寬全面提速，單鏈接可達(dá)100MB/s。
基于KS3自身彈性，金山云HDFS數(shù)據(jù)湖存儲服務(wù)還解決了HDFS彈性不足、成本高和資源利用率低這3大問題，能夠?qū)崿F(xiàn)計算資源和彈性資源分別擴容，在極大降低存儲成本的同時，提升資源利用率。更重要的是，KS3-HDFS數(shù)據(jù)湖存儲服務(wù)通過Bucket配置，即開即用，以SDK的形式進行服務(wù)端訪問，可自動擴展、冗余備份，可保證服務(wù)的可持續(xù)和數(shù)據(jù)安全。
在數(shù)據(jù)湖構(gòu)建場景下，開放的數(shù)據(jù)湖需要對接各種計算引擎，且會面臨計算資源與存儲資源擴容速度不匹配、存儲系統(tǒng)需對接多數(shù)據(jù)源的問題，而借助KS3-HDFS，便可支持多數(shù)據(jù)源、多計算引擎能力，進而實現(xiàn)計算存儲分離，保證計算業(yè)務(wù)的訪問性能。
面向離線分析場景，KS3-HDFS服務(wù)原生支持文件、目錄語義和操作，支持目錄原子性、毫秒級rename操作，適用于開源Hive、Spark離線數(shù)倉。
在交互查詢分析場景下，通過數(shù)據(jù)、元數(shù)據(jù)加速等加速能力，實現(xiàn)不低于本地HDFS的性能，滿足Presto/Trino等交互分析場景低延遲高吞吐要求。
金山云對象存儲KS3-HDFS數(shù)據(jù)湖存儲服務(wù)是基于對客戶業(yè)務(wù)場景的深入洞察而推出的，能夠滿足用戶提升資源利用率這一需求，助力企業(yè)進一步降本增效。
截至目前，金山云已經(jīng)具備豐富和完善的存儲產(chǎn)品矩陣，包括對象存儲、歸檔存儲、塊存儲、文件存儲等，可針對不同業(yè)務(wù)場景，提供高可靠、低成本、安全的存儲服務(wù)。公司也將基于自身的深厚積累，持續(xù)為客戶提供更全能、性價比更高的存儲服務(wù)，助力垂直行業(yè)釋放數(shù)據(jù)價值。
