曾經(jīng)離我們很遠(yuǎn)的大數(shù)據(jù)如今已經(jīng)時(shí)刻服務(wù)于我們的日常生活,這些服務(wù)得益于大數(shù)據(jù)領(lǐng)域日益精進(jìn)的平臺服務(wù),星環(huán)科技便是其中的一員。
多年以來星環(huán)科技致力于大數(shù)據(jù)和人工智能核心平臺的產(chǎn)品研發(fā),目前,星環(huán)科技已經(jīng)與深信服企業(yè)級分布式存儲EDS達(dá)成戰(zhàn)略合作,雙方就深度兼容性、功能完整性、性能、穩(wěn)定性等方面進(jìn)行了嚴(yán)格測試,結(jié)果表明星環(huán)大數(shù)據(jù)平臺能夠完美對接EDS,雙方相互兼容且性能表現(xiàn)優(yōu)異,能夠有效降低運(yùn)維難度。
Hadoop原生的HDFS大數(shù)據(jù)存儲采用的是和計(jì)算分析平臺的融合部署,這種方式帶來了擴(kuò)容、數(shù)據(jù)互通、可靠性等方面的難題。星環(huán)科技與深信服EDS聯(lián)手,打造更強(qiáng)大的數(shù)據(jù)服務(wù)平臺,在EDS按需擴(kuò)容、多協(xié)議互通、高可靠高性能等特性的加持下,雙方將為用戶提供更完備的數(shù)據(jù)服務(wù)。
“存算分離”實(shí)現(xiàn)按需擴(kuò)容
為提高性能,Hadoop最初設(shè)計(jì)采用了計(jì)算和存儲融合的“存算一體”架構(gòu),但存儲空間的需求增長速度往往高于計(jì)算的需求增長,而擴(kuò)容的時(shí)候必須按照兩者的“波峰”去進(jìn)行擴(kuò)容,導(dǎo)致計(jì)算資源大量的過剩和浪費(fèi),存儲計(jì)算耦合也導(dǎo)致系統(tǒng)無法平滑向云過渡。
通過多年深耕,星環(huán)科技在大數(shù)據(jù)和人工智能領(lǐng)域擁有了強(qiáng)大技術(shù)優(yōu)勢,為了讓擴(kuò)容空間得到更高效的利用,星環(huán)科技通過聯(lián)手EDS以支持大數(shù)據(jù)存算分離部署,計(jì)算和存儲分別云化,實(shí)現(xiàn)資源的動態(tài)分配,按需擴(kuò)容。星環(huán)科技與深信服EDS的優(yōu)勢互補(bǔ),既保障了整體性能,也為用戶節(jié)省了擴(kuò)容成本。
多協(xié)議互通實(shí)現(xiàn)數(shù)據(jù)輕松導(dǎo)入
根據(jù)業(yè)務(wù)需求,數(shù)據(jù)往往存儲于不同平臺,極大地增加了管理難度,并且不同平臺之間的協(xié)議又各有不同,一旦涉及不同平臺之間的數(shù)據(jù)導(dǎo)入,將耗費(fèi)大量時(shí)間和精力。不同平臺存儲的重復(fù)建設(shè)也大大增加了TCO。
在星環(huán)科技與深信服EDS的通力合作下,數(shù)據(jù)平臺可以通過一套存儲實(shí)現(xiàn)CIFS、NFS、FTP、HDFS多協(xié)議互通。雙方共同構(gòu)建跨多個平臺的業(yè)務(wù)處理管線的應(yīng)用場景,幫助用戶實(shí)現(xiàn)對業(yè)務(wù)數(shù)據(jù)就地分析,數(shù)據(jù)的互通極大地提高了業(yè)務(wù)處理效率。
保障數(shù)據(jù)可靠性及整體性能
由于Hadoop本身是個開源項(xiàng)目,在數(shù)據(jù)安全方面,HDFS僅僅考慮了硬盤、服務(wù)器故障的保護(hù)機(jī)制,沒有考慮到誤刪除、病毒、硬件亞健康等其他方面帶來的可靠性隱患;在性能方面,當(dāng)文件數(shù)量到達(dá)億級別后Hadoop hdfs會出現(xiàn)嚴(yán)重的性能下降甚至更嚴(yán)重的系統(tǒng)問題。
星環(huán)科技結(jié)合深信服EDS自主研發(fā)的分布式數(shù)據(jù)庫PhxKV,滿足億級小文件規(guī)模承載且性能波動小于5%。在數(shù)據(jù)保護(hù)方面,星環(huán)科技充分結(jié)合深信服EDS的糾刪碼、快照恢復(fù)、硬盤亞健康監(jiān)測等可靠性機(jī)制,進(jìn)一步提升大數(shù)據(jù)平臺的容災(zāi)能力。用戶也可以根據(jù)業(yè)務(wù)需求自行配置糾刪碼或副本模式,最大化地實(shí)現(xiàn)可靠性與經(jīng)濟(jì)性的平衡。
隨著大數(shù)據(jù)對全行業(yè)各個領(lǐng)域的滲透,數(shù)據(jù)應(yīng)用場景變得更加豐富,數(shù)據(jù)的價(jià)值將被進(jìn)一步挖掘、放大。此次星環(huán)科技與深信服EDS的戰(zhàn)略合作,為用戶的大數(shù)據(jù)解決方案注入了更強(qiáng)大的數(shù)據(jù)整合及管理能力,未來,雙方將繼續(xù)以數(shù)據(jù)為驅(qū)動,為不同領(lǐng)域的業(yè)務(wù)持續(xù)賦能。