“如果你拷問數(shù)據(jù)到一定程度，它會(huì)坦白一切。”這是1991年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)的獲得者、新制度經(jīng)濟(jì)學(xué)的鼻祖羅納德·哈里·科斯（Ronald H Coase）的經(jīng)典名言。
當(dāng)下，以數(shù)字化、網(wǎng)絡(luò)化、智能化為主要特征的第四次工業(yè)革命蓬勃興起，人工智能、區(qū)塊鏈、云計(jì)算、物聯(lián)網(wǎng)等信息技術(shù)飛速發(fā)展，數(shù)據(jù)作為新的生產(chǎn)要素已成為推動(dòng)全球經(jīng)濟(jì)發(fā)展的新動(dòng)能，而數(shù)據(jù)所引發(fā)的生產(chǎn)要素變革，將進(jìn)一步重塑我們的生產(chǎn)、需求、供應(yīng)、消費(fèi)，乃至社會(huì)的組織運(yùn)行方式等。IDC數(shù)據(jù)顯示，2018至2025年全球數(shù)據(jù)圈將從33ZB增至175ZB。其中，隨著聯(lián)網(wǎng)人口持續(xù)上升，視頻監(jiān)控等基礎(chǔ)設(shè)施不斷普及，中國(guó)數(shù)據(jù)圈增速最為迅猛，預(yù)計(jì)到2025年將增至48.6ZB，占全球數(shù)據(jù)圈的27.8％，成為全球最大的數(shù)據(jù)圈。
數(shù)字經(jīng)濟(jì)的發(fā)展及業(yè)態(tài)創(chuàng)新本質(zhì)上是基于數(shù)據(jù)信息的價(jià)值創(chuàng)造。未來(lái)，作為企業(yè)的核心戰(zhàn)略資產(chǎn)，數(shù)據(jù)將全面參與企業(yè)運(yùn)營(yíng)，促進(jìn)企業(yè)的資源整合能力，決定企業(yè)的數(shù)智化進(jìn)程。在時(shí)代浪潮面前，深挖數(shù)據(jù)價(jià)值，釋放數(shù)據(jù)潛能，將是企業(yè)乘勢(shì)而上，推動(dòng)業(yè)務(wù)升級(jí)和產(chǎn)品創(chuàng)新，積極搶抓發(fā)展紅利的重要路徑。
需求為先深挖數(shù)據(jù)價(jià)值
我們都知道，數(shù)據(jù)的價(jià)值并不是數(shù)據(jù)本身，而是數(shù)據(jù)背后所隱藏的、對(duì)業(yè)務(wù)有影響的信息和知識(shí)。想要提取數(shù)據(jù)中蘊(yùn)含的價(jià)值，就需要將數(shù)據(jù)與生產(chǎn)資料相結(jié)合，形成價(jià)值產(chǎn)出，融入企業(yè)的價(jià)值創(chuàng)造，推動(dòng)產(chǎn)業(yè)升級(jí)和轉(zhuǎn)型。當(dāng)下，隨著大數(shù)據(jù)產(chǎn)業(yè)的繁榮發(fā)展，企業(yè)對(duì)數(shù)據(jù)資產(chǎn)管理和運(yùn)用的需求也進(jìn)一步升級(jí)，最初的整合底層數(shù)據(jù)以輔助決策的做法已無(wú)法滿足企業(yè)發(fā)展需要，已經(jīng)開始進(jìn)階到打造全流程式的大數(shù)據(jù)平臺(tái)，以實(shí)現(xiàn)數(shù)據(jù)價(jià)值變現(xiàn)的新階段。
青云科技作為一家技術(shù)領(lǐng)先的企業(yè)級(jí)云服務(wù)商和數(shù)字化解決方案提供商，堅(jiān)持從客戶需求出發(fā)，自2014年以來(lái)陸續(xù)推出近30款數(shù)據(jù)產(chǎn)品和服務(wù)，同時(shí)集成優(yōu)秀合作伙伴的應(yīng)用，形成了包括數(shù)據(jù)庫(kù)與緩存、消息隊(duì)列與中間件、大數(shù)據(jù)服務(wù)、數(shù)據(jù)倉(cāng)庫(kù)與BI、對(duì)象存儲(chǔ)的數(shù)據(jù)產(chǎn)品生態(tài)。近日，為了滿足企業(yè)逐漸升級(jí)的數(shù)據(jù)價(jià)值提取和實(shí)時(shí)數(shù)據(jù)處理需求，打通大數(shù)據(jù)全鏈路，青云整合已有的數(shù)據(jù)產(chǎn)品和服務(wù)，重磅推出了青云大數(shù)據(jù)工作臺(tái)。
大數(shù)據(jù)工作臺(tái)是青云近30款數(shù)據(jù)產(chǎn)品和服務(wù)的“集大成者”，不但可以降低企業(yè)應(yīng)用大數(shù)據(jù)的門檻，讓非技術(shù)人員也能進(jìn)行大數(shù)據(jù)分析，還可以在不同云平臺(tái)之間實(shí)現(xiàn)數(shù)據(jù)的快速流轉(zhuǎn)、統(tǒng)一調(diào)度和計(jì)算，消除企業(yè)“數(shù)據(jù)孤島”，深挖數(shù)據(jù)價(jià)值，提升整體洞察能力。
青云QingCloud大數(shù)據(jù)產(chǎn)品經(jīng)理劉雄風(fēng)表示：“青云大數(shù)據(jù)工作臺(tái)具有數(shù)據(jù)集成、數(shù)據(jù)加工、統(tǒng)一存儲(chǔ)和服務(wù)等功能，具有開箱即用、彈性擴(kuò)容、存算分離、開放兼容、安全可靠、生態(tài)整合六大優(yōu)勢(shì)，能夠應(yīng)對(duì)豐富的大數(shù)據(jù)業(yè)務(wù)場(chǎng)景，實(shí)現(xiàn)高效的數(shù)據(jù)同步服務(wù)、全生命周期數(shù)據(jù)開發(fā)與治理，并且可以基于云原生的架構(gòu)，進(jìn)行容器化部署，為用戶提供更加全面和優(yōu)質(zhì)的服務(wù)。”
技術(shù)為用打通大數(shù)據(jù)全鏈路
青云大數(shù)據(jù)工作臺(tái)可以適應(yīng)目前企業(yè)多樣化的數(shù)字化轉(zhuǎn)型需求，滿足大數(shù)據(jù)全鏈路場(chǎng)景需求。一方面，青云大數(shù)據(jù)工作臺(tái)可依托青云公有云提供的天然Demo和快速反饋更新能力，便捷地更新迭代產(chǎn)品；另一方面，青云大數(shù)據(jù)工作臺(tái)基于云原生架構(gòu)開發(fā)，可以兼容不同容器平臺(tái)進(jìn)行獨(dú)立部署，在保持彈性計(jì)費(fèi)和靈活擴(kuò)縮容等云優(yōu)勢(shì)的同時(shí)，還能夠保障服務(wù)的高可用和數(shù)據(jù)的高可靠，具備企業(yè)級(jí)的性能和特性。
從整體架構(gòu)來(lái)看，青云大數(shù)據(jù)工作臺(tái)底層為云原生架構(gòu)，并以Flink流批一體的計(jì)算引擎為基礎(chǔ)，在支持容器化部署的同時(shí)，兼容多種計(jì)算引擎為一體的計(jì)算資源服務(wù)。此外，青云大數(shù)據(jù)工作臺(tái)還提供全生命周期的數(shù)據(jù)開發(fā)服務(wù)和高效的數(shù)據(jù)同步服務(wù)，能夠兼容結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)、增量和全量的同步。通過向?qū)降臄?shù)據(jù)集成，青云大數(shù)據(jù)工作臺(tái)支持可視化數(shù)據(jù)加工、調(diào)度管理、資源管理、網(wǎng)絡(luò)管理等多種場(chǎng)景，能夠幫助客戶應(yīng)對(duì)BI商業(yè)智能分析、用戶畫像、增長(zhǎng)分析和數(shù)據(jù)大屏等豐富的業(yè)務(wù)場(chǎng)景。
目前，青云大數(shù)據(jù)工作臺(tái)已經(jīng)上線1.0版本，具備“數(shù)據(jù)上云、數(shù)據(jù)開發(fā)、數(shù)據(jù)同步、作業(yè)運(yùn)維調(diào)度、引擎資源管理”五大功能。
在數(shù)據(jù)上云功能中，青云大數(shù)據(jù)工作臺(tái)能夠提供本地?cái)?shù)據(jù)源的上云服務(wù)，支持MySQL、PostgreSQL、Kafka、S3、ClickHouse、HBase、HDFS、FTP共8種數(shù)據(jù)源，可將數(shù)據(jù)安全地同步到云端，在云端完成計(jì)算，充分解放企業(yè)的服務(wù)器壓力。此外，青云大數(shù)據(jù)工作臺(tái)還支持連接串模式數(shù)據(jù)源的創(chuàng)建，能夠?qū)尤氲臄?shù)據(jù)源進(jìn)行列表展示和管理。
在數(shù)據(jù)開發(fā)功能中，企業(yè)可以通過青云大數(shù)據(jù)工作臺(tái)在云上大數(shù)據(jù)開發(fā)環(huán)境中執(zhí)行實(shí)時(shí)數(shù)據(jù)處理、離線批量處理等數(shù)據(jù)加工任務(wù)，并根據(jù)自身業(yè)務(wù)需求，選擇以可視化算子拖拽、界面化SQL開發(fā)、Jar包提交等方式構(gòu)建數(shù)據(jù)開發(fā)任務(wù)。
在數(shù)據(jù)同步功能中，青云大數(shù)據(jù)工作臺(tái)擁有向?qū)胶湍_本式兩種數(shù)據(jù)同步方式，讓企業(yè)可以通過便捷、簡(jiǎn)單和可視化的智能映射，快速地按步驟完成數(shù)據(jù)配置和數(shù)據(jù)集成的讀取和寫入。處理完的結(jié)果數(shù)據(jù)可根據(jù)不同特性存儲(chǔ)在不同的存儲(chǔ)介質(zhì)中，以備使用。
在作業(yè)運(yùn)維調(diào)度功能中，青云大數(shù)據(jù)工作臺(tái)自主研發(fā)了調(diào)度和任務(wù)管理模塊，可以根據(jù)任務(wù)維護(hù)和資源分配維度分別進(jìn)行監(jiān)控，實(shí)時(shí)跟蹤計(jì)算的飽和度，方便企業(yè)根據(jù)需求調(diào)整計(jì)算資源。其中，任務(wù)管理模塊可對(duì)任務(wù)進(jìn)行資源管理、函數(shù)管理和告警管理，能夠?qū)\(yùn)維相關(guān)日志進(jìn)行記錄。通過業(yè)務(wù)流程、操作方法和操作狀態(tài)篩選，企業(yè)可以簡(jiǎn)單明了地看到大數(shù)據(jù)工作臺(tái)中正在執(zhí)行的任務(wù)狀態(tài)。
在引擎資源管理功能中，青云大數(shù)據(jù)工作臺(tái)提供云端全托管的Flink集群，可以在幾分鐘內(nèi)完成計(jì)算集群的創(chuàng)建和部署，還支持云原生彈性擴(kuò)容能力，節(jié)省企業(yè)資源，提高資源利用率，實(shí)現(xiàn)精細(xì)化資源管控。除了安全穩(wěn)定外，青云大數(shù)據(jù)工作臺(tái)還支持按量和包年包月計(jì)費(fèi)，可以適配不同的客戶需求。
接下來(lái)，青云大數(shù)據(jù)工作臺(tái)將進(jìn)一步打通大數(shù)據(jù)治理環(huán)節(jié)，形成統(tǒng)一的數(shù)據(jù)處理和治理的平臺(tái)；建立明確的數(shù)據(jù)資產(chǎn)體系，為客戶的數(shù)倉(cāng)構(gòu)建提供引導(dǎo)式的幫助；針對(duì)不同開發(fā)視角和操作，在客戶體驗(yàn)、數(shù)據(jù)運(yùn)行、穩(wěn)定性、容錯(cuò)性等方面進(jìn)行整體的優(yōu)化和提升，為客戶提供更優(yōu)質(zhì)的產(chǎn)品和服務(wù)。
數(shù)據(jù)匯聚為信息，信息提煉為知識(shí)，知識(shí)轉(zhuǎn)化為智慧決策。未來(lái)，青云將初心不改，以服務(wù)為先，不斷洞察企業(yè)需求，完善自身技術(shù)和產(chǎn)品服務(wù)，加速企業(yè)數(shù)智化進(jìn)程，助力數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展。
