數(shù)據(jù)是產(chǎn)業(yè)數(shù)字化和物聯(lián)網(wǎng)最重要的資源之一。如何讓數(shù)據(jù)平滑流轉起來，并進行計算、分析和治理，從而驅動企業(yè)更高效地進行數(shù)字化轉型和業(yè)務創(chuàng)新，是一件很重要也很有價值的事情。
為了打通大數(shù)據(jù)全鏈路，青云科技正式發(fā)布大數(shù)據(jù)工作臺，通過為企業(yè)提供“數(shù)據(jù)上云、數(shù)據(jù)開發(fā)、數(shù)據(jù)同步、作業(yè)運維調度、引擎資源管理”的功能模塊，降低企業(yè)大數(shù)據(jù)使用門檻，讓非技術人員也能進行數(shù)據(jù)開發(fā)與治理，一鍵開啟數(shù)據(jù)洞察之旅。
數(shù)據(jù)流轉、計算、分析和治理面對的挑戰(zhàn)
要讓數(shù)據(jù)平滑流轉起來，并進行計算、分析和治理，其中包括了幾個方面：
一是數(shù)據(jù)同步。云平臺已有的數(shù)據(jù)庫、數(shù)據(jù)倉庫、消息隊列等服務中的數(shù)據(jù)，需要數(shù)據(jù)同步服務來打通彼此之間的孤立關系。對多源異構數(shù)據(jù)提供開放的數(shù)據(jù)集成能力，不僅能集成青云自己的數(shù)據(jù)源，還能集成企業(yè)自建的、甚至其他云平臺的數(shù)據(jù)源。
二是實時計算。在 IoT 場景中，通過 IoT 采集網(wǎng)關將數(shù)據(jù)采集到統(tǒng)一的平臺后，需要大數(shù)據(jù)平臺對大量的設備數(shù)據(jù)、監(jiān)控數(shù)據(jù)等進行分析、挖掘，最終轉化為設備報告和流程優(yōu)化相關的信息和知識。這種反饋實時性越高，對企業(yè)降本增效的效果會越好。
三是統(tǒng)一作業(yè)運維調度。任務調度系統(tǒng)已成為大數(shù)據(jù)平臺不可或缺的一部分。任務量多、數(shù)據(jù)量大，容易導致前面的任務尚未結束或者失敗，后面的任務也開始運行起來，最終跑出錯誤的分析結果。隨著任務量的增加和依賴關系的復雜，企業(yè)對任務調度系統(tǒng)的需求越來越迫切。
此外，數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務共享等需求同樣迫切。
集合六大產(chǎn)品特性，青云大數(shù)據(jù)工作臺發(fā)布
談到數(shù)據(jù)集成、數(shù)據(jù)加工、數(shù)據(jù)服務，我們很容易想到數(shù)據(jù)中臺。目前市面上的數(shù)據(jù)中臺主要以大項目定制的方式進行私有化交付，往往需要企業(yè)自己搭建、部署、實施、運維和升級，或者采用技術服務費用的方式購買整套大數(shù)據(jù)環(huán)境，成本高、周期長。當企業(yè)業(yè)務峰值超過預期時，還需要增加采購。這一現(xiàn)狀引發(fā)了我們的思考，是否可以在云端以一站式、便捷、低成本的方式，構建“云上數(shù)據(jù)中臺”，充分發(fā)揮云資源按需付費、彈性擴容的優(yōu)勢，來解決數(shù)據(jù)層面的問題呢？
基于此，青云正式推出大數(shù)據(jù)工作臺，即采用云原生架構的一站式智能大數(shù)據(jù)開發(fā)與治理平臺，聚焦于數(shù)據(jù)使用場景，解決數(shù)據(jù)集成、流批一體計算、統(tǒng)一作業(yè)運維調度、數(shù)據(jù)服務共享等問題，實現(xiàn)數(shù)據(jù)在云平臺各產(chǎn)品之間的快速流轉，支撐上層業(yè)務應用，消除“數(shù)據(jù)孤島”，統(tǒng)一調度和計算，幫助企業(yè)專注于數(shù)據(jù)價值的挖掘和探索，提升數(shù)據(jù)洞察能力。
接下來，通過一段產(chǎn)品視頻，來感受打通大數(shù)據(jù)全鏈路的一站式數(shù)據(jù)開發(fā)體驗，包括：兼容多種數(shù)據(jù)源、可視化數(shù)據(jù)集成、可視化數(shù)據(jù)開發(fā)和全托管 Flink 集群。
青云大數(shù)據(jù)工作臺產(chǎn)品特性，主要有六點：
第一，云原生容器化架構。大數(shù)據(jù)工作臺采用“公私一體”的架構，依托云原生 Kubernetes 屏蔽底層基礎設施的能力，支持青云公有云、青云私有云、以及獨立部署的方式。
第二，全托管流批一體引擎。云端全托管 Flink 集群，可以對海量數(shù)據(jù)進行亞秒級處理，支持流批一體的作業(yè)處理方式，能夠覆蓋多種業(yè)務場景。
第三，與數(shù)據(jù)存儲無縫對接。內置 Connector 無縫對接消息隊列、數(shù)據(jù)庫、數(shù)據(jù)倉庫、對象存儲等云端數(shù)據(jù)存儲類產(chǎn)品，按需拓展 Connector 對接各類外部數(shù)據(jù)系統(tǒng)。
第四，一站式開發(fā)與運維。大數(shù)據(jù)工作臺作為一站式開發(fā)運維平臺，提供了可視化數(shù)據(jù)開發(fā) IDE，支持多語言開發(fā)模式，同時支持依賴包管理、UDF 管理輔助開發(fā)工作，一鍵提交，全托管調度，大幅節(jié)約開發(fā)成本和周期。
第五，多樣化的調度策略。提供最小顆粒度為分鐘級別的調度配置，調度周期支持單次執(zhí)行、立即執(zhí)行和周期執(zhí)行等。
第六，細粒度的資源管控。最小資源使用粒度僅 0.5 CU，精細化資源管控，支持按量和包年/包月計費，價格低廉，安全穩(wěn)定。
應對豐富的業(yè)務場景，驅動企業(yè)數(shù)“智”化轉型
在場景上，青云大數(shù)據(jù)工作臺支持四種標準化場景，分別是精細化運營分析場景、實時計算場景、可視化開發(fā)運維場景、構建數(shù)倉場景。目前這些場景已經(jīng)在青云的客戶中投入使用。
首先是精細化運營分析場景，主要面向中小型互聯(lián)網(wǎng)或移動互聯(lián)網(wǎng)客戶。客戶業(yè)務端積累大量的用戶行為數(shù)據(jù)，需要做用戶行為分析，從而為其用戶提供更有針對性的服務。同時，客戶大數(shù)據(jù)發(fā)展較為領先，會有數(shù)據(jù)安全和數(shù)據(jù)質量相關的需求。大數(shù)據(jù)工作臺可以在用戶畫像、推薦、數(shù)據(jù)分析、大屏展示、數(shù)據(jù)治理等方面提供支持。
精細化運營分析場景架構圖
其次是實時計算場景，主要面向對實時數(shù)據(jù)有加工處理需求的客戶，如智慧工廠。客戶通過消息隊列統(tǒng)一數(shù)據(jù)標準，由大數(shù)據(jù)工作臺來執(zhí)行計算任務處理，對增量熱數(shù)據(jù)和全量數(shù)據(jù)進行分類處理、分類展示和應用。大數(shù)據(jù)工作臺可以在 IoT 終端實現(xiàn)實時數(shù)據(jù)分析、實時用戶日志分析、實時運營數(shù)據(jù)分析、實時風控等方面提供支持。
實時計算場景數(shù)據(jù)場景架構圖
第三是可視化開發(fā)運維場景，主要面向以學習或者科研為目標的客戶。客戶使用科研數(shù)據(jù)，利用大數(shù)據(jù)計算引擎對數(shù)據(jù)的成員和權限管理進行分工協(xié)作，進行多維分析和計算，通過計算引擎和實時數(shù)據(jù)處理，挖掘數(shù)據(jù)模型，輸出科研分析報告等。大數(shù)據(jù)工作臺可以在數(shù)據(jù) ETL、數(shù)據(jù)挖掘等方面提供支持。
可視化開發(fā)運維場景架構圖
最后是構建數(shù)倉場景，主要面向在青云云平臺上使用了消息隊列、數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)計算存儲的客戶。客戶將數(shù)據(jù)按照不同的業(yè)務線或數(shù)據(jù)類型存放在不同的數(shù)據(jù)存儲介質中，需要做不同介質間的同步傳輸，或者需要匯聚到統(tǒng)一的數(shù)據(jù)倉庫或大數(shù)據(jù)存儲中，進行下一步的數(shù)據(jù)計算和分析。大數(shù)據(jù)工作臺可以在數(shù)據(jù)集成、實時或離線計算、數(shù)據(jù)存儲等方面提供支持。
構建數(shù)倉場景架構圖
進入數(shù)字時代，數(shù)據(jù)已然成為驅動企業(yè)發(fā)展的“新動能”。青云大數(shù)據(jù)工作臺的發(fā)布，將致力于幫助企業(yè)激活數(shù)據(jù)資產(chǎn)，釋放數(shù)據(jù)價值，加速數(shù)“智”化進程！
青云大數(shù)據(jù)工作臺目前處于公測階段，進入產(chǎn)品控制臺即可免費試用。我們?yōu)槊课挥脩籼峁?nbsp;12 CU 的免費計算資源。
*CU 是大數(shù)據(jù)工作臺的計算資源單位，1 CU 是 1 核CPU 4 GB 內存， 12 CU 是 12 核CPU 48 GB 內存。
