近日，青云QingCloud正式發(fā)布大數(shù)據(jù)工作臺(tái)，可為客戶提供“數(shù)據(jù)上云、數(shù)據(jù)開發(fā)、數(shù)據(jù)同步、作業(yè)運(yùn)維調(diào)度、引擎資源管理”等功能模塊，實(shí)現(xiàn)數(shù)據(jù)在云平臺(tái)各產(chǎn)品之間快速流轉(zhuǎn)，消除“數(shù)據(jù)孤島”，統(tǒng)一調(diào)度和計(jì)算，助力企業(yè)一鍵開啟云端數(shù)據(jù)洞察之旅。
青云QingCloud 大數(shù)據(jù)產(chǎn)品經(jīng)理劉雄風(fēng)與多家 IT 科技媒體分享了大數(shù)據(jù)工作臺(tái)在云原生、混合云、工業(yè)互聯(lián)網(wǎng)等熱門領(lǐng)域的技術(shù)實(shí)踐和業(yè)務(wù)應(yīng)用。我們精選了十個(gè)精彩問答，一起深入了解青云大數(shù)據(jù)工作臺(tái)????
Q：與目前市面上已有的大數(shù)據(jù)開發(fā)和治理平臺(tái)相比，青云的產(chǎn)品具有哪些優(yōu)勢(shì)和不同？
A：市面上成熟的大數(shù)據(jù)開發(fā)和治理平臺(tái)，大多都是在比功能。而現(xiàn)實(shí)場(chǎng)景里，客戶不一定需要所有功能，而是更看重性能。就像我們買手機(jī)一樣，運(yùn)行流暢與否更加重要，而不是那些不常用的功能。
關(guān)于青云的產(chǎn)品優(yōu)勢(shì)，首先，我們是基于云原生架構(gòu)進(jìn)行開發(fā)的，具備天然的跨云服務(wù)和彈性計(jì)算的優(yōu)點(diǎn)。其次，我們聚焦解決客戶實(shí)時(shí)計(jì)算等數(shù)據(jù)業(yè)務(wù)場(chǎng)景需求。此外，我們的界面及功能上的歷史包袱基本上是沒有的，客戶可以更聚焦地做數(shù)據(jù)開發(fā)。
Q：大數(shù)據(jù)工作臺(tái)是否可以看作是一個(gè)數(shù)據(jù)中臺(tái)？如果不是，它與數(shù)據(jù)中臺(tái)的差別在哪？
A：數(shù)據(jù)中臺(tái)是在 DT 時(shí)代大背景下，企業(yè)為實(shí)現(xiàn)數(shù)據(jù)快速、準(zhǔn)確、低成本賦能業(yè)務(wù)發(fā)展目標(biāo)，將數(shù)據(jù)統(tǒng)一整合起來，基于 Onedata 方法論而搭建的平臺(tái)。借助于數(shù)據(jù)中臺(tái)，企業(yè)可以進(jìn)行完善的、統(tǒng)一的數(shù)據(jù)加工和處理，對(duì)外提供數(shù)據(jù)服務(wù)能力。目前市面上的數(shù)據(jù)中臺(tái)，主要以大項(xiàng)目的定制化方式進(jìn)行私有化交付，其成本是比較大的，周期也是比較長(zhǎng)的。
與數(shù)據(jù)中臺(tái)的差別在于，青云大數(shù)據(jù)工作臺(tái)采用云原生架構(gòu)，沒有基于傳統(tǒng)的 Hadoop 體系的YARN 來做資源調(diào)度，而是基于 Kubernetes 實(shí)現(xiàn)資源的調(diào)度。同時(shí)，青云大數(shù)據(jù)工作臺(tái)聚焦于數(shù)據(jù)使用場(chǎng)景下，解決數(shù)據(jù)集成、流批一體計(jì)算、統(tǒng)一運(yùn)維和統(tǒng)一數(shù)據(jù)服務(wù)共享等問題，并通過云端一站式、便捷低成本的方式，幫助中小型企業(yè)快速發(fā)揮數(shù)據(jù)價(jià)值，構(gòu)建“云上數(shù)據(jù)中臺(tái)”。
Q：混合云成為越來越多企業(yè)數(shù)字化轉(zhuǎn)型的選擇，大數(shù)據(jù)工作臺(tái)如何確保跨云之間數(shù)據(jù)甚至是算力調(diào)度的流暢及安全？
A：數(shù)據(jù)跨云傳輸和計(jì)算其中有兩個(gè)關(guān)鍵點(diǎn)：一致性流暢的體驗(yàn)，以及組網(wǎng)。青云作為“混合云第一股”，一直是以“公私一致”的技術(shù)架構(gòu)為混合云用戶交付公有云與私有云，大數(shù)據(jù)工作臺(tái)也是公私統(tǒng)一架構(gòu)，能夠?yàn)榭蛻籼峁┮恢碌氖褂皿w驗(yàn)，降低運(yùn)維管理的復(fù)雜度。網(wǎng)絡(luò)層面，青云提供豐富的組網(wǎng)模式，用戶通過控制臺(tái)即可完成不同網(wǎng)絡(luò)接入方案的配置。
目前我們正在規(guī)劃滿足客戶跨云算力分配的場(chǎng)景功能，即在私有云突發(fā)算力任務(wù)加劇的情況下，將一部分?jǐn)?shù)據(jù)作業(yè)調(diào)度到公有云，利用公有云作為算力補(bǔ)充。
Q：彈性和靈活的部署是現(xiàn)在很多企業(yè)看重的一個(gè)特點(diǎn)，大數(shù)據(jù)工作臺(tái)在這方面有何優(yōu)勢(shì)？
A：大數(shù)據(jù)工作臺(tái)是一款即開即用、便捷高效的企業(yè)級(jí)數(shù)據(jù)開發(fā)云服務(wù)，幾分鐘就可以搭建整體的環(huán)境和部署，一鍵開啟您的數(shù)據(jù)價(jià)值洞察之旅。除了支持基于云平臺(tái)/AppCenter的部署，我們也支持私有化交付，支持基于容器（K8s、KubeSphere）的部署，對(duì)于希望基于容器部署大數(shù)據(jù)組件的用戶來說是非常友好的。
Q：對(duì)于企業(yè)而言，如何根據(jù)自身發(fā)展階段和業(yè)務(wù)規(guī)模，把大數(shù)據(jù)工作臺(tái)的價(jià)值發(fā)揮到最大？
A：如果一個(gè)企業(yè)需要一個(gè)人專門負(fù)責(zé)企業(yè)日常的數(shù)據(jù)計(jì)算和輸出，甚至數(shù)據(jù)的開發(fā)，那么他一定會(huì)需要大數(shù)據(jù)工作臺(tái)。當(dāng)企業(yè)數(shù)據(jù)量達(dá)到GB級(jí)別，也可以使用大數(shù)據(jù)工作臺(tái)。在復(fù)雜場(chǎng)景下，大數(shù)據(jù)工作臺(tái)每個(gè)CU每秒可以處理3000條至15000條數(shù)據(jù)。在這種數(shù)據(jù)量的處理下，我們一個(gè)CU的計(jì)費(fèi)不到4毛錢/小時(shí)，既經(jīng)濟(jì)又高效。因此，無論從計(jì)算成本來看，還是從人力成本來看，只要有數(shù)據(jù)計(jì)算需求的企業(yè)，都可以把數(shù)據(jù)的集成、開發(fā)和數(shù)據(jù)的使用交給大數(shù)據(jù)工作臺(tái)，開發(fā)人員只需要專注業(yè)務(wù)即可。
（*CU：大數(shù)據(jù)工作臺(tái)的計(jì)算資源單位。1 CU 是 1 核CPU 4 GB 內(nèi)存）
Q：大數(shù)據(jù)工作臺(tái)的使用者具體是大數(shù)據(jù)技術(shù)人員還是業(yè)務(wù)人員？
A：我們的使用者除了技術(shù)人員，還有業(yè)務(wù)人員。技術(shù)人員包括數(shù)據(jù)開發(fā)人員、數(shù)據(jù)運(yùn)維工程師、數(shù)據(jù)架構(gòu)工程師等多種角色。對(duì)于技術(shù)人員，我們提供Flink SQL的方式，技術(shù)人員只要會(huì)寫SQL，就可以進(jìn)行數(shù)據(jù)的處理。業(yè)務(wù)人員可以通過拖拽的方式構(gòu)建數(shù)據(jù)的連線，只需要定義數(shù)據(jù)的來源和目的，通過字段的映射連線，即可使用。
Q：目前青云大數(shù)據(jù)工作臺(tái)最大的亮點(diǎn)是什么？
A：大數(shù)據(jù)開發(fā)工程師是一個(gè)龐大的群體，以往大數(shù)據(jù)引擎 QingMR 給數(shù)據(jù)開發(fā)工程師提供的是一個(gè)免運(yùn)維的大數(shù)據(jù)存儲(chǔ)計(jì)算平臺(tái)，雖然節(jié)約了運(yùn)維成本，但用戶要做數(shù)據(jù)開發(fā)，還是需要在本地 IDE 開發(fā)好后，通過命令行的方式提交到 QingMR 中，非常不方便。
大數(shù)據(jù)工作臺(tái)提供「云端可視化開發(fā) Studio」，可以讓數(shù)據(jù)開發(fā)工程師在云端可視化開發(fā)，一鍵提交，全托管調(diào)度，大幅度節(jié)約開發(fā)成本和周期。
Q：大數(shù)據(jù)工作臺(tái)的運(yùn)維中心支持哪些運(yùn)維工作？
A：我們的運(yùn)維中心主要包括：一、對(duì)資源的調(diào)度，可以對(duì)集群整體資源進(jìn)行管理，就是對(duì)全托管 Flink 集群進(jìn)行操作。二、對(duì)數(shù)據(jù)加工作業(yè)進(jìn)行運(yùn)維管理，可以管理數(shù)據(jù)加工作業(yè)的調(diào)度狀態(tài)、運(yùn)行狀態(tài)、作業(yè)版本。三、提供原生的 Flink UI，能進(jìn)行任務(wù)運(yùn)維的查看。
Q：大數(shù)據(jù)工作臺(tái)在企業(yè)中的應(yīng)用如何？得到了什么樣的使用反饋？
A：目前，青云大數(shù)據(jù)工作臺(tái)已經(jīng)應(yīng)用在工業(yè)互聯(lián)網(wǎng)客戶場(chǎng)景中，為企業(yè)構(gòu)建工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)中臺(tái)。通過研發(fā)工程師的工單機(jī)制，快速響應(yīng)客戶的需求和問題，獲得了客戶的好評(píng)。同時(shí)，我們也在快速迭代產(chǎn)品功能，和客戶共同快速成長(zhǎng)。
Q：大數(shù)據(jù)工作臺(tái)還有哪些需要優(yōu)化的地方？接下來如何進(jìn)行優(yōu)化升級(jí)？
A：接下來，大數(shù)據(jù)工作臺(tái)會(huì)利用公有云快速反饋迭代的優(yōu)勢(shì)，優(yōu)化客戶體驗(yàn)，增強(qiáng)平臺(tái)穩(wěn)定性和高可用性，并逐步迭代擴(kuò)充客戶所需的功能，包括數(shù)據(jù)資產(chǎn)、數(shù)據(jù)治理等。通過與客戶商業(yè)化合作和共建來沉淀場(chǎng)景化方案，在工業(yè)、交通等細(xì)分領(lǐng)域深耕，沉淀產(chǎn)品能力，并推廣到其他行業(yè)客戶中。
青云大數(shù)據(jù)工作臺(tái)目前處于公測(cè)階段，可免費(fèi)試用，并每位用戶提供 12 CU 的免費(fèi)計(jì)算資源，一鍵開啟大數(shù)據(jù)洞察之旅。
