7月30日，Kyligence 在上海成功舉辦 Data & Cloud Summit 2021 行業(yè)峰會，本次峰會以"云 · 數(shù)據(jù) · 智能"為主題，聚焦數(shù)據(jù)服務(wù)與管理領(lǐng)域的前沿趨勢、領(lǐng)先技術(shù)及最佳實踐。峰會現(xiàn)場，中國通信學(xué)會副秘書長文劍，以及經(jīng)濟學(xué)博士、亞洲金融合作協(xié)會創(chuàng)始秘書長楊再平進行了開場致辭；來自Gartner、招商銀行、微軟、聯(lián)合利華等企業(yè)嘉賓進行了精彩的主題演講，同時各領(lǐng)域合作伙伴也帶來了金融科技、云上創(chuàng)新、數(shù)字化轉(zhuǎn)型、開源有道四場近 30 個專業(yè)的主題分享，總計超過 1000 位嘉賓齊聚現(xiàn)場并進行了熱烈討論。
Kyligence 聯(lián)合創(chuàng)始人兼 CEO 韓卿在現(xiàn)場正式對外宣布了企業(yè)全新"智能數(shù)據(jù)云"戰(zhàn)略、Kyligence 最新產(chǎn)品以及一系列合作伙伴計劃。以下是韓卿在峰會現(xiàn)場的演講實錄，他從專業(yè)的視角分析了目前企業(yè)數(shù)據(jù)管理面臨的痛點，以及進一步詳細地闡述了"智能數(shù)據(jù)云"戰(zhàn)略，希望可以給您帶來一些啟發(fā)。
以下是演講正文：
大家早上好！
非常高興在今天舉辦 Kyligence 行業(yè)峰會。非常遺憾去年的疫情讓我們?nèi)笔Я艘粚茫贿^此刻的我們也非常幸運，“煙花”臺風(fēng)剛剛過去，今天早上黃浦江畔晴空萬里。
Kyligence 已經(jīng)成立五年了，五年來離不開大家的支持，在這里我謹代表中國和美國三百多位小伙伴向客戶、合作伙伴、投資人，以及各行各業(yè)關(guān)心 Kyligence 成長的關(guān)注者們表示衷心的感謝，感謝各位在過去對我們的支持、信任，尤其重要的是鞭策！過去五年，Kyligence 有非常多的總結(jié)和相應(yīng)的業(yè)務(wù)實踐，所以今天非常榮幸能夠基于過去對中國、美國以及亞太市場的業(yè)務(wù)實踐和對未來技術(shù)趨勢的觀察和了解做一些探討，此外，接下來我也會向大家匯報一下 Kyligence 未來戰(zhàn)略的改變和產(chǎn)品的趨勢。
行業(yè)假設(shè)發(fā)生變化
大家知道從上世紀70年代 AC 尼爾森公司介紹了數(shù)據(jù)集市開始，數(shù)據(jù)倉庫這個技術(shù)成為一個必不可少的基礎(chǔ)架構(gòu)。尤其是 Bill Inmon 、Ralph Kimball 兩位大拿奠定了數(shù)據(jù)倉庫的理論基礎(chǔ)，在這之后數(shù)據(jù)倉庫在 Bill 的自頂向下模式和 Kimball 的自底向上模式之間引起了很多爭論，大家相愛相殺了很多年。在當年構(gòu)建數(shù)據(jù)倉庫的時候有一些假設(shè)，例如數(shù)據(jù)相對比較少，計算、存儲比較有限，網(wǎng)絡(luò)處于低速時期等。
那么問題來了，三四十年之后，在云的時代，數(shù)據(jù)倉庫的行業(yè)假設(shè)跟以前是不是一樣呢？做任何的技術(shù)架構(gòu)，如果它的行業(yè)假設(shè)有一些變化，那隨之采取技術(shù)的選擇、架構(gòu)一定是不一樣的。那我們今天認為，在云的時代這些行業(yè)的假設(shè)已經(jīng)有了巨大的、根本性的改變。今天我非常榮幸可以跟大家分享一些我們在這方面的思考以及總結(jié)。
首先，過去數(shù)據(jù)倉庫的構(gòu)建模式是集中式的，剛才舉例介紹到，因為以前人沒有非常集中，我們認為把數(shù)據(jù)集中起來就好了，所以解決了數(shù)據(jù)煙囪（信息孤島）問題。但今天數(shù)據(jù)是天然分布的，數(shù)據(jù)不僅在不同的系統(tǒng)里面，它們甚至在多個云上，更甚者在一個云、多個數(shù)據(jù)庫里面。
其次，數(shù)據(jù)量已經(jīng)大到不可能集中起來，幾十個 PB 數(shù)據(jù)只是一個“起步價”。這么大的數(shù)據(jù)量，讓特別是在云環(huán)境下的數(shù)據(jù)傳輸變得不再現(xiàn)實。
再看，隨著 GDPR 數(shù)據(jù)隱私法案的來臨，企業(yè)不可能把所有數(shù)據(jù)都進行匯總。
所以整個數(shù)據(jù)倉庫構(gòu)建模式從“Collect”——把所有數(shù)據(jù)收集起來，到“Connect”——所有數(shù)據(jù)有機地連接起來，這是第一個改變。
第二，使用數(shù)據(jù)的人發(fā)生了根本性改變。以前都是決策者、專家去使用這些數(shù)據(jù)，或者有一個專業(yè)化的團隊，包含項目經(jīng)理、各種工程師等，經(jīng)過三個月、六個月給出一個決策方案。而今天使用數(shù)據(jù)的人已經(jīng)發(fā)生了根本性改變，他們是一線工作者，他們是非技術(shù)或者分析崗位的職場人。我們發(fā)現(xiàn)企業(yè)不可能為每一個業(yè)務(wù)人員配備一支龐大的分析團隊，而且整個數(shù)據(jù) IT 構(gòu)建模式也發(fā)生了巨大的變化，沒有那么多人去服務(wù)它，所以對企業(yè)來說，要么投入更多人力、物力賦能數(shù)據(jù)管理，要么就用技術(shù)去改變它。
第三，數(shù)據(jù)的消費方式發(fā)生了變化。以前是從已知問題找已知答案，現(xiàn)在需要從未知問題找未知的答案。早前有一個客戶來和我溝通，他說：“假設(shè)我是一個數(shù)據(jù)分析師，我想要分析…"。我說：“停，不對。”現(xiàn)在的業(yè)務(wù)人員無法了解這么詳細，他們希望的是你告訴我有什么，企業(yè)可以基于已知的一些數(shù)據(jù)、文化、能力，并沉淀之后自動推薦給需要的人。例如我們服務(wù)平安銀行的時候，當工作人員去看一些指標，對方怎么知道現(xiàn)在存款指標非常重要呢？這些應(yīng)該是系統(tǒng)自動告知，而不是工作人員自己想出來的。同時，現(xiàn)在大家習(xí)慣用兩樣?xùn)|西，一是手機，二是搜索。所以，市場必須降低整個數(shù)據(jù)使用的門檻，用技術(shù)迭代來幫助客戶推送更具價值的數(shù)據(jù)。
隨著數(shù)據(jù)越來越多，使用端越來越多，數(shù)據(jù)的收集與管理變得難上加難；另一方面，企業(yè)又希望數(shù)據(jù)能夠多面化，顧及到、賦能到每一個業(yè)務(wù)人員，這就導(dǎo)致了兩者之間不可調(diào)和的矛盾愈加明顯，越來越混亂。現(xiàn)在的 CIO 已經(jīng)相當焦慮，我們發(fā)現(xiàn)他們找數(shù)據(jù)的時間遠遠超過使用數(shù)據(jù)的時間。“用1個月時間找數(shù)據(jù)，分析一下只要2分鐘”。現(xiàn)狀是企業(yè)根本不知道有價值的數(shù)據(jù)在哪里，以前是沒有數(shù)據(jù)，所以企業(yè)希望 IT 把數(shù)據(jù)全部收集起來；而今天是數(shù)據(jù)太多、信息過載，企業(yè)已經(jīng)不知道該要什么類型的數(shù)據(jù)。
所以，基于我們過去對業(yè)務(wù)的一些實踐以及與客戶的探討，我們將未來的戰(zhàn)略定義在以云技術(shù)為核心，以人工智能為推動來解決所有的技術(shù)和數(shù)據(jù)的問題。所以我們?nèi)碌膽?zhàn)略將變成“智能數(shù)據(jù)云”。
智能數(shù)據(jù)云應(yīng)運而生
我們認為，未來使用數(shù)據(jù)應(yīng)該像使用云計算一樣簡單和方便。今天你需要一個算力的時候，根本不需要知道這些算力是來自英特爾、戴爾，還是惠普，只需要向底層云廠商靈活申請內(nèi)存、帶寬、使用時間即可。現(xiàn)在行業(yè)需要的是平臺向數(shù)據(jù)申請人直接給出客戶數(shù)據(jù)、訂單數(shù)據(jù)、實時部署數(shù)據(jù)等。平臺應(yīng)該要幫企業(yè)解決這個問題，這就是一個新的理念或戰(zhàn)略——智能數(shù)據(jù)云，我們可以幫助企業(yè)解決這個問題。
Kyligence 在不斷增強分析能力之外，會向數(shù)據(jù)管理轉(zhuǎn)移，將人工智能逐步引入到平臺里來。我們會逐步去掉 Hadoop ，平臺也會更加智能化和自動化。雖然今天 Hadoop 依然是極具優(yōu)勢的大數(shù)據(jù)平臺，但五年以后、十年以后，隨著下一代云技術(shù)的發(fā)展，數(shù)據(jù)服務(wù)與管理會有新的不一樣，我們也相信技術(shù)會往云這個方向進行轉(zhuǎn)移。
上面這張圖很好闡述了 Kyligence 智能數(shù)據(jù)云平臺——我們不希望這個平臺把客戶所有的數(shù)據(jù)匯總到這里來，我們要幫客戶 connect 所有的數(shù)據(jù)源，平臺能夠自動識別最有價值的數(shù)據(jù)，希望用最簡單的方式去讓業(yè)務(wù)人員使用我們的數(shù)據(jù)，去賦能數(shù)字化轉(zhuǎn)型。
我展開來講一下：
第一，我們會以一個受治理的數(shù)據(jù)集市的概念做這個事情，用統(tǒng)一的指標口徑，統(tǒng)一的語義標準，統(tǒng)一的數(shù)據(jù)服務(wù)進行管理；
第二，我們會專注做 AI 增強的數(shù)據(jù)管理，AI 增強讓數(shù)據(jù)分析與管理的效率大大提高，機器代替人可以做很多表格的工作，把人解放出來做更有價值的事情，比如數(shù)據(jù)的審計等等；
第三，我們會采用敏捷的云原生架構(gòu)，支撐業(yè)務(wù)敏捷化，尤其疫情以后，整個平臺不能變成云平臺的話，在劇烈變化中是很難適應(yīng)的。
Kyligence v4.5 新品發(fā)布
基于上述理念，我們也更新了自身的產(chǎn)品，Kyligence v4.5 將會更加滿足市場和客戶的需求，這個產(chǎn)品會以企業(yè)版以及公有云版本為主，接下來具體展開介紹一下相關(guān)特性：
這是我們整體的架構(gòu)。中間是剛才介紹過的受治理的數(shù)據(jù)集市，企業(yè)不需要把所有數(shù)據(jù)都放到我這里來，我可以通過各種各樣的方式連接起來，甚至鋪裝到原始的數(shù)據(jù)當中去。這樣的好處是我的平臺可以變成你的統(tǒng)一的訪問入口，在這個過程中我知道你想要什么數(shù)據(jù)之后，就可以自動化地去幫你去管理數(shù)據(jù)集市了，這就是 AI 增強帶來的核心能力。同時看到底層，在最早基于 Apache Kylin 的能力上，我們引入了 Clickhouse，更好地支撐全場景 OLAP 。
今天來說，在整個消費端，我們已經(jīng)從支撐大量的企業(yè)內(nèi)部分析應(yīng)用轉(zhuǎn)換到支撐的是應(yīng)用本身，已經(jīng)有美國和中國的客戶基于我們的技術(shù)在互聯(lián)網(wǎng)上提供這樣的能力，甚至提供數(shù)據(jù)產(chǎn)品重新賣給了客戶。未來所有的軟件公司都將成為一個 SaaS 公司，每個 SaaS 公司都會是一個數(shù)據(jù)公司，你的數(shù)據(jù)怎么去變現(xiàn)？你的數(shù)據(jù)怎么去做更好的服務(wù)？我們在服務(wù)了很多客戶之后有了一些經(jīng)驗。
另外，我們在美國的客戶也有非常好的應(yīng)用，它用 APP 做了一個市場風(fēng)控模型，整個底層的服務(wù)平臺來自我們，部署在整個 Kyligence 的云平臺上，帶來非常大的效率和能力的提升，目前智能數(shù)據(jù)云平臺已經(jīng)對接到了各大公有云平臺，后面我也會介紹私有云的目標。
總之，通過我們新的產(chǎn)品，用 AI 增強的數(shù)據(jù)服務(wù)和管理等能力，打造全場景的OLAP，可以更好幫助企業(yè)提升數(shù)據(jù)服務(wù)與管理的能力。下面，我想重點強調(diào)幾點：
01、ClickHouse 的整合
Clickhouse 過去一兩年在中國特別地火，這是一個很好的技術(shù)，不過它有它的優(yōu)勢，也有劣勢。其實 Apache Kylin 一直在整個聚合查詢上做的不錯，我們的客戶說要不要把 Kylin 和 Clickhouse 一起合并嘗試一下？這個需求提出后，我們看到了一些可能。通過 Kyligence 智能分層存儲（Smart Tiered Storage™?）技術(shù)，將 ClickHouse 有機融合在 Kyligence 產(chǎn)品的基座中，在原有聚合分析的高性能之上，更有效提升了明細分析、Ad-Hoc 查詢等場景的性能和優(yōu)勢。
02、正式支持批流一體能力
全場景的OLAP 還有一個很重要的方面就是正式支持批流一體能力，進一步擴寬了全場景 OLAP 的能力，僅通過一個數(shù)據(jù)模型、一個 SQL 語句，就能同時接入批數(shù)據(jù)和流數(shù)據(jù)，對數(shù)據(jù)應(yīng)用提供統(tǒng)一的查詢接口，助力企業(yè)極簡化數(shù)據(jù)應(yīng)用架構(gòu)，使用同一個系統(tǒng)和架構(gòu)來同時滿足不同需求，以更快地響應(yīng)業(yè)務(wù)敏捷性。
03、持續(xù)對 AI 增強引擎的投入
另一方面，我們也會持續(xù)在 AI 增強引擎上不斷地投入和突破。基于 AI 增強引擎，Kyligence 能夠根據(jù)業(yè)務(wù)分析行為自動推薦數(shù)據(jù)模型，幫助企業(yè)從海量的分析負載中識別和沉淀數(shù)據(jù)資產(chǎn)，并根據(jù)業(yè)務(wù)變化智能更新模型，實現(xiàn)自動化構(gòu)建和管理。
除此之外，AI 增強引擎還能夠自動清理低效存儲，不斷優(yōu)化 TCO。大量的數(shù)據(jù)被分析，數(shù)據(jù)倉庫拼命地做項目，但是清理這件事情很少發(fā)生。有銀行的客戶跟我說有 10 萬張報表，平均每張訪問量非常低，訪問量低浪費了大量的計算資源、存儲資源，浪費了大量的人工去做這些工作。今天 Kyligence 可以告訴你不再被使用或者使用率很低的數(shù)據(jù)，可以挪到歷史存儲區(qū)。
結(jié)合前面說的，通過不同的數(shù)據(jù)源讓我們這個數(shù)據(jù)服務(wù)和管理平臺成為統(tǒng)一訪問數(shù)據(jù)入口之后，我們有能力告訴你最有價值的數(shù)據(jù)是什么，數(shù)據(jù)資產(chǎn)應(yīng)該如何被管理、并驅(qū)動業(yè)務(wù)決策產(chǎn)生價值。
04、統(tǒng)一的語義層
此外，我們希望通過統(tǒng)一的業(yè)務(wù)語義來支撐不同的業(yè)務(wù)場景，例如 Kyligence 對電子表格的百億級業(yè)務(wù)支撐是全球獨步天下的，這點在中美兩國都有很多客戶實踐。當然這其中還有很多挑戰(zhàn)，例如電子表格連在后臺還是面臨一些壓力，但是可以告訴大家的是，我們的創(chuàng)新取得了新進展，通過專利技術(shù)的突破，可以直接賦能到一線的電子表格用戶。
通過不斷地服務(wù)客戶，我們發(fā)現(xiàn)一個令人驚訝的事實，某一個客戶全國大概有上萬家門店，只有八九個人的 IT 團隊，負責(zé)人需要每天下班之前導(dǎo)出數(shù)據(jù)讓他們第一時間拿到數(shù)據(jù)做分析，這是中國真正的現(xiàn)狀。這就帶來幾個問題：
1. 安全問題，數(shù)據(jù)滿天飛的時候，安全面臨著嚴峻的考驗；
2. 業(yè)務(wù)的定義其實永遠不在管控的范圍內(nèi)，散落在各個地方；
3. 整個后臺沒有業(yè)務(wù)的積累，永遠只是在導(dǎo)出數(shù)據(jù)。
我們希望構(gòu)建統(tǒng)一的業(yè)務(wù)語義，可以在不同 BI 之間使用，以及中央管控整個安全，其實會帶來非常好的價值。最重要的是，在這個過程中業(yè)務(wù)使用的痕跡被留了下來。往往我們業(yè)務(wù)跟 IT 的挑戰(zhàn)是，業(yè)務(wù)很難告訴你他想要什么或者如何分析的，他們沒有辦法用 IT 語言告訴后端。但是如果后臺轉(zhuǎn)化的時候就可以通過機器學(xué)習(xí)的方式推薦給需要的人。
05、提供企業(yè)級運維管理服務(wù)
產(chǎn)品新版本會提供企業(yè)級的運維管理能力，把所有的集群管理起來，甚至可以做到多租戶的管理，通過指標監(jiān)控、告警等實現(xiàn)自動化生產(chǎn)運維，以滿足銀行、保險等行業(yè)嚴格的 IT 合規(guī)要求。我們有非常好的監(jiān)控統(tǒng)計，甚至這些能力可以被開放出來，通過 API 接口組合到客戶自己的運維和管控系統(tǒng)里去。關(guān)于信息安全和合規(guī)，目前我們已經(jīng)拿到了 SOC 2 Type 1、ISO27001 信息安全管理體系和 ISO9001 質(zhì)量管理體系。
目前，Kyligence 產(chǎn)品已經(jīng)支持多個公有云平臺，包括微軟 Azure 、亞馬遜 AWS ，今年六月份剛剛支持了華為云，這個合作也幫我們拿下了泰國的單子。后續(xù)還會登陸谷歌云、阿里云、騰訊云。我們將在整個公有云的平臺上不斷地投入，去支持更多的應(yīng)用場景。未來我們也希望能保證我們的客戶在多個云的不同架構(gòu)和平臺上，業(yè)務(wù)的使用方式、體驗和接口都是一致的，即使你遷移到一個云平臺，上層應(yīng)用不用改變。在公有云上，我們完全沒有了 Hadoop 的依賴，只依賴了云的對象存儲和計算資源，可以做到自動縮容，自動監(jiān)控。
不過，我們?nèi)孕杩紤]到還在使用私有云的客戶，他們該怎么辦？隨著企業(yè)對私有云架構(gòu)的需求高漲，Kyligence 也正式推出玄武計劃，加速下一代基于 Kubernetes 及分布式對象存儲等架構(gòu)的私有云產(chǎn)品落地的進程，Kyligence 將為大型企業(yè)級客戶提供私有云環(huán)境運行 AI 增強數(shù)據(jù)服務(wù)與管理的能力， 目前實驗室已經(jīng)完成了對接和測試。
我很喜歡玄武計劃這張圖，這張圖是龜和蛇的合體。為什么選這個？第一這代表海，如果公有云在天上，那我們想找一個地上的海。第二叫穩(wěn)，玄武帶來的穩(wěn)定，對業(yè)務(wù)架構(gòu)很重要。第三叫做長壽，我們希望技術(shù)架構(gòu)或者平臺對市場的影響時間可以更加長久，我們也希望以此為機會，鼓勵我們的客戶、合作伙伴可以加入到我們的共創(chuàng)計劃中，用業(yè)界的能力一起去打造基于私有云的業(yè)務(wù)架構(gòu)。
另外，我也很高興宣布今年我們升級了業(yè)務(wù)合作伙伴體系 Kyligence Partner Network，聯(lián)合全球的合作伙伴去構(gòu)建數(shù)字生態(tài)能力，對于我們公司的定位來說，我們是專注在整個產(chǎn)品和技術(shù)的研發(fā)上，希望在這個點上做到更深、更強，跟更多的合作伙伴做更多的聯(lián)合。
數(shù)據(jù)越來越多，數(shù)據(jù)越來越重要。我們希望數(shù)據(jù)能夠更好地服務(wù)人類，而不是讓我們成為它的奴隸。所以今天非常高興跟大家宣布 Kyligence 未來的新愿景——改變?nèi)祟愂褂脭?shù)據(jù)的習(xí)慣。我們希望用更大的能力去賦能到從一線業(yè)務(wù)人員到高層決策者，能夠去改變整個數(shù)據(jù)的使用方式和方法。非常感謝大家對 Kyligence 的認可和支持，Kyligence 將繼續(xù)秉持專業(yè)的態(tài)度服務(wù)客戶，也感謝各位合作伙伴參與其中，一起創(chuàng)造數(shù)據(jù)服務(wù)與管理的新未來。
關(guān)于我們
Kyligence 由 Apache Kylin 創(chuàng)始團隊創(chuàng)建，致力于打造下一代智能數(shù)據(jù)云平臺，為企業(yè)實現(xiàn)自動化的數(shù)據(jù)服務(wù)和管理。基于機器學(xué)習(xí)和 AI 技術(shù)，Kyligence 從多云的數(shù)據(jù)存儲中識別和管理最有價值數(shù)據(jù)，并提供高性能、高并發(fā)的數(shù)據(jù)服務(wù)以支撐各種數(shù)據(jù)分析與應(yīng)用，同時不斷降低 TCO。
Kyligence 已服務(wù)中國、美國及亞太的多個銀行、保險、制造、零售等客戶，包括建設(shè)銀行、浦發(fā)銀行、招商銀行、平安銀行、寧波銀行、太平洋保險、中國銀聯(lián)、上汽、一汽、安踏、YUM、Costa、UBS、Metlife、AppZen 等全球知名企業(yè)和行業(yè)領(lǐng)導(dǎo)者。公司已通過 ISO9001，ISO27001 及 SOC2 Type1 等各項認證及審計，并在全球范圍內(nèi)擁有眾多生態(tài)合作伙伴。
Kyligence 獲得了來自紅點、思科、寬帶資本、順為資本、斯道資本（富達國際自有投資機構(gòu)）、Coatue Management、浦銀國際、中金資本旗下基金、歌斐資產(chǎn)、國方資本、ASG、宏兆基金、浦信資本等投資機構(gòu)的多輪投資。目前公司已經(jīng)在上海、北京、深圳、廈門、武漢及美國的硅谷、紐約、西雅圖等開設(shè)辦事機構(gòu)。
