5月27日,DataPipeline新品發布會在上海成功舉行。大會以“萬「向」更新”為主題,重磅推出DataPipeline企業級實時數據融合平臺V3.0里程碑版本。本次活動匯聚了全國近百位領域專家、行業學者、合作伙伴、媒體和分析師現場參會,分享對行業趨勢的洞察、行業場景中的解決方案實踐與探索,以“實時數據管理”激發產業創新澎湃新動能。
當前,隨著技術的推動以及市場格局的快速變化,實時、精確地感知和洞察業務需求變得越發重要,實時數據管理已經成為加速企業發展的新引擎。發布會現場,DataPipeline創始人&CEO陳誠表示:“DataPipeline作為實時數據管理領域最早批布局者,始終以‘穩健的產品表現、引領性的技術實力、體系化的用戶服務’為追求,致力于成為企業數字化轉型過程中的優質和信任之選。”
DataPipeline新品發布會現場
01萬「向」更新
DataPipeline:連接一切數據、應用和設備
DataPipeline創始人&CEO陳誠
DataPipeline創始人&CEO陳誠在致辭中對主題“萬「向」更新”中的「向」字進行了層層遞進的價值解讀——闡釋了由“發展方向、數據流向、創業者志向”構成的三階理論,凸顯DataPipeline做深、做廣實時數據管理領域的意志和信心。
第一,發展方「向」。過去40年,中國經濟發展取得的成就有目共睹,數據表示2020年中國世界五百強企業的數量已經超過美國,但盈利能力弱于后者。主要原因是美國企業在產業鏈布局更偏上游,也擁有更多“卡脖子”的技術。中國企業有待進一步利用數據資產及數字化技術,突破重圍,從而謀求管理方式升級、流程再造、文化改變等更大的發展。
第二,數據流「向」。在企業發展的過程中,數據賦能智慧營銷、客戶服務、風險控制和經營分析管理已成為共識。因此,各種底層技術——存儲和計算引擎、數據中臺、數據湖、大數據平臺、時序數據庫、圖數據庫應運而生。數據流動性管理成為新挑戰:越來越異構的引擎,越來越快的時效性要求,越來越復雜的數據鏈路,越來越高的數據質量標準。未來,誰能靈活掌控數據的流動性,誰就能在不斷的技術進步中收獲更大的價值。
第三,創業者志「向」。過去的20年,中國的消費互聯網企業從模仿到創新,通過廣闊的市場和資本加持的方式,成長出了世界級的產品和公司。現在,時代洪流把企業級軟件領域推向制高點。在政策推動、產業升級和數字化轉型的趨勢下,行業中一定會誕生同樣偉大的企業服務公司。DataPipeline的使命是“連接一切數據應用和設備”,立志成為中國的世界級數據中間件廠商。公司堅持技術驅動,深耕企業服務,幫助用戶實現超越期待的企業級全域實時數據的價值釋放。
02五年蓄力
DataPipeline實時數據融合平臺V3.0重磅發布
DataPipeline合伙人&CPO陳雷
DataPipeline合伙人&CPO陳雷在演講中表示:
“移動互聯網的興起推動大數據平臺建設只用了不到十年,對于金融行業甚至不到五年。金融、制造、零售、能源、地產等行業,大量客戶都在從數字化轉型向數字化創新邁進,作為企業數字化創新基礎設施的數據管理技術也在不斷進化,實時數據管理就在眼前。
實時風險控制、實時智能營銷、實時運營管理等越來越多的業務場景和業務驅動力對數據提出了‘更快、更準、更全’的要求。對于實時數據管理,我們要把它提高到和數據倉庫、數據湖甚至交易系統相同的重視程度和高度去建設,但其體系建設過程不是一蹴而就的,實時數據平臺建設是該過程的關鍵基石。”
會上,陳雷對DataPipeline企業級實時數據融合平臺V3.0這一里程碑版本的三大核心特性進行了重點介紹:
對主流關系型數據庫、大數據平臺及國產數據庫支持的持續投入
采用基于日志的增量數據獲取技術(Log-based change data capture),為主數據管理、數據倉庫、大數據平臺提供實時、準確的數據變化,從而使得客戶可以根據最新數據進行運營管理與決策制定。
配置式鏈路定義無代碼任務構建提升實時數據敏捷性
在數據節點、數據鏈路、融合任務及系統資源四個基本邏輯概念中,用戶只需要通過二至三項簡單配置就可以定義出可以執行的融合任務,系統提供基于最佳實踐的默認選項,實時數據需求的研發交付時間從2周減少為5分鐘。同時,為應對復雜的實時數據運行時場景需求,系統提供限制配置與策略配置兩大類十余種高級配置。用戶可以通過這些配置對下游概念進行限制與管理,亦可以通過這些配置來統一調整下游概念的執行范圍與策略應用范圍。
分布式引擎、組件級高可用保障實時鏈路穩定高容錯
平臺所有組件均支持高可用,容器化部署,平滑、靈活的動態擴縮容,允許將不同的計算任務重分布到不同的機器上去,而不妨礙其它部分的運行。從工具向平臺的演化勢必關系到可用性、業務連續性要求的不斷提高,除了通過分布式引擎保障整個系統的可用性和數據完整性以外,產品也針對同城、異地災備環境,數據容災和應用容災的不同要求給出切實可行的方案。
面對未來的不確定性,DataPipeline要構建確定的能力信仰:打破技術壁壘,讓客戶專注數據價值釋放。后續,DataPipeline整體產品路線大概分為兩個層面六個部分,即著重夯實:持續增強多元異構、不懈追求極致性能、升級企業級管理性,持續探索:平臺全面云化探索、實時數據計算探索、實時數據治理探索。以上,皆旨在構建起業內最完善的實時數據管理產品矩陣,形成全鏈路實時數據資產管理業務體系。
03平滑演進
DataPipeline實時數據融合 “進化史”
DataPipeline CTO陳肅
回望成長之路,DataPipeline作為一家企業級批流一體數據融合產品、解決方案及服務提供商,公司的技術隨著用戶需求驅動、應用場景錘煉,不斷創新。DataPipeline CTO陳肅表示:DataPipeline在發展過程中遵循的基本準則之一是追求技術演進的平滑性。我們堅信一個樸素的真理——做企業級的軟件,不僅要知其然,而且要知其所以然,即對產品所有采用的基礎架構底層原理和代碼非常了解并可以迅速幫客戶定位解決問題。
DataPipeline技術演進之路主要分為以下三個階段:
? DataPipeline 1.0實時數據采集分發平臺
核心詞:流式處理、分布式、多源異構
在公司成立伊始,我們就認識到實時的流式處理代表了企業數據處理的未來,DataPipeline打造基于面向流式數據采集分發場景這樣的產品,流式成為我們剛開始定義產品應用邊界的關鍵核心要素;實現分布式的處理平臺,支持多節點部署,從而能夠根據業務需要動態擴展處理能力;支持各種異構存儲之間的數據同步,當上游結構發生變化時,下游能夠根據用戶設置的策略進行應對,從而保證數據的完整性和任務的持續運行。
? DataPipeline 2.0批流一體的數據集成平臺
核心詞:批處理、策略配置、可編程性
DataPipeline對底層的框架做了擴展,通過引入批次控制消息實現了流處理框架下的批流一體處理,擴展了我們整個產品可服務場景的邊界;將核心處理邏輯的控制參數進行了全面的可配置化,用戶可以通過DataPipeline提供的配置模板分別定義每個任務的處理邏輯、參數調優,滿足特定場景下的性能優化需求;引入了基于WebIDE完成的高級編程功能,用戶可以完成復雜的數據清洗、轉換和統計邏輯,并與外部系統進行對接,一站式完成代碼編寫、試運行、下發,為用戶提供了極大的處理便捷性;推出了源端和目標端連接器的開發者套件,基于此用戶和合作伙伴可以迅速為特定場景開發出包含定制化處理邏輯連接器。
基于以上,DataPipeline從單一的數據采集分發平臺進化為批流一體的數據集成平臺。
? DataPipeline 3.0穩定高可用的數據融合平臺
核心詞:高性能、高可用、可管理性
DataPipeline運行著數以百計的任務,3.0版本引入了基于內存的數據交換方式,可以有效避免消息分區數量的膨脹帶來的性能下降,基于這一模式的端到端處理速度,比2.0版本提升超過1倍;進一步將DataPipeline的所有平臺組件全面實現了高可用,用戶可以根據對可用性的要求,靈活進行組件節點的部署,避免單點故障;根據企業分層管理的需求,將系統內資源抽象為節點、鏈路、任務,每一層都可以進行獨立的管理和授權。用戶可以在鏈路上定義字段類型映射、限速、告警等策略,并應用到任務層面,從而實現層級化的精細管理。與此同時,DataPipeline內部的所有重要事件、告警信息都能夠推送到用戶定義的郵箱、文件路徑或Webhook中,從而與企業既有的運維監控體系無縫集成。
至此,到3.0里程碑版本,DataPipeline構建起較為完整的企業級數據融合平臺。
04實踐&洞察
金融行業數據管理應用典范
發布會現場,來自西安交通大學、財通證券、民生銀行的行業專家和客戶代表還帶來了各自關于金融行業數據管理應用的洞察與實踐分享,從技術模式、規模化應用等維度為企業實時數據管理提供了創新型啟示和參考。
西安交通大學電信學部客座教授 劉鐵博士
西安交通大學電信學部客座教授劉鐵博士講到:
“人工智能的創新融合正為金融場景打造出一個兼具決策分析與感官感知的‘智慧大腦‘,首要一點,實時數據對金融行業是重要的生產力要素,數據要素流通和價值變現至關重要。實時數據加可靠算法可以幫助企業構建金融科技的創新智能底座。”
財通證券數據平臺技術專家 鄭林峰
財通證券數據平臺技術專家鄭林峰表示:
“目前財通證券數據交換平臺實現了公司含核心系統在內50+業務系統的數據交換,技術團隊核心目標是利用流程、結構、技術的力量,建設一個符合金融行業數據流轉穩定要求、操作簡單、運維壓力低、自定義能力強且對業務系統與業務人員更友好的系統。針對該目標,財通證券進行了四個關鍵點的劃分,這與DataPipeline企業級實時數據融合平臺產品理念具有有高度重合性:分布式架構、多元異構、高度開放性、批流一體,所以雙方至今合作三年之久。”
民生銀行總行科技大數據管理部技術專家鐘行
民生銀行總行科技大數據管理部技術專家鐘行表示:
“2016年開始,民生銀行科技部大數據開發團隊開始為部分業務部門提供實時數據加工支持,基于客戶的交易信息提取出各類實時事件,得益于時效性提升帶來的良好體驗,行內業務部門不斷提出更復雜的實時數據加工需求,新需求的加工復雜度持續升高、使用場景持續擴展、交付效率持續加快、運營質量要求持續提升。為提升實時數據支撐能力,民生銀行開始從‘平臺、數據、應用’三個方面進行實時數據體系建設。通過對DataPipeline的調研和產品驗證,其產品在異構傳輸功能的豐富性、后續擴展性、運營保障能力等方面滿足作為平臺實時數據傳輸組件的要求,雙方從2020年1月正式展開合作,克服了疫情帶來的影響,目前已完成一期項目大部分工作實施。”
人之有能有為,使羞其行,而邦其昌。
時代在變,需求在變,數字化的含義在變,但在DataPipeline成長的道路上,價值的重要性不變,堅持“以客戶為中心,以技術驅動”為第一出發點不變。
DataPipeline部分用戶展示
上周,DataPipeline宣布完成B輪數千萬人民幣融資。陳誠在發布會中談到:“不積跬步無以至千里。在DataPipeline發展過程中,感謝客戶的信任、包容和對我們的要求,客戶是我們前進的動力,也是我們靈感的來源,我們會持續以最大的資源和能量投入到對產品的研發和客戶服務中,來幫助我客戶管理好數據的流動性。”
未來,DataPipeline將在這一賽道上持續深耕,加速推動實時數據管理產品與方案在各行各業全面落地生花,加速企業業務創新和轉型升級。
