7月29日,以“萬「向」更新”為主題,DataPipeline2021數據管理與創新大會在北京成功舉行!中國信通院云計算與大數據研究所副所長魏凱、中信銀行信息技術管理部架構管理處處長衛東、民生銀行總行科技大數據管理部技術專家鐘行、山東省城商行聯盟核心運維組技術專家倪俊甜、中國信息協會專家范克峰、華為計算產品線openGauss數據庫產品總經理胡正策與DataPipeline數見科技管理層及來自該領域的專家學者、用戶代表、生態伙伴共聚一堂,共話產業機遇與挑戰,共探數據管理與創新實踐新模式。以期通過“萬「向」匯聚,數據新生”的共識,創造行業新價值。
DataPipeline表示,數字化轉型被按下加速鍵,產業升級對實時數據管理能力提出前所未有的要求,所有數據都被要求相互連接并能隨時被看到、被感知、被調用。實時數據管理體系的建設既需要看透“前期實時數據平臺建設、中期深化實時數據價值釋放、遠期實時數據驅動業務發展”大周期的視角,也需要從平臺類基礎設施構建出發、對“人員、流程、技術”持續精進的耐心。這種秉承長期主義的原則與DataPipeline數見科技的產品與技術發展理念不謀而合。
01數據要素化催生技術與管理變革
副標題:數據全生命周期管理與價值導向的運營管理成為發展方向
中國信通院云計算與大數據研究所副所長魏凱
隨著信息經濟發展,數據早已和其它要素一起融入經濟價值創造過程。中國信通院云計算與大數據研究所副所長魏凱表示:當前,我們處于迎接數據生產要素崛起的新時代。在數字化轉型過程中,數據作為生產要素,一方面在驅動產業智能化、催生新的生產組織形態方面的作用不斷顯現,推動新型產品和服務的創造;另一方面,作為參與分配的要素,數據背后涉及經濟結構的變化。它對于我們數據的技術、底層基礎設施等有很大的需求,所以我們管理體系、理念、方法論也有很大創新的需求。這主要體現在:
第一. 數據要素化需要一場技術革命:
組織內部從以前追求數據高效處理、追求更快更大,到今天更重視數據更加智能及良好的治理。數據不再是簡單地放在數據庫里就能產生價值,而是要高質量的融合起來,真正讓它成為閉環里面一個不得不做的要素。在組織間,跨機構的數據以前更多是要保護,隔離,鎖在保險柜里保密。今后為了做產業互聯網,數據要實現上下游打通、政企打通、企業之間打通,所以其關鍵詞變成了開放、融合,從而又有了隱私計算、區塊鏈。我們發現,組織內及組織架構的數據流動在變化,組織的技術重心也在變化。大數據產品技術越來越豐富,應用愈加廣泛,數據的一站式、全生命周期管理是我們看到的方向。
第二. 數據要素化也在推動管理的變革:
以數據治理為核心的數據資產管理體系逐步成熟,以數據運營為導向的數據資產管理體系處于萌芽。數據管理2.0數據開發運營一體化從管理本位的角度轉變到服務業務的角度,數據管理工作更多為了業務的創新、為了發展,這對平臺自動化、快速響應需求,多團隊協作、運營驅動管理提出更高要求。該趨勢下,很多企業開始做了DataOps的實踐。DataOps是一種協作式數據管理的實踐,致力于改善組織中數據管理者與使用者之間數據流的溝通,集成和自動化。其核心理念有:敏捷開發、治理閉環、安全可信、持續運營,這也確是數據管理的必然方向。
中國信息協會專家范克峰從數字化轉型角度談數據管理之變,也與以上觀點相契合。在數字化轉型的路徑考量上,產品選型和組織方式都是重要環節。針對前者,技術實現方式千差萬別,強調企業要根據自身發展情況和行業屬性選擇適合自己的數字化工具。針對后者,絕不可忽視“人”這一因素的重要作用,要重視管理層的支持和員工層的協作,提升企業整體數字能力。
中國信息協會專家范克峰
02 DataPipeline:聚焦數據價值釋放鏈路中最初一公里
副標題:DataOps是指導DataPipeline產品和服務發展的重要原則
在DataPipeline創始人 & CEO陳誠看來,“聚焦最初一公里”是DataPipeline為產業提供數字化轉型創新推動力的最佳注解。他指出,企業數字化轉型過程中,越來越多的數據應用被構建出來、數據量大跨度增長,數據的復雜度越來越高,無論從需求側還是供給側看,數據的時效性要求都變得越來越強。和直接給客戶提供價值的場景應用 “最后一公里”相比,數據融合這“最初一公里”的重要性也愈發凸顯,并且具備豐富內涵。
DataPipeline創始人 & CEO陳誠
在優化數據科學和運營團隊之間協作的大量數據管理實踐中,DataPipeline逐步發現DataOps是跨越業務與技術、數據與場景、規模與質量等數據驅動商業變革鴻溝的有效路徑。DataOps強調了對數據流向價值流轉變的數據旅程管理的理念,也是指導DataPipeline產品和服務發展的重要原則,其中最重要的三點:
第一. 擁抱變化。技術場景的快速分化產生大量不同類的存儲和計算引擎、信創大勢下優秀國產數據庫涌現、業務導向下數據結構等的快速迭代、網絡等的環境變化,以上多方面的變化使得數據調度及流轉變成極其重要的能力。“最初一公里”成為筑牢數據管理根基的關鍵,也是DataPipeline選擇該領域的初心。
第二. 組織協作。數據管理中的角色多樣,數據科學家、數據分析師、數據工程師、大數據平臺運維人員、DBA等,各類角色及其承載內容變化量大、速度快,日常工作中缺少抓手協作配合。DataPipeline通過產品的四層抽象——系統資源管理、節點管理、鏈路管理和數據任務管理來幫助組織,給每一類角色提供相應的入口與易用可視化強的界面,從而形成清晰的工作邊界與良好的配合。
第三. 自動敏捷。該原則的底層邏輯即低代碼、無代碼勝過開發,各類策略的配制勝過代碼調整。DataPipeline在每一個抽象層級上提供了幾十種策略的配制。細致程度可以達到寫入組件的沖突,數據結構發生變化,有沒有錯誤隊列。客戶在應對新變化時,周期可以從以月計改為按小時甚至分鐘去計算,效率提升顯著。以上都源自DataPipeline過去5年對客戶場景抽絲剝繭地分析與理解,及技術功能上的細分。
03以用戶為中心,專注場景實踐 創造行業新價值
副標題:在對于安全、穩定、性能都有著極高標準的金融行業扎根
DataPipeline堅持以用戶為中心,找到業務場景與實時數據管理技術的結合點,以場景化的創新解決方案實踐,加速行業數字化和智慧升級。
DataPipeline助力民生銀行構建實時數據管理平臺,在異構數據實時同步的準確性、系統的穩定性、易用性、安全性等方面很好地滿足了需求,實現了民生銀行企業級實時數據的采集、同步與融合。基于DataPipeline進行數據標準化開發和數據傳輸,降低了民生銀行開發成本,加快了實時數據價值的釋放,為民生銀行數據中臺戰略奠定了堅實的基礎。
民生銀行總行科技大數據管理部技術專家鐘行
民生銀行總行科技大數據管理部技術專家鐘行表示,在實時數據預處理和應用層數據同步方面,選擇DataPipeline作為合作伙伴共同完成實時數據同步管道組件的實施,主要原因為:一是,目前金融行業進入了一個基礎設施快速迭代的時期,民生銀行也正在積極驗證引入各類開源和商業化基礎組件滿足數據方面需求,DataPipeline是一家專注于提供企業級異構數據融合解決方案的公司,能夠持續跟進行業內計算資源、操作系統、數據庫、中間件等方面的變化,持續對合作伙伴的需求進行支持;二是,DataPipeline企業級實時數據融合平臺的功能和性能,能夠很好地滿足民生銀行當前在實時數據預處理和同步方面需求,產品除了支持豐富的數據源,在任務的資源控制、狀態監控、異常處理和恢復等方面設計合理,易于與行內已有數據管理和集中監控系統集成。以DataPipeline產品為基礎,相對基于開源組件自研的方案可以加速項目實施、降低成本。
DataPipeline助力民生銀行構建實時數據管理平臺架構
山東省城商行聯盟核心運維組技術專家倪俊甜在演講中表示:DataPipeline助力山東省城商行聯盟構建的企業級數據庫準實時數據采集系統對于推動其實現數字化轉型、數據規范化和集約化管理、賦能企業經營及增強其持久核心競爭力具有重要意義。DataPipeline可實現數據的秒級實時采集,產品具備統一易用的人性化操作界面,豐富的配置策略可實現對資源的高效充分利用,產品同時具有標準化遵循與前瞻性判斷前提下的開放可擴展性,當然最重要的是其金融級的穩定高容錯能力。
山東省城商行聯盟核心運維組技術專家倪俊甜
04升級數據技術,提升企業數字化轉型驅動力
副標題:用戶需求牽引技術持續演進,構建數字化創新基礎設施
技術已經成為當前驅動產業變革的重要源動力。產業數智化的時代已然來臨,在未來十年,經濟發展的新動能將源自技術與“千行百業”的深度融合,新科技產品、新效率以及全新業務形態都將由此融合而生。DataPipeline合伙人 & CTO陳肅表示:DataPipeline的技術架構演進,本質上是一個用戶需求驅動的過程。今天我們在3.0版本中看到的技術架構形態,是這些年不斷在客戶真實環境中不斷錘煉和演進的結果。
DataPipeline合伙人 & CTO陳肅
回顧過去40年技術發展的路線,DataPipeline認為技術架構是不斷取長補短,不斷融合的過程,但是數據架構的百花齊放、長期共存,是必然趨勢。企業數據基礎設施的建設,需要做好三件事:選擇、組合和連接。而連接是實現組合的關鍵。但構建穩定、高性能且能夠適應業務發展動態變化的實時數據管道,需要時間、金錢、人力上的昂貴投入且在落地上充滿挑戰。DataPipeline希望提供一個產品化的解決方案,為用戶把這紛繁的事務通過一體化的方式解決掉。以上就是DataPipeline基于對技術發展趨勢和產品商業價值的判斷而做出選擇的基本依據。
今年五月份,DataPipeline正式發布實時數據融合平臺V3.0里程碑版,是產品由工具型向企業級數據融合平臺進化的關鍵一步。V3.0版本在技術成熟度上有跨越式提升,主要表現在其高性能、高可用、可管理性。
第一. 高性能。在3.0版本中,DataPipeline引入了基于內存的數據交換方式,可以有效避免消息分區數量的膨脹帶來的性能下降。同時,基于這一模式的端到端處理速度,比2.0版本提升超過2倍。
第二. 高可用。從1.0版本開始,DataPipeline的底層運行時環境就支持高可用。在3.0版本中,DataPipeline進一步將產品的所有平臺組件全面實現了高可用。用戶可以根據對可用性的要求,靈活進行組件節點的部署,避免單點故障。
第三. 可管理性。根據企業分層管理的需求,將系統內資源抽象為節點、鏈路、任務。每一層都可以進行獨立的管理和授權。用戶可以在鏈路上定義字段類型映射、限速、告警等策略,并應用到任務層面,從而實現層級化的精細管理。與此同時,DataPipeline內部的所有重要事件、告警信息都能夠推送到用戶定義的郵箱、文件路徑或Webhook中,從而與企業現有的運維監控體系無縫集成。DataPipeline 3.0配備了容器、應用、線程、業務四級監控體系,實現全方位的運維提升。
05凝心聚力,與產業各角色共生共贏
副標題:共赴實時數據管理的星辰大海
華為計算產品線openGauss數據庫產品總經理胡正策
華為計算產品線openGauss數據庫產品總經理胡正策高度評價了華為openGauss與DataPipeline的過往合作,并介紹了openGauss企業級開源數據庫“共建、共享、共治”的生態理念與成果。近日,DataPipeline與GaussDB(for openGauss)完成兼容性測試,并且簽署CLA(Contribution License Agreement, 貢獻許可協議),正式加入openGauss社區。未來,DataPipeline將充分發揮自主創新能力及產品優勢,與華為云合力創造1+1大于2的效果,為推動金融等行業數據管理發展貢獻力量。
在大會圓桌論壇環節,與會的各位專家共同就“信創產業發展的機遇與挑戰”、“金融行業對核心數據系統的訴求”等問題展開討論。其中,中信銀行信息技術管理部架構管理處處長衛東談到:信創是中國數字經濟安全、健康發展的基石。我國的信創產業加速朝著好用和全面推廣方向發展,信創產業生態初具規模。面對數字經濟的高速發展,信創將給千行百業帶來不可估量的價值。技術人員,要有開放的心態,在全球范圍內學習并借鑒。更重要的一點,需求市場拉動的同時,以基礎軟件為代表的IT產業領域也要堅持深化供給側結構性改革。產品技術專家,要有在豐富場景下捕捉需求的能力,并且要前瞻性地從產品打造層面提出一些新的功能和特性。這對廠商非常重要,同時也提出了比較高的策略研究能力,包括聯合用戶方聯創等的高階能力。
圓桌對話
圓桌論壇現場,來自產業各領域的合作伙伴也帶來了針對數據管理行業洞察和期待。“勢、創新、專注、融合共建、繁榮生態、差異化亮點”——DataPipeline2021數據管理與創新大會在現場嘉賓對DataPipeline的寄語中圓滿閉幕。
實時數據管理平臺構建只是開始,數據管理的產業發展長途漫漫。以“堅持技術驅動 深耕企業服務”為初心和錨點,DataPipeline將全力打通“實時數據融合-服務-質量”全流程能力,形成全鏈路實時數據資產管理業務體系,與合作伙伴共生共贏,為全球行業用戶提供穩定高效、安全可靠、開放兼容的數字化創新基礎設施,加速企業業務創新和轉型升級。
