不久之前引起熱議的《三體》電視劇中,擴寫了原著一段簡單而又發人深省的文字:畫面龐雜精細的《清明上河圖》與一張近乎空曠的天空照片相比,哪一個信息量更大?《清明上河圖》再恢弘,終究是畫作,所用的技法、筆墨都有跡可循;天空的照片看似空無一物,然而作為真實拍攝的照片,若不拘于分辨率,細節處處蘊含信息,且規律難覓,所包含的信息量至少比前者大一至兩個數量級。
現實之中,傳統數據就如同《清明上河圖》,獲取方式固定、種類單一、數據量較小,價值體現在專有領域內;而進入信息時代,幾乎所有的活動都可以被數字化,海量的各種數據在不斷地生產、存儲、使用中,形成了龐雜繁復的“大數據”——就像那張天空的照片,每一條消息、圖片背后都包含著海量信息,可挖掘性極強,價值不可估量。對于已經成為了數字經濟核心關鍵要素的數據,如何更好地進行數據存儲、管理、治理、分析,激發數據要素潛能、釋放數據真正價值,不僅是挑戰,同樣也是機遇。
耕耘數據領域十余年,作為專業的云計算與行業信息化服務提供商,品高股份以數百個項目的技術與經驗總結為基石,沉淀出從數據分析到數據湖、再到智能湖倉系統的多樣化產品,為品高云計算全棧體系添上濃墨重彩的一筆。
BingoInsight:以云原生重新定義大數據
在大數據的浪潮下,數據湖(Data Lake)興起于2010年,是可以存儲大量的原始數據、無需事先對數據進行結構化處理的存儲庫或系統。不同于存儲結構化數據的數據倉庫(Data Warehouse),數據湖可以同時存儲結構化數據、半結構化數據、非結構化數據和二進制數據。
品高股份從2009年開始接觸數據分析領域,為行業客戶提供基于大數據的可視化BI分析、業務支撐能力;但早于數據分析之前,品高股份便已投入云計算技術的自主研發,并于2010 年 2 月就獲得了私有云操作系統商用版本著作權。深厚的“云基因”,讓品高的大數據產品在設計之初,就充分考慮如何利用云的優勢,充分利用和發揮云平臺的彈性+分布式優勢,最大限度釋放數據價值。
2015 年,品高股份在面臨某省級公安多警種、省市區多層級的復雜數據生態問題時,對大數據平臺的研發有了一定的思考。結合多年的云計算自主研發經驗、實踐經驗和敏銳的技術趨勢研判,品高股份認為,大數據要有效釋放價值,需要解決跨層級跨行業跨領域的數據互聯互通問題,構筑成熟的數據管理能力,同時結合云計算的優勢,為數據管理和運用提供支撐。2016 年,品高云數據湖管理平臺(BingoInsight)從云中應運而生。
云原生理念下的BingoInsight,采用存算分離架構、通過云原生的存儲加速數據訪問,通過云原生的計算智能調度資源、通過云原生的網絡保障數據安全,為政企客戶跨部門、跨組織及跨行業的數據共享提供普適性的基礎數據支撐環境,構建可持續發展的數據生態。
當然,品高股份在云原生及大數據領域的探索,遠不止于此。
聚焦政府行業大數據,打造品高智能湖倉系統
“十四五”規劃中提出,要提高數字政府建設水平,將數字技術廣泛應用于政府管理服務,推動政府治理流程再造和模式優化,不斷提高決策科學性和服務效率。隨著數字政府和新型智慧城市建設的不斷推進、國家多項針對政府應用大數據政策的出臺,政務大數據正在持續受到關注。
然而,受制于早期信息化技術的局限性,政務大數據平臺建設存在多個難點。首先,各級政府缺乏全量數據集中管理支撐平臺,數據孤島顯著;數據管理方面,非結構化數據無集中管理和使用、政務歷史檔案數據無集中數字化管理;此外,政務應用創新存在缺乏多元異構數據支撐、數據利用不充分等問題。
面對重重阻礙,品高股份基于標準BingoInsight產品,運用云原生的優勢,對基礎功能進行打散重組、升級改造;同時根據政府客戶需求,定制化開發功能,在政務領域推出大數據解決方案——品高智能湖倉系統。
在湖倉一體架構中,“湖”是指一種用于數據存儲和管理的架構,它可以實現海量數據的管理和處理,并具有良好的擴展性和可靠性;“倉”是指一種用于數據處理和分析的技術,它可以實現快速高效的數據處理和分析,并具有高靈活性、可擴展性和可靠性。
智能湖倉一體架構設計的目的是將湖與倉的優勢充分結合,構建一個可以實現數據存儲、處理、分析和展示的高效系統,以此有效解決傳統技術棧的瓶頸問題、提高系統的運行效率和管理效率。該架構擁有靈活性、可擴展性和可靠性等特點,并且可以支持大數據處理、機器學習、深度學習、自然語言處理等技術,以滿足政府行業客戶多樣化的業務需求。同時,該架構能夠有效解決政府行業客戶目前在數據領域遇到的實質性問題,例如數據存儲和處理的成本降低、數據安全性的提高、數據分析的準確性提高和數據融合的效率提升等。
品高智能湖倉系統總體由數據湖、數據倉庫以及服務門戶構成。不同于單獨的數據湖或者數據倉庫,也不是簡單地直接打通數據湖與數據倉庫,品高智能湖倉系統能夠融合數據湖與數據倉庫的優勢點,讓數據在數據湖、數據倉庫之間無障礙流通,通過多租戶的運營方式,在全量政務數據高效入湖的同時實現有效治理、有序管理、便利共享。
在總體設計方面,系統以數據湖的開放性,實現原始數據進入系統后的預處理、存儲,以及治理好之后數據的存儲與管理,而后將預加工的數據推送給數據倉庫;再以數據倉庫作為面向主題、集成、非易失的數據集合的特性,對數據進行治理、分析、安全管控,形成各類專、主題數據重新入湖共享;在數據的共享與開放方面,系統還通過服務門戶的統一租戶、統一數據目錄、統一服務目錄統管數據湖與數據倉庫中的原始、專、主題數據,為平臺用戶提供統一訪問、數據、服務能力的“一站式”數據服務。
在數據存儲與治理方面,品高智能湖倉系統以數據主題為執行單位,通過數據湖對海量復雜的、分散的、碎片化的數據進行匯集,抽取相關數據進行數據清洗與治理,經過沉淀、分層、歸集后,形成高價值、規范化的的專、主題數據,高效輸送給數據倉庫,提升應用集成的效率和質量。
在業務層面,業務分析人員等使用者可以運用數據倉庫專注于業務之間的邏輯分析,減少精力分散,降低了用戶使用難度;通過智能湖倉系統能夠將經過數據分析后所產生的數據形成BI、分析報告等,使得用戶可以快速看到數據展現效果,有效提升數字化決策的效率,釋放數據價值。
身處數字技術迅猛發展的時代,如何在海量數據的洪流中、挖掘數據這一新興生產要素的潛在價值,成為各行業的核心重點之一。秉持“中國政企云計算新價值發現者”愿景,以“讓中國政企數字化云端之路更簡單”為使命,品高股份在備受關注的新一代大數據技術架構“湖倉一體”領域積極探索,并以品高智能湖倉系統,幫助客戶構建可持續交付的數據生態鏈,助力政企行業數字化轉型往縱深發展。