2023年的金秋十月,不僅有著舉國歡慶雙節的熱鬧,同時也是偶數及其行業客戶收獲產品迭代成果的時節。10月13日, 偶數科技發布了最新的實時湖倉數據平臺Skylab 5.4版本。其中,云原生分布式數據庫OushuDB、數據分析與應用平臺Kepler、數據資產管理平臺Orbit、數據工廠Wasp、數據開發與調度平臺Flow、系統管理軟件Lava,在本次的新版本升級中都進行了迭代更新。
接下來讓我們一起了解下Skylab 5.4各組件的更新情況。
云原生分布式數據庫OushuDB 5.3更新
OushuDB 5.3支持Native ORC格式在線增量備份恢復。相較于全量備份恢復,增量備份恢復減少了備份和恢復時間,提供更快的數據恢復速度。同時,相對于傳統的離線備份(需要停止數據庫服務),在線備份減少了停機時間。這對于需要高可用性和7*24運行的業務至關重要。行業客戶對數據平臺的安全性愈發看中,在線增量備份恢復變得越來越必要,它在保障數據安全的同時,降低平臺維護成本,減少業務干擾,提高系統可用性。
支持歷史SQL監控功能。歷史SQL監控可以跟蹤和分析數據庫中執行的SQL查詢和事務的性能。通過監控歷史查詢的執行計劃、響應時間和資源消耗等指標,DBA可以識別潛在的性能瓶頸,從而采取適當的優化措施,提高數據庫性能。
新版本的默認權限功能可以為指定的用戶和schema設置新建對象(表、視圖、函數、序列)的默認權限。因此,指定用戶或者在指定schema創建對象時,會自動添加權限信息,而無需再手動授權。尤其是進行大范圍、多對象的權限管理時,默認權限這一功能有效降低用戶權限管理的時間成本和操作代價。
OushuDB 5.3實現分區列DISTINCT性能優化,這意味著在執行DISTINCT查詢時,不再需要掃描子表全部的數據,大幅減少數據掃描的數量,提高查詢性能,實現毫秒級返回復雜查詢結果。
Hive External Catalog新增對Description的支持。同時,在過往版本對Hive表只讀的基礎上,支持同時訪問Hive中多個不同Database,實現多表關聯計算,為用戶提供更便捷的查詢方式。
OushuDB的客戶端工作簿Worksheet在本次升級中對性能、功能和交互體驗都做了進一步優化。例如,查詢結果列可拖拽、導出查詢結果帶表頭、熱鍵/別名、資源隊列的切換等。
數據分析與應用平臺Kepler 4.1更新
從4.0版本到4.1版本,Kepler報表開發、指標開發、可視化、平臺服務等核心模塊都進行了更新。
報表開發模塊新增整體樣式、撤銷/重做、隱藏行/列、凍結滾動、參數跳轉功能,提高了報表設計的靈活性和效率,讓用戶可以創建更吸引人的報表。
數據可視化模塊新增多種圖表類型和地圖配置屬性。通過增加了數據呈現的多樣性,幫助用戶更清晰地分析數據。
平臺服務模塊新增實時指標服務和數據服務詳情頁升級,提供了實時數據分析的能力,幫助用戶更及時地做出業務決策。
指標開發模塊新增SQL指標占位符、字段列表編輯、關聯關系、空值過濾、自定義度量等功能,簡化指標開發過程,加快數據分析流程,提高數據質量。
此外,Kepler增加了權限控制和血緣圖節點數據下載功能,提供了更好的安全性和數據追溯功能。支持復雜限定條件操作符in/not in,提升了數據查詢的靈活性,更容易篩選目標數據。
Wasp 5.4從容錯、易用性角度做了更新和優化。
Kafka、文件類數據源支持忽略大小寫,可以確保字段匹配和比對時不受大小寫的影響,從而提高數據一致性避免了大小寫差異導致的匹配錯誤;支持跳過臟數據,排除格式錯誤、無效或不完整的數據防止臟數據對后續處理和分析造成干擾,保持數據質量。
支持數據同步對象的重新映射,在數據源或者目標表結構有變化的情況下,允許將重新修改源與目標表的字段映射,降低運維復雜度。
此外,Wasp 5.4還支持任務、文件夾的移動;優化了指標監控;支持顯示源表的主鍵信息??傮w而言,新版 Wasp 的健壯性進一步提高,其新功能和易用性將幫助用戶有效降低運維成本。
數據資產管理平臺Orbit 2.3更新
首先,新版本Orbit著力提升了自動化元數據采集和血緣采集的穩定性和容錯能力。用戶在進行元數據和血緣分析時,將更少遇到中斷和故障,更容易跟蹤數據的流向和關系,有助于數據決策的準確性。
其次,Orbit在前一版主數據管理模塊的基礎上,優化了主數據模塊里數據服務接口的配置頁面,以提高用戶操作體驗。更流暢和直觀的界面,為用戶提供了更便捷的操作方式。比如在配置多表關聯查詢時,用戶能夠更輕松地創建和管理多表關聯,提高了數據檢索和分析的效率。
此外,新版Orbit進行了安全性升級,保障數據的機密性和完整性,以及防范潛在的數據風險和威脅。
數據開發與調度平臺Flow 5.4更新
Flow 5.4進一步豐富了控制面板的功能,新增定時日歷、任務占比、作業歷史統計圖等功能,幫助用戶更方便地了解Flow的使用情況。此外還新增了作業的移動和復制、任務歷史等功能。
系統管理軟件Lava 5.4更新
新版Lava增強了HA(High Availability)功能,確保系統在面臨硬件故障、軟件故障或其他不可預測事件時仍能保持運行。
Lava的監控運維部分,增加了對OushuDB備份恢復、腳本遷移工具、SQL監控、自定義指標監控等功能。添加產品專員微信了解和體驗產品:oushukeji
偶數Skylab是一個擁有海量數據存儲、計算、分析、應用和 AI 能力的實時湖倉數據平臺,提供完整的數據管理生態閉環,幫助用戶實現批流一體、實時數據處理、自動化機器學習、自助可視化分析和數據資產管理。依托Skylab,用戶可以輕松實現智慧營銷、智能風控、智慧審計、智慧監管等數據應用場景。